Процессор и регулярные выражения

danni

Client
Регистрация
01.07.2012
Сообщения
373
Благодарностей
6
Баллы
18
Всем привет! первый раз сталкиваюсь с огромной нагрузкой на проц из-за регулярок(возможно).
проц i7 вроде более менее, а тут загрузка под 100% при 50-90 потоках парсинга.
Выглядит примерно так:
upload_2017-12-6_21-49-49.png


Справа 2 "Заменить" - обрезка текста, ибо там выходит примерно 1мб, после обрезки 200кб, вроде не много же...
Это нормально, что такая нагрузка или проблема в чем-то другом?
И есть ли альтернативные методы работы с такой задачей?
 

Вложения

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 436
Благодарностей
8 670
Баллы
113
Всем привет! первый раз сталкиваюсь с огромной нагрузкой на проц из-за регулярок(возможно).
проц i7 вроде более менее, а тут загрузка под 100% при 50-90 потоках парсинга.
Выглядит примерно так:
Посмотреть вложение 25141

Справа 2 "Заменить" - обрезка текста, ибо там выходит примерно 1мб, после обрезки 200кб, вроде не много же...
Это нормально, что такая нагрузка или проблема в чем-то другом?
И есть ли альтернативные методы работы с такой задачей?
при таком объеме замен, думаю, что это нормально..
особенно при таком кол-ве потоков..
 

danni

Client
Регистрация
01.07.2012
Сообщения
373
Благодарностей
6
Баллы
18
при таком объеме замен, думаю, что это нормально..
особенно при таком кол-ве потоков..
Так цель замен как раз уменьшить нагрузку) Я в своих действиях в данной ситуации не уверен, думал поможет, если объем текста будет меньше. Замены там 2, регулярок много.
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 436
Благодарностей
8 670
Баллы
113
Так цель замен как раз уменьшить нагрузку) Я в своих действиях в данной ситуации не уверен, думал поможет, если объем текста будет меньше. Замены там 2, регулярок много.
думаю, что в ПМ если смотреть нагрузку и время, в течение которого идет операция замен, можно будет понять, замены грузят систему или последующий парсинг данных все же не оч. легок, даже после замен..
 

doc

Client
Регистрация
30.03.2012
Сообщения
8 605
Благодарностей
4 596
Баллы
113
регулярки регуляркам рознь. Скорость можно тестировать в конструкторе
 

danni

Client
Регистрация
01.07.2012
Сообщения
373
Благодарностей
6
Баллы
18
Кстати, вечный вопрос - после каждого выполнения заканчивать шаблон или вечный цикл? Или без разницы?
 

orka13

Client
Регистрация
07.05.2015
Сообщения
2 163
Благодарностей
2 163
Баллы
113
Кстати, вечный вопрос - после каждого выполнения заканчивать шаблон или вечный цикл? Или без разницы?
Если шаблон без браузера работает, то можно смело в цикле оставлять, там не должна память течь. Насчет регулярок:
1. Посмотри в логе PM, нет ли у тебя там предупреждений о макросах, типа как тут я писал.
2. Если нет, то в логе ZP трассировку включи, и определи какой блок жрет времени много, его и ковыряй.
Или давай шаблон в тему, либо в личку, посмотрим что не так.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)