Замедление скорости

[Bullet]

Всем привет!

Осваиваю Постер. Написал шаблон, довольно сложный. Суть - сначала парсится сайт со списком линков, затем парсится каждый линк в отдельности. Количество линков в списке около 1500.
Наблюдаю значительное замедление скорости обработки после 130 линка..
Запускаю на демо-версии, оплатил стандарт, но пока решаю вопросы с поддержкой о получении.

Это ограничение демо или какая то проблема с использованием ресурсов?

 

[Ribas]

Парсинг в цикле? Инстанс перезагружается? Или шаб на запросах?

 

[Bullet]

Парсинг в цикле? Инстанс перезагружается? Или шаб на запросах?

Да, в цикле, идет по строкам списка.
Инстанс не перегружаю. Имеет смысл? память забивает?

 

[Ribas]

Да, в цикле, идет по строкам списка.
Инстанс не перегружаю. Имеет смысл? память забивает?

Да, инстанс стоит перезагружать.
И организация работы в цикле не совсем хорошее решение.

 

[Bullet]

Да, инстанс стоит перезагружать.
И организация работы в цикле не совсем хорошее решение.

Спасибо за подсказку, буду перегружать инстанс. В данном случае, цикл необходим, к сожалению..

 

[Ribas]

В данном случае, цикл необходим, к сожалению..

Вот не верю. Чем вызвана такая уж острая необходимость зацикливания?

 

[Bullet]

Вот не верю. Чем вызвана такая уж острая необходимость зацикливания?

Список линков переменный, в дополнение к нему работают еще несколько списков, от каждого отбирается первая строка и записывается в csv - файл, плюс, добиваются отпаренными значениями по каждой из ссылки первого списка.
Наверное, можно заморочиться и вынести парсинг каждого отдельного сайта в отдельный процесс, но это как то "криво" что ли выглядит...

 

[Bullet]

Теперь на 123 линке свалилось... "не нашли активную вкладку в инстансе".
Видимо, перезагрузка инстанса не привела к созданию таба, в итоге

 

[qzen4i]

Теперь на 123 линке свалилось... "не нашли активную вкладку в инстансе".
Видимо, перезагрузка инстанса не привела к созданию таба, в итоге

перезагрузку инстанса один раз все время делайте, если да, то просто сделайте счётчик и через N кол-во перезагружайте инстанс. Допустим прогонял 5 ссылок перезагрузка инстанса, потом ещё 5 опять. И так до конца.

 

[rostonix]

Теперь на 123 линке свалилось... "не нашли активную вкладку в инстансе".
Видимо, перезагрузка инстанса не привела к созданию таба, в итоге

убили браузер, замучав его)
перезагружайте инстанс каждые Т итераций цикла
а вообще делать такие вещи в цикле это далеко не самая лучшая реализация.