Увеличение затраченного времени на парсинг

VladP

Новичок
Регистрация
22.10.2016
Сообщения
24
Благодарностей
1
Баллы
3
В общем парсит мой шаблон товары с крупного магазина. С каждым товаром увеличивается время затрачиваемое на парсинг.
К примеру за 10 минут в самом начале парсит 10 товаров.
Через час уже за 10 минут парсит 1 товар.

В чем может быть проблема? Как решить?

Спасибо
 

bedl0

Client
Регистрация
07.12.2012
Сообщения
244
Благодарностей
56
Баллы
28
Попробую с ванговать, что использование циклов снижает производительность. Решить можно путем перехода на post get запросы и отказа от циклов. Нужно больше деталей, так трудно что-то понят что там у вас )
 

doc

Client
Регистрация
30.03.2012
Сообщения
8 605
Благодарностей
4 596
Баллы
113
не нужно растягивать выполнение на часы. Спарсил шаблон 100 товаров, например, пусть закончит выполнение и запустится следующее, которое спарсит еще 100 товаров. Не надо пытаться спарсить все товары за присест
 
Регистрация
08.07.2015
Сообщения
2 848
Благодарностей
712
Баллы
113
В общем парсит мой шаблон товары с крупного магазина. С каждым товаром увеличивается время затрачиваемое на парсинг.
К примеру за 10 минут в самом начале парсит 10 товаров.
Через час уже за 10 минут парсит 1 товар.

В чем может быть проблема? Как решить?

Спасибо
а шаб как я понимаю зациклен )))
Наверное нужно перезагружать инстанс! Так как у вас это все в памяти скапливается и с каждым разом все медленнее и медленнее )
 
Регистрация
08.07.2015
Сообщения
2 848
Благодарностей
712
Баллы
113
не нужно растягивать выполнение на часы. Спарсил шаблон пусть 100 товаров, например, пусть закончит выполнение и запустится следующее, которое спарсит еще 100 товаров. Не надо пытаться спарсить все товары за присест
Ну к примеру мой парсер схавает и несколько лямов позиций за раз и не подавится даже!
Тоже заметил, после выхода последней версии зенка стала тормозить в выполнении шаба, по сравнению со старой версией зенка в 2 раза медленнее стала!
 

doc

Client
Регистрация
30.03.2012
Сообщения
8 605
Благодарностей
4 596
Баллы
113
Ну к примеру мой парсер схавает и несколько лямов позиций за раз и не подавится даже!
Тоже заметил, после выхода последней версии зенка стала тормозить в выполнении шаба, по сравнению со старой версией зенка в 2 раза медленнее стала!
через веб?
 
Регистрация
08.07.2015
Сообщения
2 848
Благодарностей
712
Баллы
113

doc

Client
Регистрация
30.03.2012
Сообщения
8 605
Благодарностей
4 596
Баллы
113
Регистрация
08.07.2015
Сообщения
2 848
Благодарностей
712
Баллы
113
значит парсишь несколько лямов страница за присест через браузер?
нет я про тормоза говорил )
А с сайтов собираю инфу другим очень хорошим софтом, так как зенка не может столько снять!
 

doc

Client
Регистрация
30.03.2012
Сообщения
8 605
Благодарностей
4 596
Баллы
113
нет я про тормоза говорил )
А с сайтов собираю инфу другим очень хорошим софтом, так как зенка не может столько снять!
тогда я вообще не понимаю, к чему был комментарий про твой парсер нескольких лямов позиций. Потратил своё время, моё время, время каждого, кто будет это читать
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 320
Благодарностей
5 424
Баллы
113
В общем парсит мой шаблон товары с крупного магазина. С каждым товаром увеличивается время затрачиваемое на парсинг.
К примеру за 10 минут в самом начале парсит 10 товаров.
Через час уже за 10 минут парсит 1 товар.

В чем может быть проблема? Как решить?

Спасибо
Перезагружай инстанс, и все будет нормально. Отключи картинки флеш, на крайний случай стили выруби.
 

amyboose

Client
Регистрация
21.04.2016
Сообщения
2 312
Благодарностей
1 191
Баллы
113
нет я про тормоза говорил )
А с сайтов собираю инфу другим очень хорошим софтом, так как зенка не может столько снять!
тогда я вообще не понимаю, к чему был комментарий про твой парсер нескольких лямов позиций. Потратил своё время, моё время, время каждого, кто будет это читать
И как тебе после этого не стыдно? Потратил целых 20 сек моей жизни на такую бесполезную инфу. А я ведь мог сделать столько всего полезного :ap:
 
  • Спасибо
Реакции: masterLomaster
Регистрация
08.07.2015
Сообщения
2 848
Благодарностей
712
Баллы
113
тогда я вообще не понимаю, к чему был комментарий про твой парсер нескольких лямов позиций. Потратил своё время, моё время, время каждого, кто будет это читать
к тому что он быстрее зенки работает во много раз!
 

doc

Client
Регистрация
30.03.2012
Сообщения
8 605
Благодарностей
4 596
Баллы
113

amyboose

Client
Регистрация
21.04.2016
Сообщения
2 312
Благодарностей
1 191
Баллы
113
к тому что он быстрее зенки работает во много раз!
У меня даже софтина 2010 г. (примерно), практически не предназначенная для парсинга работает быстрее и менее ресурсозатратнее зенки.
Недавно замутил в одной рукописной проге ради теста 300 000 потоков, которые ждут пару тысяч секунд и в итоге нагрузка на проц оказалась 0%. Если кто-то такое в зенке запустит, у него проц расплавится (даже шаблон, содержащий чисто паузы).
 
Регистрация
08.07.2015
Сообщения
2 848
Благодарностей
712
Баллы
113
Невозможно передать ликование моего сердца, когда я узнал об этом
doc сегодня с утра снова решил пошутить и проявить свое остроумие и у него как всегда это невышло ГГГ пойду позову
ssXXXss чтобы он тебя снова заткнул раз по делу нечего сказать)))

У меня даже софтина 2010 г. (примерно), практически не предназначенная для парсинга работает быстрее и менее ресурсозатратнее зенки.
Недавно замутил в одной рукописной проге ради теста 300 000 потоков, которые ждут пару тысяч секунд и в итоге нагрузка на проц оказалась 0%. Если кто-то такое в зенке запустит, у него проц расплавится (даже шаблон, содержащий чисто паузы).
Да я уже понял ))) это изза кучи тройных проверок через серваки зенки, разрабы переживают, чтобы их софт никто не взгрел вот и перестраховываются по 3 раза, в итоге получим зенку которая в 1 поток будет еле еле дышать!
 

amyboose

Client
Регистрация
21.04.2016
Сообщения
2 312
Благодарностей
1 191
Баллы
113
doc сегодня с утра снова решил пошутить и проявить свое остроумие и у него как всегда это невышло ГГГ пойду позову ssXXXss чтобы он тебя снова заткнул раз по делу нечего сказать)))
Ему нужно записаться на "курсы по юмору для чайников"
 
  • Спасибо
Реакции: masterLomaster

VladP

Новичок
Регистрация
22.10.2016
Сообщения
24
Благодарностей
1
Баллы
3
Перезагружай инстанс, и все будет нормально. Отключи картинки флеш, на крайний случай стили выруби.
Вроде помогло. Спасибо.

п.с. по поводу загрузки компа - на одном потоке на моей лайт версии еще терпимо. Но думаю в 3-5 потоков, когда возьму про версию - комп пошлет меня нахер если делать тоже что и делаю сейчас.
Правду говоришь товарищ bedl0 , пора переходить на запросы...
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)