Парсинг страницы БЫСТРЕЕ всего как?

[serg1208]

Привет. Помогите разобраться, пожалуйста.

Есть страница типа https://www.onbuy.com/gb/automatic-hair-curler-iron-rotate-lasting-styling-wave-electric-hair-curlercurling-ironspink~c9816~p42485550/
Мне таких страниц надо парсить много. Потому пробовал через ГЕТ запросы, но что-то не получается, видимо они против парсинга)

Через браузер получается парсить, но быстрее всего это занимает 400ms по времени, что немного долго.

Подскажите, как можно ускорить этот процесс?

Спасибо

 

[RoyalBank]

Тебе возможно в эту тему.
Так на вскидку, запросы проходят.

 

[serg1208]

Тебе возможно в эту тему.
Так на вскидку, запросы проходят.

да, моя тема. На зеннолаб тоже не проходят запросы(

 

[amyboose]

Ускорить достаточно просто. Инструкция для браузера:
1) урезаешь все ненужные скрипты, которые загружают бесполезные данные
2) не ждешь загрузки до конца и вместо этого начинаешь парсить как только нужный блок загрузился
3) ставить HtmlAgility, загружаешь туда весь Body и парсишь за пару миллисекунд все данные

 

[serg1208]

Ускорить достаточно просто. Инструкция для браузера:
1) урезаешь все ненужные скрипты, которые загружают бесполезные данные
2) не ждешь загрузки до конца и вместо этого начинаешь парсить как только нужный блок загрузился
3) ставить HtmlAgility, загружаешь туда весь Body и парсишь за пару миллисекунд все данные

стесняюсь спросить, а как ограничить время загрузки страницы? и по поводу HtmlAgility тыкните в инструкцию, как это сделать?) Спасибо

 

[amyboose]

Только на c# путем избавления от метод instance.ActiveTab.WaitDownloading() и вместо этого проверять в цикле наличие нужного элемента или элементов.
Как только они появились, приступаешь к шагу 3

 

[RoyalBank]

Используй SetContentPolicy