get-запросы не полностью получают контент

braind

Client
Регистрация
10.10.2012
Сообщения
63
Благодарностей
4
Баллы
8
собираю информацию из выдачи etsy.com
недавно они что-то подкрутили и теперь выдача результатов поиска через get-запрос отдается не полностью.
на странице выдачи должно быть 60+ товаров, а через get отдается 12-13 и остальные вот так

<p class="wt-screen-reader-only">Loading...</p>

через включенный браузер выдача вся видна.
Подскажите, как побороть?
 

evgen_po

Client
Регистрация
27.08.2013
Сообщения
832
Благодарностей
476
Баллы
63
Посмотреть через трафик, какие еще запросы уходят и повторить их
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
11 174
Благодарностей
4 136
Баллы
113
А как выдача происходит? Ты скроллишь вниз и появляются новые элементы, или щелкаешь по страницам?
 

braind

Client
Регистрация
10.10.2012
Сообщения
63
Благодарностей
4
Баллы
8
Посмотреть через трафик, какие еще запросы уходят и повторить их
не совсем понимаю. Основной запрос я посмотрел, он такой же как через гет
Но при загрузке через браузер идет еще сотня запросов, подгружаются разные скрипты.
 

braind

Client
Регистрация
10.10.2012
Сообщения
63
Благодарностей
4
Баллы
8

braind

Client
Регистрация
10.10.2012
Сообщения
63
Благодарностей
4
Баллы
8
у меня по странично все - https://www.etsy.com/search?q=Mothers Day gifts
пришли конкретный урл где есть что надо смотреть

ps \ и отвечать можно всем в одном сообщении
Прочитай плиз внимательно первый пост, в чем у меня сложность.
любой запрос в поиске выдает некую выдачу товаров, которых на первой странице 60+ штук
Я не могу их через get-запрос получить.
У тебя получается спарсить страницу гет-запросом так, чтобы в коде были видны все 60+ товаров?
 

backoff

Client
Регистрация
20.04.2015
Сообщения
4 575
Благодарностей
3 316
Баллы
113
да, сорян, подумал что надо нажимать на доп кнопку loading для загрузки остального

ну очевидно, что подгрузка идет через js надо просто отловить доп запрос к js и по идее будет отгружать все что надо
 

backoff

Client
Регистрация
20.04.2015
Сообщения
4 575
Благодарностей
3 316
Баллы
113
ну курить надо местное api , через него получает инфу походу

но с другой стороны, я так понимаю тебе страницы нужны, они отдаются, переходи по ним и парси что надо
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
11 174
Благодарностей
4 136
Баллы
113

braind

Client
Регистрация
10.10.2012
Сообщения
63
Благодарностей
4
Баллы
8
ну курить надо местное api , через него получает инфу походу

но с другой стороны, я так понимаю тебе страницы нужны, они отдаются, переходи по ним и парси что надо
да, api самый оптимальный вариант, придется его курить.

мне в данном случае нужны названия магазинов, и парсить все страницы ради этого это слишком. Я планировал с одной страницы все взять, а так получается нужно еще 60 запросов делать...


Так всегда или иногда? Просто у меня бывали случаи что иногда страница не полностью загружалась.
ну у них постраничная выдача, как правило все нормально. Если прокси плохой то может не полностью загружаться, но это дело в прокси
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
11 174
Благодарностей
4 136
Баллы
113
ну у них постраничная выдача, как правило все нормально. Если прокси плохой то может не полностью загружаться, но это дело в прокси
Парси эту строку которая детектит не полную загрузку, если поймал то просто делаешь новый запрос (3 попытки с 10 секундным интервалом). Если попытки закончились то меняешь прокси. Кол-во попыток не забудь обнулять после успешной загрузки.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)