get-запросы не полностью получают контент

braind

Client
Регистрация
10.10.2012
Сообщения
119
Благодарностей
11
Баллы
18
собираю информацию из выдачи etsy.com
недавно они что-то подкрутили и теперь выдача результатов поиска через get-запрос отдается не полностью.
на странице выдачи должно быть 60+ товаров, а через get отдается 12-13 и остальные вот так

<p class="wt-screen-reader-only">Loading...</p>

через включенный браузер выдача вся видна.
Подскажите, как побороть?
 

evgen_po

Client
Регистрация
27.08.2013
Сообщения
847
Благодарностей
527
Баллы
93
Посмотреть через трафик, какие еще запросы уходят и повторить их
 

backoff

Client
Регистрация
20.04.2015
Сообщения
5 914
Благодарностей
6 381
Баллы
113

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
А как выдача происходит? Ты скроллишь вниз и появляются новые элементы, или щелкаешь по страницам?
 

braind

Client
Регистрация
10.10.2012
Сообщения
119
Благодарностей
11
Баллы
18
Посмотреть через трафик, какие еще запросы уходят и повторить их
не совсем понимаю. Основной запрос я посмотрел, он такой же как через гет
Но при загрузке через браузер идет еще сотня запросов, подгружаются разные скрипты.
 

braind

Client
Регистрация
10.10.2012
Сообщения
119
Благодарностей
11
Баллы
18

braind

Client
Регистрация
10.10.2012
Сообщения
119
Благодарностей
11
Баллы
18

backoff

Client
Регистрация
20.04.2015
Сообщения
5 914
Благодарностей
6 381
Баллы
113

braind

Client
Регистрация
10.10.2012
Сообщения
119
Благодарностей
11
Баллы
18
у меня по странично все - https://www.etsy.com/search?q=Mothers Day gifts
пришли конкретный урл где есть что надо смотреть

ps \ и отвечать можно всем в одном сообщении
Прочитай плиз внимательно первый пост, в чем у меня сложность.
любой запрос в поиске выдает некую выдачу товаров, которых на первой странице 60+ штук
Я не могу их через get-запрос получить.
У тебя получается спарсить страницу гет-запросом так, чтобы в коде были видны все 60+ товаров?
 

backoff

Client
Регистрация
20.04.2015
Сообщения
5 914
Благодарностей
6 381
Баллы
113
да, сорян, подумал что надо нажимать на доп кнопку loading для загрузки остального

ну очевидно, что подгрузка идет через js надо просто отловить доп запрос к js и по идее будет отгружать все что надо
 

backoff

Client
Регистрация
20.04.2015
Сообщения
5 914
Благодарностей
6 381
Баллы
113
ну курить надо местное api , через него получает инфу походу

но с другой стороны, я так понимаю тебе страницы нужны, они отдаются, переходи по ним и парси что надо
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113

braind

Client
Регистрация
10.10.2012
Сообщения
119
Благодарностей
11
Баллы
18
ну курить надо местное api , через него получает инфу походу

но с другой стороны, я так понимаю тебе страницы нужны, они отдаются, переходи по ним и парси что надо
да, api самый оптимальный вариант, придется его курить.

мне в данном случае нужны названия магазинов, и парсить все страницы ради этого это слишком. Я планировал с одной страницы все взять, а так получается нужно еще 60 запросов делать...


Так всегда или иногда? Просто у меня бывали случаи что иногда страница не полностью загружалась.
ну у них постраничная выдача, как правило все нормально. Если прокси плохой то может не полностью загружаться, но это дело в прокси
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
ну у них постраничная выдача, как правило все нормально. Если прокси плохой то может не полностью загружаться, но это дело в прокси
Парси эту строку которая детектит не полную загрузку, если поймал то просто делаешь новый запрос (3 попытки с 10 секундным интервалом). Если попытки закончились то меняешь прокси. Кол-во попыток не забудь обнулять после успешной загрузки.
 

faridcd

Новичок
Регистрация
09.12.2022
Сообщения
2
Благодарностей
0
Баллы
1
собираю информацию из выдачи etsy.com
недавно они что-то подкрутили и теперь выдача результатов поиска через get-запрос отдается не полностью.
на странице выдачи должно быть 60+ товаров, а через get отдается 12-13 и остальные вот так

<p class="wt-screen-reader-only">Loading...</p>

через включенный браузер выдача вся видна.
Подскажите, как побороть?
Ище разработчика для создания шаблона для продвижения на ЭТСИ, вы не возьметесь? Детали в личку.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)