Парсинг Амазон

danni

Client
Регистрация
01.07.2012
Сообщения
373
Благодарностей
6
Баллы
18
Всем привет!
Хотел спарсить ключевых слов с амазона. У них вроде как неплохая защита от такого парсинга, постоянно просит капчу или просто посылает подальше. У меня 1к прокси и рандомно генерятся юзер-агенты, ничего умнее нет. Таким образом гоняю уже несколько дней, толк есть, но одна и та же прокся то норм, то не проходит защиту.
Как можно улучшить этот процесс?
 
  • Спасибо
Реакции: vuong chi thanh

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 943
Благодарностей
4 336
Баллы
113
Парсите запросами? Никогда не видел амазоновскую капчу)
 

danni

Client
Регистрация
01.07.2012
Сообщения
373
Благодарностей
6
Баллы
18
Парсите запросами? Никогда не видел амазоновскую капчу)
запросами, поэтому я ее тоже не видел) Да просто раз на раз пропускает, я так за недели 3 может и спрашру все, что нужно, но это блочит все остальное.
 

Moadip

Client
Регистрация
26.09.2015
Сообщения
509
Благодарностей
823
Баллы
93
Как можно улучшить этот процесс?
Попробовать воткнуть задержку между запросами и поэкспериментировать с задержкой. Плюс не слать дохрена запросов из под одной прокси.
Никогда не видел амазоновскую капчу
Есть такое дело. Когда слишком много запросов.
upload_2017-11-30_17-4-57.png
 
  • Спасибо
Реакции: Dimionix

danni

Client
Регистрация
01.07.2012
Сообщения
373
Благодарностей
6
Баллы
18
Попробовать воткнуть задержку между запросами и поэкспериментировать с задержкой. Плюс не слать дохрена запросов из под одной прокси.

Есть такое дело. Когда слишком много запросов.
Посмотреть вложение 24997
Капмонст разгадывает или нужно на сервис слать?
 

intagens

Client
Регистрация
28.09.2015
Сообщения
207
Благодарностей
31
Баллы
28

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)