Парсинг Многопоток

catwick

Client
Регистрация
09.10.2021
Сообщения
9
Благодарностей
2
Баллы
3
Всем привет.
1)Тема такая как работает многопоток зеннопостера на авито или в олх? Процесс вот такой: ищу какой нибудь товар. Парсю все url объялении, по очереди их открываю, описание цену вношу в таблицу. !Но! открывание каждого объявлении по одному занимает очень много времени. Можно ли с помощью многопотока открывать сразу несколько объявлении тем самым ускорить процесс?
2) Пост/гет запросы они есть абсолютно(почти) во всех сайтах? Можно с любого сайта с помощью гет запроса спарсить всю информацию, которую можно и на кубиках спарсить?
 

volody00

Client
Регистрация
06.09.2016
Сообщения
796
Благодарностей
810
Баллы
93
1)по сути одновременно запускается несколько копий твоего шаблона. Т.е. чтобы реализовать твою задачу, тебе необходимо будет составить шаблон так, чтобы он брал урл с удалением (как вариант). Тогда разные потоки будут открывать разные урл и парсить, ускоряя процесс.
2)у некоторых сайтов стоит защита от запросов, поэтому возможно придется повозиться (насколько я знаю, авито и олх защищаются, хотя люди тут на форуме парсят, значит это возможно)
 
  • Спасибо
Реакции: Rimen

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)