4 место Avito Parser Links - Парсер обхода ограничений Авито

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Avito Parser Links - Парсер обхода ограничений Авито

Парсер объявлений авито - на сегодняшний день является одним из актуальнейших направлений заработка в рунете. Авито - лидирующая компания реализующая себя в различных сферах бизнеса и услуг, а ее выручка составляет несколько млрд рублей и с каждым годом только растет. Нет сомнений, что сайт avito.ru развивается и в будущем не собирается уступать свои позиции конкурентам.

Наверняка многие меня знают по шаблонам авито, но если нет. то ничего страшного))

Сегодня мы рассмотрим один из шаблонов который будет полезен для тех, кто использует парсер номеров авито. Те кто работают с avito.ru наверняка знают, что лимит показа объявлений ограничен лишь пятью тысячами. Сделать из 20-30к несколько ссылок по 5к не составит труда. Но если в категории 200-300к и даже 1 млн объявлений, то руками вам "разбивать" ссылки точно не захочется. По этому я создал данный шаблон. Он обладает достаточно широким функционалом и рассчитан в первую очередь на людей, которые собирают большие объемы данных с авито и им нужно оперативно получать необходимое кол-во ссылок.



В шаблоне два основных режима работы. Давайте рассмотрим каждый из них.

парсер авито.jpg


1) Сформировать ссылки (1 поток) - в данном режиме работа производится исключительно со списками, по этому выполнение достаточно быстрое, но не гарантирует разделения на 5к. По сути это подготовительный режим перед основным Чекнуть на 5к. В самом шаблоне находятся списки всех категорий, областей и метро Москвы.

2) Чекнуть на 5к - в данном режиме работа производится на GET-запросах. Парсится количество объявлений по каждой ссылке.
Далее шаблон действует по следующей логике:

а) Если объявлений 0 - то ссылка удаляется из списка.
б) Если объявлений менее 5к - то ссылка отправляется в результирующий список.
в) Если объявлений более 5к - то ссылка разбивается по цене, полученные ссылки попадают не в результирующий список, а проходят повторную проверку. Если во второй раз ссылку не удалось разбить, и она составила более 5к, то она все равно попадает в результирующий список и дополнительно попадает в список ручной разбор, что бы бы по итогу мы могли сами ее разбить до необходимых лимитов или просто оставили как есть, как правило таких ссылок не много и вместо 100% вы получите 97%, что для многих вполне приемлемый результат.


Файлы использующиеся в шаблоне.

Текстовый файл "Результат - Сформировать ссылки" - В данном списке вы получаете результат с первого режима.
Текстовый файл "Результат - Чекнуть на 5к" - В данном списке вы получаете результат со второго режима.
Текстовый файл "Прокси" - ip4 shared вполне сойдут для данной задачи. Для особо экономных попробуйте прочекать паблик и залить более менее чистый список РУ/СНГ.


Входные настройки.

avito parser 1.jpg


Режимы мы уже обсуждали выше, стоит упомянуть о режиме обнулить, использовать его необходимо если вы прервали работу шаблона. Выполнить надо 1 раз. Это особенность работы глобальных переменных.

Только частные - все ссылки будут только по частным объявлением исключая компании и магазины
Разбить Москву по метро - в Москве достаточно много метро и очень неплохой вариант этим воспользоваться этим.


Фильтр гео - здесь вы выбираете по какой области хотите собирать ссылки. (Города к сожалению я не стал добавлять, а то выпадающий список был бы слишком большим)
avito 2.jpg
avito 3.jpg

Фильтр категорий - здесь вы выбираете по каким категориям хотите собирать ссылки.
avito 4.jpg


Настройки прокси

avito 5.jpg


Использовать прокси - если будет отключена, то в режиме "Чекнуть на 5к" вы попросту получите бан, будьте аккуратны.
Файл прокси - путь по умолчанию прописан, менять не требуется.
Протокол - уточняйте у продавца прокси.
Блеклист прокси - исключает взятие одного прокси несколькими потоками.
 
Категория
Парсинг, Доски объявлений
Номер конкурса шаблонов
Четвертый конкурс шаблонов
Уровень сложности
Средний

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

BPOH

Client
Регистрация
11.04.2019
Сообщения
116
Благодарностей
26
Баллы
28
Не работает у меня, или что я могу делать не так? входных настроек не много
 

Вложения

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
Зная, что ты в авито гуру, было бы интересно почитать от тебя статью о стратегии продвижения услуг используя ЗП.
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113

BPOH

Client
Регистрация
11.04.2019
Сообщения
116
Благодарностей
26
Баллы
28

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113

BPOH

Client
Регистрация
11.04.2019
Сообщения
116
Благодарностей
26
Баллы
28

Вложения

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113

taxiars

Client
Регистрация
03.09.2014
Сообщения
12
Благодарностей
24
Баллы
18
Круто Лайк
 
  • Спасибо
Реакции: Mikhail B.

TIm666

Новичок
Регистрация
13.05.2019
Сообщения
1
Благодарностей
3
Баллы
3
Любопытно. Нужно затестить этот парсер.
Остальные продукты от автора отлично работают.
 
  • Спасибо
Реакции: Mikhail B.

vasz1

Новичок
Регистрация
22.09.2017
Сообщения
3
Благодарностей
1
Баллы
3
Пользуюсь шаблонами данного ТС всё отлично работает. Всегда помогает если что то не получается. Всем советую.
 
  • Спасибо
Реакции: Mikhail B.

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Обновление Avito Parser Links

Исправлено отсутствие некоторых категорий.
Восстановлено корректное отображение ссылок на автомобили.
 

Вложения

viktor045

Client
Регистрация
02.09.2018
Сообщения
67
Благодарностей
17
Баллы
8
Пользуюсь шаблоном! Спасибо!
Добавить разбивку телефонов по странам и городам не думали реализовать?
 
  • Спасибо
Реакции: Mikhail B.

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Обновление Avito Parser Links

Восстановлена работа после обновления сайта.
Увеличено количество цен для разбивки.
 

Вложения

  • Спасибо
Реакции: viktor045

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Прошу обратить внимание. Некоторые разделы авито изменили url, соответственно парсер выдает не верные ссылки. При попытке совершить запрос по таким ссылкам приходит пустой ответ. Ждите обновление в ближайшие дни.
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Обновление Avito Parser Links

Ссылки на разделы приведены в актуальный вид.
 

Вложения

  • Спасибо
Реакции: Danny

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Обновление Avito Parser Links

Небольшие исправления
 

Вложения

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Обновление Avito Parser Links

Ссылки на разделы приведены в актуальный вид.
 

Вложения

Alyona

Client
Регистрация
27.01.2019
Сообщения
14
Благодарностей
1
Баллы
3

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
  • Спасибо
Реакции: Alyona

Already

Client
Регистрация
18.02.2016
Сообщения
10
Благодарностей
1
Баллы
3
Линк парсер хорошая штука. Но возможно ли ему скармливать линк с категорией которую я сам выбрал, а не из настроек(они не совершенны). Например я хочу поделить на линки только IT услуги - организации или автомобили только Ниссаны начиная с 2000 года. Такое вообще возможно реализовать?
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Например я хочу поделить на линки только IT услуги - организации или автомобили только Ниссаны начиная с 2000 года.
Если делать такие тонкие настройки, то ты запутаешься в выпадающем меню. Попробуй следующий алгоритм.

1) В список Результат - Сформировать ссылки.txt скопируй свои ссылки.
2) Запусти режим Чекнуть на 5к.

Потом отпиши получилось ли.
 
  • Спасибо
Реакции: Already

Already

Client
Регистрация
18.02.2016
Сообщения
10
Благодарностей
1
Баллы
3
Спаси
Если делать такие тонкие настройки, то ты запутаешься в выпадающем меню. Попробуй следующий алгоритм.

1) В список Результат - Сформировать ссылки.txt скопируй свои ссылки.
2) Запусти режим Чекнуть на 5к.

Потом отпиши получилось ли.
Спасибо за подсказку. Сделал так как предложено, но результата не получил. Повторил с дефолтными с настройками шаблона все получается. Но если я добавляю ссылку в ручную не делит на 5к.
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Спасибо за подсказку. Сделал так как предложено, но результата не получил. Повторил с дефолтными с настройками шаблона все получается. Но если я добавляю ссылку в ручную не делит на 5к.
Отписал в лс
 

Already

Client
Регистрация
18.02.2016
Сообщения
10
Благодарностей
1
Баллы
3

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
К сожалению сейчас нету времени обновлять шаблон. По этому обновляю ссылки на категории. Очень важно использовать актуальные, т.к. когда вы юзаете устаревшие вы создаете риски для своих прокси.

Так же информирую, что две ссылки не прошли. Скорей всего просто их забыли исправить. Укажу из здесь на всякий случай.
Код:
https://www.avito.ru/rossiya/avtomobili/wiesmann?radius=200
https://www.avito.ru/rossiya/avtomobili/drugaya?radius=200
 

Вложения

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 303
Благодарностей
5 421
Баллы
113
Обновление Avito Parser Links

Изменена работа прокси
Изменены интервалы
Актуализированы ссылки
Исправлены некоторые недочеты
_
Минимальная рекомендуемая версия 5.41.0.0
 

Вложения

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)