Парсер телефонов с Авито + Чекер Telegram

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
avito-telegram.png


Приветствую :bs:

Решил принять участие в этом конкурсе шаблонов, выкладываю свои два. Первый - парсит номера телефонов с Авито. Второй - проверяет номера телефонов на предмет регистрации в Telegram. Эти два шаблона можно использовать как в связке, так и отдельно.

Шаблоны несложные, с входными настройками (в первом шаблоне) и запуском проблем возникнуть не должно. Ниже к каждому размещу пошаговую инструкцию по дополнительным файлам и запуску. Также отмечу, что для работы обеих шаблонов нужны прокси (Авито через 10-12 поочередных запросов блокирует IP, в телеграме также на 1 IP можно проверить 10 телефонов на предмет регистрации). Сам я использую платные прокси (TipaProxy, например), на паблик проксях не пробовал (думается, что Авито пропустит, да и скорость там, мягко говоря, не очень).

Где можно использовать эти шаблоны: для рассылки смс, для рассылки в Telegram, для инвайтинга в группы телеграма.

Парсер телефонов с Авито
Шаблон работает на get-запросах, полностью без использования браузера, довольно быстро.

Дополнительные файлы
ads.txt - сюда помещаются объявления после первого этапа для дальнейшего парсинга номеров телефонов;
input.txt - сюда построчно помещаем ссылки на разделы Авито, или ссылки на поиск по ключу (например, https://www.avito.ru/kemerovo/nedvizhimost)
phones.txt - сюда будут складываться спарсенные телефоны в ходе выполнения этапа 2 (парсинг телефонов);
proxy.txt - сюда помещаем прокси построчно (http://login:[email protected]:port или http://ip:port).

Алгоритм запуска
1. Добавляем прокси в файл proxy.txt.
2. Заходим во входные настройки шаблона, выбираем задачу "Собирать объявления", отмечаем использовать прокси, меняем пути к файлам, если нужно.
3. Запускаем шаблон в 1 поток (работа идет через get-запросы, без браузера).
4. Дожидаемся завершения сбора объявлений (собираются в файл ads.txt).
5. Заходим во входные настройки, выбираем задачу "Парсить телефоны", остальное не трогаем.
6. Запускаем парсинг телефонов (Сколько делать: по числу объявлений в файле ads.txt; Максимум потоков: 1-20 (зависит от версии вашей зенки), 1 задание - это обработка одного объявления и взятие одного номера телефона.
7. Результат помещается в файл phones.txt.

Шаблон в архиве, что прикреплен к данному посту.

Чекер телефонов в Telegram
Проверять можно как те телефоны, что были собраны первым шаблоном, так и загружать свою базу (реальных или сгенерированных телефонов). шаблон проверит каждый телефон на предмет регистрации в меседжере Telegram. Проверка идет через браузер, можно ускорить работу шаблона, убрав паузы, если у вас скоростной интернет и страницы подгружаются быстро.

Дополнительные файлы
Все дополнительные файлы и папки помещены в директорию tc_data, что находится возле файла шаблона.
phones.txt - сюда помещаем построчно телефоны на чекинг, обязательно с международным кодом, но без плюсика, например, 380679436384;
proxy.txt - сюда помещаем построчно прокси (http://login:[email protected]:port или http://ip:port);
used.txt - здесь сохраняются все проверенные телефоны, чтоб повторно не проверять их (перед проверкой телефона идет поиск в этом файле);
папка temp - для временных файлов (в частности динамический временный список прокси);
папка result - сюда помещается результат чекинга: зарегистрированные телефоны идут в good.txt, а не зарегистрированные - в bad.txt.

Алгоритм запуска
1. Помещаем телефоны для чекинга в файл phones.txt.
2. Помещаем прокси в файл proxy.txt.
3. Запускаем шаблон, можно многопоточно.
4. Результаты чекинга помещаются в папку result (в файлы good.txt или bad.txt).

Шаблон в архиве, что прикреплен к данному посту.

Если возникнут какие-то вопросы, пишите :dz:
 
Категория
Парсинг, Чекер

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Регистрация
01.08.2012
Сообщения
16
Благодарностей
2
Баллы
3
еее хоть что-то по телеге)) спасибо!)
 
  • Спасибо
Реакции: Botin

Artem008

Client
Регистрация
28.08.2014
Сообщения
15
Благодарностей
2
Баллы
3
Спасибо) Нужная вещь!
 
  • Спасибо
Реакции: Botin

Evgarage

Client
Регистрация
03.03.2018
Сообщения
18
Благодарностей
6
Баллы
3
На обоих шаблонах при попытке зайти в настройки выдает "Не удалось загрузить проект". В чем может быть дело?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
На обоих шаблонах при попытке зайти в настройки выдает "Не удалось загрузить проект". В чем может быть дело?
Попробуйте удалить из списка проектов шаблоны и добавить заново
 

Aleksandr-zakazchik

Пользователь
Регистрация
04.01.2015
Сообщения
110
Благодарностей
3
Баллы
18
интересно как сделать, чтобы шаблон парсил номера за две недели? а не все из рубрики.?
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
9 277
Благодарностей
3 214
Баллы
113

Juniorcpa

Client
Регистрация
27.05.2014
Сообщения
1 622
Благодарностей
811
Баллы
113
Надо сохранить в закладки будет, спасибо :-) Как раз логирование для регистратора настраивать планирую.
 
  • Спасибо
Реакции: Mikhail B.

AndreyAAA

Client
Регистрация
07.05.2016
Сообщения
879
Благодарностей
51
Баллы
28
Норм,может пригодиться)
 

Jeronimo

Client
Регистрация
07.01.2014
Сообщения
183
Благодарностей
146
Баллы
43
Что-то поздно я спохватился. Какая скорость сбора телефонов в 1 поток у шаблона Avito?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93

SergeyH

Client
Регистрация
31.01.2018
Сообщения
7
Благодарностей
0
Баллы
1
Собрал объявления, после начинаю парсить телефоны, около 8-12 парсит и выдает ошибку
"Выполнение действия List Список пуст" ce9b0ecd-7563-494d-8869-dc5aa945836a
 

Bollador

Client
Регистрация
24.11.2017
Сообщения
297
Благодарностей
55
Баллы
28
Собрал объявления, после начинаю парсить телефоны, около 8-12 парсит и выдает ошибку
"Выполнение действия List Список пуст" ce9b0ecd-7563-494d-8869-dc5aa945836a
Ссылки закончились наверно.
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
9 277
Благодарностей
3 214
Баллы
113
Собрал объявления, после начинаю парсить телефоны, около 8-12 парсит и выдает ошибку
"Выполнение действия List Список пуст" ce9b0ecd-7563-494d-8869-dc5aa945836a
Ну так посмотрите в каком экшне ошибка. В PM нажмите лупу и вставьте код.
 

texnorip

Client
Регистрация
22.10.2016
Сообщения
12
Благодарностей
7
Баллы
3
@Botin у меня при попытке открыть архив выдает - "Невозможно открыть,возможно архив поврежден", не могли бы Вы его залить на любое облако?
 

Parovoz

Client
Регистрация
05.12.2015
Сообщения
2
Благодарностей
0
Баллы
1
@Botin у меня при попытке открыть архив выдает - "Невозможно открыть,возможно архив поврежден", не могли бы Вы его залить на любое облако?
Скорее всего необходимо обновить архиватор. Сейчас попробовал открыть архив, все получилось без проблем.
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93
Скорее всего необходимо обновить архиватор. Сейчас попробовал открыть архив, все получилось без проблем.
Да, в WinRar 5 открывает нормально (архивировалось им и на более старых версиях не распаковывается корректно)
 

Bolshoi

Client
Регистрация
07.01.2018
Сообщения
10
Благодарностей
0
Баллы
1
Парсер еще рабочий?
 

AndreyAAA

Client
Регистрация
07.05.2016
Сообщения
879
Благодарностей
51
Баллы
28
Что запустил парсер обьяв, не работает, ну ладно думаю, запустил парсер телефонов, все успешно выполнено, только телефона нету в файле(
 

AndreyAAA

Client
Регистрация
07.05.2016
Сообщения
879
Благодарностей
51
Баллы
28
Сорян, появился телефон ), норм.
 

666xvtxgd

Новичок
Регистрация
08.06.2018
Сообщения
3
Благодарностей
1
Баллы
3
выбивает такую ошибку после завершения:
Выполнение действия List Список пуст
ZennoPoster не удалось выполнить проект ....

и по итогу ничего не парсит(
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
9 277
Благодарностей
3 214
Баллы
113
  • Спасибо
Реакции: 666xvtxgd

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
9 277
Благодарностей
3 214
Баллы
113
  • Спасибо
Реакции: 666xvtxgd

666xvtxgd

Новичок
Регистрация
08.06.2018
Сообщения
3
Благодарностей
1
Баллы
3
Запустите в PM и посмотрите в каком списке у вас ошибка. Может прокси?
прокси не привязал из-за того, что демо версия.
скорее всего проблема в этом
спасибо за ответы
 
  • Спасибо
Реакции: Mikhail B.

S-Max

Client
Регистрация
28.12.2016
Сообщения
7
Благодарностей
0
Баллы
1
Аналогичная проблема.
http://prntscr.com/jusxx0
Пишет список пуст, хотя ссылки закидывал. После окончания input пустой, ссылки забирает от туда. Но в ads пусто.
В PM ошибок нет.
Версия 5.11.3.0 может повлиять ?
 

proffyes

Client
Регистрация
16.07.2015
Сообщения
393
Благодарностей
16
Баллы
18
Архив не открывается можно перезалить?
 

Botin

Client
Регистрация
16.02.2014
Сообщения
304
Благодарностей
620
Баллы
93

Juniorcpa

Client
Регистрация
27.05.2014
Сообщения
1 622
Благодарностей
811
Баллы
113

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)