Многопоточная проверка дропдоменов

Регистрация
12.07.2014
Сообщения
345
Благодарностей
123
Баллы
43
Всем привет!
Не так давно возникла необходимость в проверке большого числа доменов. Сделал многопоточный шаблон для проверки дропов.
Шаблон довольно прост.

Конкурс Шаблон.png


Что проверяем
  • Whois – занят\свободен, даты регистрации и освобождения.
  • Индексы в Яндекс и Гугл
  • Упоминания домена в Яндекс и Гугл
  • Проверка ИКС
  • Отбратных ссылок в Linkpad
  • Web Archive –первая дата
  • Блокировка РКН
Изначально шаблон был без API, но недавно прикрутил.

По API можно проверить
Whois
- api.whois.vu
Индекс\упоминания в Яндекс - xml.yandex.ru
Индекс\упоминания в Гугл - xmlriver.com
РКН блокировка - api.antizapret.info
Соответственно сервисы должны быть оплачены или иметь лимиты для запросов.

Проверка Linkpad, Вебархива, ИКС производится GET запросами.
И для них используются мобильные прокси + для api.antizapret.info.
Синтаксис крокси
socks5://логин:пароль@ип:порт

Входящие настройки

Первая вкладка настроек


“Проверять только Whois (свободен\занят)” – проверяем только на свободен\занят. Остальные параметры не проверяются.
Если галка не стоит проверяем все ниже приведенные параметры:
  • Индекс в Яндекс
  • Индекс в Гугл
  • Упоминания в Яндекс
  • Упоминания в Гугл
  • Проверка ИКС
  • Ссылки Linkpad
  • Проверка WebArchive
  • Проверка в РКН
По желанию можно снять любую галку и не проверять параметр.

Конкурс1.png


Вторая вкладка настроек

Здесь указываем логины и пароль и выбираем сервися для проверок.
Тут я оставил на выбор изначальный вариант на GET-ах + новый вариант на API.

Конкурс 2.png


Конкурс 2-1.png


Конкурс2-2.png


Конкурс2-3.png



Третья вкладка настроек

Указываем где брать файл с прокси и домены для проверки.

Конкурс 3.png




Работа шаблона

Последовательно проходит по всем сервисам в каждом потоке.
Если домен занят то параметры не проверяются.
Если домен свободен то проверка идет в зависимости от выбранных параметров.
Данные проверки записываются в таблицу.
Если была ошибка выполнения шаблона, то не проверенный домен записывается в конец списка доменов.

Файлы и папки

Конкурс 4.png


IN – файл с доменами и список рефсайтов.
Рефки в основном используются в старом варианте проверки доменов.

Конкурс 5.png


OUT – выгружается готовые данные в xlsx-файлы с датой в названии.
“Готовые_данные_14_09_2019.xlsx”
Прокси – лежит файл с прокси.

Данные для заполнения логинов паролей

xmlriver.com

https://xmlriver.com/queries/

Конкурс 7.png



xml.yandex.ru
https://xml.yandex.ru/settings/

Конкурс 8.png



З.Ы.
Шаблон не идеален и это надо понимать
В выгрузке добавляются с каждым доменом еще и строка названий столбцов. Заморачиваться с настройкой этого в многопотоке не хотелось.
Отфильтровать в Excel не проблема.

Конкурс 6.png
 
Категория
Чекер

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Регистрация
12.07.2014
Сообщения
345
Благодарностей
123
Баллы
43
Ответственные товарищи проинформировали об отсутствии наличия файла Useragents.txt в папке IN
Файл в аттече
 

Вложения

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)