Парсер поисковой выдачи duckduckgo.com

[Hitachi]

Описание

Шаблон переходит на сайт duckduckgo.com, вводит поисковой запрос, выбирает регион поиска и период, если они указаны во входных настройках.
Далее загружает нужное количество результатов на странице, парсит все результаты в список.
После этого берёт результаты из списка по одному, парсит из них заголовок, ссылку, домен из ссылки и проверяет, являет ли ссылка рекламной. Записывает строку в таблицу.
Когда запрос полностью обработан, сохраняет таблицу в файл.

Как пользоваться?

Во входных настройках ввести поисковые запросы, указать количество результатов, которые нужно спарсить, выбрать период и указать регион (страну).
Регион можно оставить пустым, период по умолчанию выбран "За всё время".

Для работы через прокси, добавить их в файл proxy.txt.

Результаты сохраняются в .csv файл с названием "Запрос_дата_время" в папку Results в формате "Домен;Заголовок;Ссылка;рекламный идентификатор".