Шаблон для поиска доноров на SimilarWeb (своя выборка)

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63
Всем привет. Шаблон состоит из 4 кубиков C#, запускать каждый из них можно по отдельности. В каждом кубике есть комментарии к коду.

Шаблон затачивался под тему дейтинга, но можно использовать под любую другую.
схема проекта.png


Входные настройки можете сделать по своему усмотрению.

Суть работы такая

Кубик Парсер заголовков можно использовать для сбора названий видео с первой страницы сайта, и эти названия потом можно использовать как ключевые слова при поиске в гугл.

Из списка сайтов с видеороликами gigant.txt берется ссылка и после перехода, с первой страницы парсятся все заголовки видео в отдельный список tittle_videos.txt. Некоторые сайты могут быть заблокированы роскомнадзором, поэтому, лучше использовать прокси. Или сделать свою подборку сайтов с которых хотите парсить заголовки видео.
На разных сайтах может быть разная верстка, поэтому изменяйте путь xpath в строке 37, или добавляйте дополнительный через вертикальный слэш |.

Кубик Фильтр по минус словам, позволяет отсеять не нужные слова и оставить только названия. Список минус слов задается в key_minus.txt

Кубик (3) Поиск гугл, нужен для по ключевым словам(собранным заголовками) через поиск гугла собрать список доменов, которые будем анализировать на similarweb. Сейчас берется случайная строка из списка, но вы можете сделать бесконечный цикл для обработки всего списка ключевых слов. Иногда при переходе на гугл, выдается капча, автоматическое разгадывание можете добавить сами или разгадать вручную.
Почему я это все это сам не сделал, спросите Вы :(, ну так это же конкурс шаблонов, а не раздача шаблонов под ключ, тем интереснее будет Вам самим применить это к своим проектам, а для моих задач этого вполне хватает.

При обработке результатов поиска, собираются только домены, которые проходят фильтр (отсеиваются дубликаты, игнорируемые (из списка гигантов) и т.п.). Можете задать нужное количество страниц результатов поиска, сейчас задано 5 страниц.

После сбора списка доменов, переходим к их анализу через Similarweb (кубик 4).

В кубике 4 можно задать нужные параметры трафика для домена. Например, вы можете задать минимальные границы нужного типа трафика, страны или количества посетителей и в результате получить таблицу с результатами. Поле примечание, добавляется при ручном просмотре и анализе сайта на требуемый функционал.

результат.png



В общем читайте комментарии в коде, и при необходимости изменяйте для своих задач.

Если Вам понравился шаблон, нажимайте Спасибо и приходите на голосование.
 

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование модератором:

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63
Если шаблон понравился и полезен, прошу поддержать голосованием.
 

novichok

Client
Регистрация
17.04.2016
Сообщения
170
Благодарностей
59
Баллы
28
Прикольно, но я не понял для чего этот шаблон и что он делает? Можно как то нормально описание составить? Для поиска каких доноров? Что парсить, зачем, причем тут видео? Вообще ниче не понятно
 
  • Спасибо
Реакции: kagorec и Zvezdochet

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63
Прикольно, но я не понял для чего этот шаблон и что он делает? Можно как то нормально описание составить? Для поиска каких доноров? Что парсить, зачем, причем тут видео? Вообще ниче не понятно
Это для темы дейтинга и арбитража. На описание лимит количества символов установлен. Если будете заниматься дейтингом или арбитражем, то сможете найти применение. Пока можете смотреть как делается парсер, их в этом конкурсе много.
 

JAGUAR COSMIC

Client
Регистрация
09.11.2018
Сообщения
58
Благодарностей
21
Баллы
8
Кстати если кто не знал то есть и русский симилярвеб в отличии от которого показывает даже наименьшую выдачу (спайметрикс) только на англ.яз
 

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63
Кстати если кто не знал то есть и русский симилярвеб в отличии от которого показывает даже наименьшую выдачу (спайметрикс) только на англ.яз
не понятно, русский и на англ. языке? :-)
 

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63

Astraport

Client
Регистрация
01.05.2015
Сообщения
3 673
Благодарностей
2 688
Баллы
113

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63
Похоже он неправильно всё считает. Сравнил неск. сайтов к которым есть доступ к аналитике.
Можешь сделать скрины на 1-2 сайта для примера? адреса доменов можешь замазать, если хочешь. :-)
 

Astraport

Client
Регистрация
01.05.2015
Сообщения
3 673
Благодарностей
2 688
Баллы
113
Можешь сделать скрины на 1-2 сайта для примера? адреса доменов можешь замазать, если хочешь.
Да просто один и тот же сайт можешь проверить на симиларе (там стата соответствует ГА) и на этом. Даже тенденция по месяцам (рост или падение) не соответствует.
 

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63
Да просто один и тот же сайт можешь проверить на симиларе (там стата соответствует ГА) и на этом. Даже тенденция по месяцам (рост или падение) не соответствует.
Понятно. Спасибо.
 

JAGUAR COSMIC

Client
Регистрация
09.11.2018
Сообщения
58
Благодарностей
21
Баллы
8
Надо будет попробовать:-). А как свои ощущения?
Я не утверждаю что это мега крутой сайт, но в чём он помогает к примеру:
Берёшь сайт знакомств например от 250 тысячи пользователей, симилярвеб тебе его не распознает а спайметрикс показывает стату таких низких сайтов и всё !
 

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63
симилярвеб тебе его не распознает а спайметрикс показывает стату таких низких сайтов и всё !
т.е. используешь его только для тех данных, что не показываются на симмиляре?
 

burhanov88

Client
Регистрация
08.04.2015
Сообщения
59
Благодарностей
16
Баллы
8
Вопрос к автору, где можно подредактировать метрики по которым обирать доноров?
 

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63
Вопрос к автору, где можно подредактировать метрики по которым обирать доноров?
Не понял суть вопроса. Что именно хотите отредактировать? В кубиках же код с комментариями. Все метрики отбора доноров в 4 кубике. Отбор идет из той выдачи, которую выдает симилар с настройками по умолчанию. Настройки симилара в данном проекте не используются.
 

burhanov88

Client
Регистрация
08.04.2015
Сообщения
59
Благодарностей
16
Баллы
8
Не понял суть вопроса. Что именно хотите отредактировать? В кубиках же код с комментариями. Все метрики отбора доноров в 4 кубике. Отбор идет из той выдачи, которую выдает симилар с настройками по умолчанию. Настройки симилара в данном проекте не используются.
С метриками разобрался, но увы симилар выкидывает капчу, пока побороть ее не смог.
 

radv

Client
Регистрация
11.05.2015
Сообщения
776
Благодарностей
374
Баллы
63

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)