Шаблон для поиска доноров на SimilarWeb (своя выборка)

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113
Всем привет. Шаблон состоит из 4 кубиков C#, запускать каждый из них можно по отдельности. В каждом кубике есть комментарии к коду.

Шаблон затачивался под тему дейтинга, но можно использовать под любую другую.
схема проекта.png


Входные настройки можете сделать по своему усмотрению.

Суть работы такая

Кубик Парсер заголовков можно использовать для сбора названий видео с первой страницы сайта, и эти названия потом можно использовать как ключевые слова при поиске в гугл.

Из списка сайтов с видеороликами gigant.txt берется ссылка и после перехода, с первой страницы парсятся все заголовки видео в отдельный список tittle_videos.txt. Некоторые сайты могут быть заблокированы роскомнадзором, поэтому, лучше использовать прокси. Или сделать свою подборку сайтов с которых хотите парсить заголовки видео.
На разных сайтах может быть разная верстка, поэтому изменяйте путь xpath в строке 37, или добавляйте дополнительный через вертикальный слэш |.

Кубик Фильтр по минус словам, позволяет отсеять не нужные слова и оставить только названия. Список минус слов задается в key_minus.txt

Кубик (3) Поиск гугл, нужен для по ключевым словам(собранным заголовками) через поиск гугла собрать список доменов, которые будем анализировать на similarweb. Сейчас берется случайная строка из списка, но вы можете сделать бесконечный цикл для обработки всего списка ключевых слов. Иногда при переходе на гугл, выдается капча, автоматическое разгадывание можете добавить сами или разгадать вручную.
Почему я это все это сам не сделал, спросите Вы :(, ну так это же конкурс шаблонов, а не раздача шаблонов под ключ, тем интереснее будет Вам самим применить это к своим проектам, а для моих задач этого вполне хватает.

При обработке результатов поиска, собираются только домены, которые проходят фильтр (отсеиваются дубликаты, игнорируемые (из списка гигантов) и т.п.). Можете задать нужное количество страниц результатов поиска, сейчас задано 5 страниц.

После сбора списка доменов, переходим к их анализу через Similarweb (кубик 4).

В кубике 4 можно задать нужные параметры трафика для домена. Например, вы можете задать минимальные границы нужного типа трафика, страны или количества посетителей и в результате получить таблицу с результатами. Поле примечание, добавляется при ручном просмотре и анализе сайта на требуемый функционал.

результат.png



В общем читайте комментарии в коде, и при необходимости изменяйте для своих задач.

Если Вам понравился шаблон, нажимайте Спасибо и приходите на голосование.
 
Категория
Парсинг
Номер конкурса шаблонов
Третий конкурс шаблонов
Уровень сложности
Продвинутый

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование модератором:

boorik2

Client
Регистрация
10.04.2017
Сообщения
202
Благодарностей
62
Баллы
28
Забирает данные только из бесплатной версии? или получается выдергивать больше?
 

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113
Если шаблон понравился и полезен, прошу поддержать голосованием.
 

novichok

Client
Регистрация
17.04.2016
Сообщения
173
Благодарностей
62
Баллы
28
Прикольно, но я не понял для чего этот шаблон и что он делает? Можно как то нормально описание составить? Для поиска каких доноров? Что парсить, зачем, причем тут видео? Вообще ниче не понятно
 
  • Спасибо
Реакции: kagorec и Zvezdochet

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113
Прикольно, но я не понял для чего этот шаблон и что он делает? Можно как то нормально описание составить? Для поиска каких доноров? Что парсить, зачем, причем тут видео? Вообще ниче не понятно
Это для темы дейтинга и арбитража. На описание лимит количества символов установлен. Если будете заниматься дейтингом или арбитражем, то сможете найти применение. Пока можете смотреть как делается парсер, их в этом конкурсе много.
 

JAGUAR COSMIC

Client
Регистрация
09.11.2018
Сообщения
63
Благодарностей
34
Баллы
18
Кстати если кто не знал то есть и русский симилярвеб в отличии от которого показывает даже наименьшую выдачу (спайметрикс) только на англ.яз
 

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113
Кстати если кто не знал то есть и русский симилярвеб в отличии от которого показывает даже наименьшую выдачу (спайметрикс) только на англ.яз
не понятно, русский и на англ. языке? :-)
 

flexyt2017

Client
Регистрация
02.11.2018
Сообщения
7
Благодарностей
1
Баллы
3

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113

JAGUAR COSMIC

Client
Регистрация
09.11.2018
Сообщения
63
Благодарностей
34
Баллы
18
  • Спасибо
Реакции: radv

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113
Похоже он неправильно всё считает. Сравнил неск. сайтов к которым есть доступ к аналитике.
Можешь сделать скрины на 1-2 сайта для примера? адреса доменов можешь замазать, если хочешь. :-)
 

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 941
Благодарностей
4 331
Баллы
113
Можешь сделать скрины на 1-2 сайта для примера? адреса доменов можешь замазать, если хочешь.
Да просто один и тот же сайт можешь проверить на симиларе (там стата соответствует ГА) и на этом. Даже тенденция по месяцам (рост или падение) не соответствует.
 

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113
Да просто один и тот же сайт можешь проверить на симиларе (там стата соответствует ГА) и на этом. Даже тенденция по месяцам (рост или падение) не соответствует.
Понятно. Спасибо.
 

JAGUAR COSMIC

Client
Регистрация
09.11.2018
Сообщения
63
Благодарностей
34
Баллы
18
Надо будет попробовать:-). А как свои ощущения?
Я не утверждаю что это мега крутой сайт, но в чём он помогает к примеру:
Берёшь сайт знакомств например от 250 тысячи пользователей, симилярвеб тебе его не распознает а спайметрикс показывает стату таких низких сайтов и всё !
 

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113
симилярвеб тебе его не распознает а спайметрикс показывает стату таких низких сайтов и всё !
т.е. используешь его только для тех данных, что не показываются на симмиляре?
 

JAGUAR COSMIC

Client
Регистрация
09.11.2018
Сообщения
63
Благодарностей
34
Баллы
18

burhanov88

Client
Регистрация
08.04.2015
Сообщения
69
Благодарностей
23
Баллы
8
Вопрос к автору, где можно подредактировать метрики по которым обирать доноров?
 

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113
Вопрос к автору, где можно подредактировать метрики по которым обирать доноров?
Не понял суть вопроса. Что именно хотите отредактировать? В кубиках же код с комментариями. Все метрики отбора доноров в 4 кубике. Отбор идет из той выдачи, которую выдает симилар с настройками по умолчанию. Настройки симилара в данном проекте не используются.
 

burhanov88

Client
Регистрация
08.04.2015
Сообщения
69
Благодарностей
23
Баллы
8
Не понял суть вопроса. Что именно хотите отредактировать? В кубиках же код с комментариями. Все метрики отбора доноров в 4 кубике. Отбор идет из той выдачи, которую выдает симилар с настройками по умолчанию. Настройки симилара в данном проекте не используются.
С метриками разобрался, но увы симилар выкидывает капчу, пока побороть ее не смог.
 

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113

Aleksey__

Новичок
Регистрация
22.03.2023
Сообщения
7
Благодарностей
1
Баллы
3
Автор, переделайте под 7
 

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)