Шаблон для сбора статистики с каналов Яндекс Дзен

swed

Client
Регистрация
03.01.2012
Сообщения
31
Благодарностей
46
Баллы
18
Приветствую.
Сегодня я хотел бы представить вам шаблон, который собирает полную статистику с каналов в Яндекс Дзен, детально с каждого поста. При этом делает это и со статей, и с нарративов.

Готовых сервисов подобного плана я еще не видел, однако подобная статистика может быть очень полезна, например, для анализа конкурентов, анализа ниши в целом, или для составления контент-плана своего канала.

Алгоритм работы несложный.
Сначала заходим на исследуемый канал, при помощи эмуляции нажатия кнопки Down пролистываем вниз, до самых первых записей (Дзен использует ajax подгрузку материалов).
Дальше берем DOM и парсим ссылки на все статьи, складывая их в отдельный список.
После чего, в цикле берем каждую ссылку, заходим по ней на страницу со статьей, и так же набором регулярных выражений собираем необходимую информацию: заголовок статьи, время публикации, количество просмотров и дочитываний, количество комментариев. К сожалению, приходится использовать для этого браузер, так как GET запросом можно получить только заголовок и количество комментариев, остальное видимо подгружается через javascript.
А дальше, остается только почистить немного полученную информацию, и записать ее в файл.

В файле, в качестве разделителей, я использую таб, для удобного открытия полученной статистики в гугл таблицах. Если же вы используете, например, ексель, то надо будет поменять разделители при сохранении.
zenno SH3-1.jpg

Их входящих настроек в шаблоне только ссылка на исследуемый канал, ну и еще можно поправить количество циклов подгрузки статей, уменьшив ее, если анализируемый канал слишком молод.

Надеюсь кому то данный шаблон будет полезен.
 

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование модератором:

mishanya9002

Client
Регистрация
04.01.2019
Сообщения
110
Благодарностей
6
Баллы
18
Для чего это может пригодится ?
 

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
282
Благодарностей
202
Баллы
43

Alexmd

Client
Регистрация
10.12.2018
Сообщения
129
Благодарностей
53
Баллы
28
из 1000+ статей спарсилось лишь 500 с лишним, а регулярками разобралось чуть менее 50. шаблон работал часа 3 и завершил с ошибкой.
Выполнение действия WebBrowserData Ошибка обращения к Instance.ActiveTab

а сама идея хорошая. жене плотно занимается дзеном и ей понравилось. теперь придется состряпать такой же
 

Ylvov

Client
Регистрация
23.01.2017
Сообщения
42
Благодарностей
5
Баллы
8
Я пока не понял как можно произвести анализ конкурентов. ЯДзен льет всем показы как хочет и дочитки идут тоже по разному.
 
  • Спасибо
Реакции: specialist

swed

Client
Регистрация
03.01.2012
Сообщения
31
Благодарностей
46
Баллы
18
из 1000+ статей спарсилось лишь 500 с лишним, а регулярками разобралось чуть менее 50. шаблон работал часа 3 и завершил с ошибкой.
Выполнение действия WebBrowserData Ошибка обращения к Instance.ActiveTab
Про количество спаршеных - тогда стоит добавить количество итераций, возможно установленных по дефолту не хватило для того, что бы отмотать к самому началу канала.
Про ошибку же - странно, там обычный переход по ссылкам, падать вроде нечему. Может инет пошаливает?
В любом случае, ссылки спаршеные остаются, можно вынести сбор статистики в отдельный шаблон, выпилив просто проход по каналу. Тогда и парсить можно во много потоков будет, что ускорит сбор.

Я просто собирал с определенных каналов, мне скорость была не важна, и работает все стабильно.
 

specialist

Client
Регистрация
28.12.2018
Сообщения
690
Благодарностей
280
Баллы
63
Я просто собирал с определенных каналов
Расскажите, как анализируете конкурентов. Мне тоже стало интересно. Даже внутри канала, на одну статью дали больше показов, на вторую меньше, но это не показывает её популярность у читателей.

1) Как сопоставить каналы, яндекс трафик распределяет не равномерно, это не форум, чтобы по просмотрам и датам сравнить популярность.
2) Как определить прочие факторы, которые увеличивают счетчик, но по факту пустышки.
 

Ddnix

Новичок
Регистрация
15.10.2017
Сообщения
11
Благодарностей
1
Баллы
1
К сожалению не работает, скорее всего из-за того что нахожусь в Украине. Как поставить прокси?
 

Ddnix

Новичок
Регистрация
15.10.2017
Сообщения
11
Благодарностей
1
Баллы
1
Поставил ВПН на комп, естественно заработало, но оно почему то парсит только первые 9-10 статей и все и заканчивает работу
 

swed

Client
Регистрация
03.01.2012
Сообщения
31
Благодарностей
46
Баллы
18
У меня работает стабильно.
Количество итераций прокрутки не уменьшали?
 

Ddnix

Новичок
Регистрация
15.10.2017
Сообщения
11
Благодарностей
1
Баллы
1
У меня работает стабильно.
Количество итераций прокрутки не уменьшали?
К сожалению, я плохо знаком с зенкой, я подозреваю что проблема в моей зенке у меня старая версия 5.11, а скачал демку затестить и работает, очень полезный шаблон, спасибо.

А есть возможность докрутить его? Есть вот такие предложения
1) Добавить возможность работать через свои прокси
2) Возможность парсить сразу несколько каналов
3) И очень интересная идея, есть ли возможность ее реализовать? парсить не по каналу а по тегу к примеру вот так https://zen.yandex.ru/t/финансы понятное дело что там и сайты будут попадаться их просто не учитывать, и лента по тегу бесконечная, поэтому сделать просто какое то ограниченное количество карточек
 
  • Спасибо
Реакции: kamysh

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)