Api Яндекс Дзена - Парсер данных

guloc

Client
Регистрация
12.09.2016
Сообщения
144
Благодарностей
68
Баллы
28
42022

Всем привет, в прошлом конкурсе статей, рассказывал об уязвимостях сайтов, в частности Яндекс районов. В данном конкурсе уже шаблонов, решил поделится шаблоном который работает по Api Яндекса. Если кто то уже юзал данный сервис и хотел автоматизировать, то наверняка видел, что официального api у Яндекс Дзена нет.
Но не будем отчаиваться и заглянем в код страницы и введём в поиске api и увидим данную ссылку:

C#:
https://zen.yandex.ru/api/v3/launcher/export?clid=300&country_code=ru
По которой мы и можем перейти и увидеть большое количество ссылок и команд, для сбора данных и различных действий (лайки, дизлайки, жалобы и тд.)
Сам шаблон писался для сбора уникального контента. Заметил что на некоторых статях стоит запрет на индексацию, и такие статьи хотел найти но по api, как оказалось такие не найти или я плохо искал и поэтому решил переделать шаблон для сбора данных.

42023


Что умеет шаблон?
1. Парсить данные (Название статьи, название канала, дата публикации, ссылка на статью, ссылка на канал, ссылка на аватарку и статус статьи)
2. Удалять дубли
3. Удалять каналы которые ведут на различные сайты
4. Парсить статьи с Яндекс дзена

Парсит быстро на гет запросах + json

Для чего шаблон может пригодится?
1. Для сбора баз каналов (можно создать сайт с каналами Яндекс дзена, конкуренции особо нету)
2. Для сбора статей для дорвеев
3. Для арбитража (на некоторых каналах огромное количество просмотров - можно договорится с авторами и сливать трафик на ваши продукты)
4. Можно покапатся и прикрутить лайкинг и дизлайкинг постов по api

Ещё раз хочу показать, что в коде сайтов можно найти много интересного. И это можно использовать для своей выгоды.
 
Категория
Парсинг

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

nik.alex.2009

Новичок
Регистрация
27.09.2019
Сообщения
2
Благодарностей
0
Баллы
1
А можно какую-то инструкцию получить? Как это настроить и запустить?
 

guloc

Client
Регистрация
12.09.2016
Сообщения
144
Благодарностей
68
Баллы
28
А можно какую-то инструкцию получить? Как это настроить и запустить?
Просто запускай и всё, укажи сколько страниц парсить, укажи парсить ли статьи или же просто нужно собрать базу данных каналов, там подсказки есть напротив блоков
 

gnomza75

Client
Регистрация
17.08.2015
Сообщения
129
Благодарностей
21
Баллы
18
на 5.27 зенке идут ошибки сразу.
Компиляция кода Ошибка в действии "CS0234" "Имя типа или пространства имен "RegularExpressions" отсутствует в пространстве имен "System.Text" (пропущена ссылка на сборку?)". [Строка: -18; Cтолбец: 19]
и еще куча ошибок.
файлы из папки скрпированны в ExternalAssemblies с заменой, зено перезагруженно.
и ошибка
 

gnomza75

Client
Регистрация
17.08.2015
Сообщения
129
Благодарностей
21
Баллы
18
и еще хотел спросить, статьи беруться только с главной дзена? и можно как то прописать во входящих настройках тематику парсинга каналов?
не пинайте, в пост гетах не шарю
 

guloc

Client
Регистрация
12.09.2016
Сообщения
144
Благодарностей
68
Баллы
28
на 5.27 зенке идут ошибки сразу.
Компиляция кода Ошибка в действии "CS0234" "Имя типа или пространства имен "RegularExpressions" отсутствует в пространстве имен "System.Text" (пропущена ссылка на сборку?)". [Строка: -18; Cтолбец: 19]
и еще куча ошибок.
файлы из папки скрпированны в ExternalAssemblies с заменой, зено перезагруженно.
и ошибка
Проверил на 5.31 всё работает. Ошибка указывает на неправильность установки библиотеки, нужно в ссылки из gac добавить
using HtmlAgilityPack;
using System.Xml;
 

guloc

Client
Регистрация
12.09.2016
Сообщения
144
Благодарностей
68
Баллы
28
и еще хотел спросить, статьи беруться только с главной дзена? и можно как то прописать во входящих настройках тематику парсинга каналов?
не пинайте, в пост гетах не шарю
Можно прописать но это через другое место надо парсить, там api не работает.
 

wolfz

Client
Регистрация
30.04.2016
Сообщения
74
Благодарностей
2
Баллы
8
А как сделать лайкинг или дизлакинг, какое там api?
 

guloc

Client
Регистрация
12.09.2016
Сообщения
144
Благодарностей
68
Баллы
28

guloc

Client
Регистрация
12.09.2016
Сообщения
144
Благодарностей
68
Баллы
28

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)