Парсер конкурсов Вконтакте (API)

grin-du

Client
Регистрация
09.10.2017
Сообщения
90
Благодарностей
24
Баллы
8
Заголовок.jpg


Всегда приятно получать что-либо бесплатно и просто. Будь-то вкусная шоколадка или старенькой машина, подаренная любимым дедушкой. Но вокруг довольно много людей, которые готовы отдавать что-либо просто так, а некоторые проводят целые конкурсы и призы в них могут оказаться для вас более ценными, чем полка для телевизора с самовывозом. Поэтому представляю шаблон поиска этих самых конкурсов в социальной сети ВКонтакте.
Входные настройки.jpg


Алгоритм работы шаблона прост. Есть два режима работы (сбор групп и поиск непосредственно постов). В первый запуск собираем группы по необходимым нам параметрам. Прописав ключи для поиска, шаблон фильтрует по минимальному количеству участников группы 350 человек, а максимальному 7500. Обычно маленькие группы, которые занимаются хендмейдом или в принципе тематические, устраивают конкурсы, чтобы быстрее раскачаться на количество подписчиков. Хоть и администрация Вконтакте и ввела некие ограничения по анонимности, админы пабликов не собираются терять столь значимый для них способ набора подписчиков. Итак, собираем группы (запросом можно обработать не более 1000 групп на один ключ). Результат сохраниться в списке по пути проекта.

Далее вторым запуском шаблона ищем посты в группах содержащие слово «конкурс» (по желанию можно добавить дополнительные слова для проверки, или же наоборот какие-то исключить). В входных настройках можно выставить количество обрабатываемых постов (не рекомендую менять значение, так как в основном конкурсы ставят в закреп и он обязательно найдется). Не стоит забывать и о ДАТЕ порога поиска (обязательно соблюдайте формат даты). Это для того, чтобы не брал совсем уж старые и неактуальные посты. Все результаты сохраняются в таблицу с которой довольно таки удобно работать.

Датали 1.jpg


Вот и весь алгоритм работы данного шаблона. Дальше дело только за удачей, улыбнется она вам или нет.

Шаблон работает без браузера на API, поэтому чтобы настроить шаблон к боевому запуску понадобятся ключ от приложения (для парсинга постов) и ACCESS_TOKEN (для сбора групп для дальнейшей работы). Как создавать приложение и получить API KEY можно у Ganga, а получить ACCESS_TOKEN можно вписав в строку поиска браузера (заменив соответственно «ID_ПРИЛОЖЕНИЯ» на ID свежесозданного или уже имеющегося у вас приложения):
Код:
https://oauth.vk.com/authorize?client_id=ID_ПРИЛОЖЕНИЯ&scope=notify,photos,friends,audio,video,notes,pages,docs,status,questions,offers,wall,groups,messages,notifications,stats,ads,offline&redirect_uri=http://api.vk.com/blank.html&display=page&response_type=token
Особенности работы шаблона:

Датали 2.jpg


Проект не рекомендую выполнять более чем в 2 потока, так как приложение, которое в создадите может пропускать через себя только до 3 запросов в секунду. В другом случае словите временный бан на превышение (код ошибки 6 по документации API VK). По поводу лимитов вообще - если нужны объемы, то придется создавать несколько приложений (и скорее всего иметь прокси) или договариваться в администрацией ВК, подробно прописано в документации на превышение объемов. Дело в том, что основной используемый метод «wall.get» предполагает использование не чаще чем 5000 вызовов в сутки, поэтому рабочую мощность нужно рассчитывать исходя из этих данных.

2018-09-12_12-04-11.jpg


Есть проверка дат нужных нам постов, то есть не собираем всё подряд, а это уже значительно упростит нам работу с таблицей. И главная особенность в том, что достаточно заменить ключ «КОНКУРС» на нужный вам и вуаля! Получаете совсем другой инструмент, с нужной именно вам смысловой нагрузкой. Поэтому дерзайте господа. Всем добра и удачи. Если решите воспользоваться этим шаблоном, то она вам понадобится!
 

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование модератором:

canroy

Client
Регистрация
18.03.2018
Сообщения
133
Благодарностей
18
Баллы
18
пол часа тыкал не понимая почему не работает пока не вспомнил что я с украины
 
  • Спасибо
Реакции: PussyM и Buch

gnomza75

Client
Регистрация
17.08.2015
Сообщения
138
Благодарностей
26
Баллы
28
у меня ошибка
список пуст заканчиваю работу
список создан путь в настройках прописан
 

gnomza75

Client
Регистрация
17.08.2015
Сообщения
138
Благодарностей
26
Баллы
28
разобрался, сперва парсить группы надо
при поиске конкурсов ошибка api код 5
что бы это значило?
 

gnomza75

Client
Регистрация
17.08.2015
Сообщения
138
Благодарностей
26
Баллы
28
опять ступил, оказывается приложение вк отключено было
процесс идет полет нормальный
:ay:
 
  • Спасибо
Реакции: grin-du

gnomza75

Client
Регистрация
17.08.2015
Сообщения
138
Благодарностей
26
Баллы
28
20 раз запускал, ни чего не находит, в лимит приложуха уходит Api 6, и закрывается шаб
запускать приходится с другого прилож Api процесс начинается заново
можно сделать, чтоб при таком закрытии сохранялся результат, то есть спаршенные группы которые отработали удалялись, и при следующем запуске отрабатывались следующие?
и еще по выставлении дат, дату ставим вчера или позавчера, я правильно понят?
 

novichok

Client
Регистрация
17.04.2016
Сообщения
169
Благодарностей
59
Баллы
28
Во для домохозяек тема то :D
 
  • Спасибо
Реакции: PussyM

gnomza75

Client
Регистрация
17.08.2015
Сообщения
138
Благодарностей
26
Баллы
28
ага халяву любят все :cn:
 

grin-du

Client
Регистрация
09.10.2017
Сообщения
90
Благодарностей
24
Баллы
8
20 раз запускал, ни чего не находит, в лимит приложуха уходит Api 6, и закрывается шаб
запускать приходится с другого прилож Api процесс начинается заново
можно сделать, чтоб при таком закрытии сохранялся результат, то есть спаршенные группы которые отработали удалялись, и при следующем запуске отрабатывались следующие?
и еще по выставлении дат, дату ставим вчера или позавчера, я правильно понят?
Группы парсятся в список физический на винте. Можете дописать, чтобы просто всё работало в одном процессе. Сбор ссылок и поиск по постам. В таком случае можно сделать всю работу в списке не привязаном к файлу. Чистить не нужно будет. По поводу дат. Я пробовал ставить недельку. Обычно неделя конкурсы идут.
 

Agent

Client
Регистрация
25.12.2018
Сообщения
82
Благодарностей
37
Баллы
18
Поясните по лимитам, правильно ли я понял "предполагает использование не чаще чем 5000 вызовов в сутки".
Т.е. на 1 приложение в сутки получится собрать 2500 групп в сумме по ключам и прогнать по ним 1 раз с запросом по нужному слову?
 

grin-du

Client
Регистрация
09.10.2017
Сообщения
90
Благодарностей
24
Баллы
8
Поясните по лимитам, правильно ли я понял "предполагает использование не чаще чем 5000 вызовов в сутки".
Т.е. на 1 приложение в сутки получится собрать 2500 групп в сумме по ключам и прогнать по ним 1 раз с запросом по нужному слову?
5000 это касается конкретно запроса постов из ленты для анализа. Но так как он есть в этом шаблоне и без него никуда, то да, 5000 для одного приложения.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)