leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28

Всем привет, порой люди работающие с социальной сетью Vkontakte сталкиваются с простой на первый взгляд задачей, собрать нужное кол-во групп по определенному ключу, но на деле выходит не все так просто в виду различных обстоятельств.
Поэтому хочется упростить Вам жизнь :-)

Выполнение шаблона происходит полностью на Post\Get что в свою очередь практически не нагружает ваш ПК при работе шаблона

Функции шаблона:
Сбор пабликов ВК по ключевым словам (запросам)

Работа шаблона осуществляется без авторизации в vk что очень удобно и снижает затраты на покупку аккаунта и упрощает процесс как минимум в 2 раза.

Шаблон находится на этапе - Бета тестирования, если так можно сказать, проявиться интерес со стороны пользователей то можно будет прикрутить дополнительные какие то функции сбора и разбивки информации

Так же хочу заметить что шаблон работает на базе одного известного ресурса, не буду озвучивать какого, можете зайти в кубики и сами всё подсмотреть :-)

Собран на версии - 5.28.0.0
 

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

sergej_g

Client
Регистрация
29.11.2011
Сообщения
151
Благодарностей
124
Баллы
43
Проверил. Шаблон рабочий. Действительно ищет группы по ключевой фразе(18+) во входных настройках.
 
  • Спасибо
Реакции: leha52rus

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Проверил. Шаблон рабочий. Действительно ищет группы по ключевой фразе(18+) во входных настройках.
А я даже не подумал искать по такой формулировки ни разу (18+) =)
 

sergej_g

Client
Регистрация
29.11.2011
Сообщения
151
Благодарностей
124
Баллы
43
  • Спасибо
Реакции: leha52rus

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Друзья!
Наш парсер немного повзрослел и научился новым фишкам ;-)
Стал доступен парсинг Администраторов групп со статистикой по охвату, росту, и количеством открытых\ закрытых групп
Screen_parser.jpg
p.s кол-во админов чуть менее полу миллионаo_O
Парсить всех я так и не решился, у кого ПК с хорошей производительностью могли бы попробовать открыть такой xl файл
Работайте в 1 поток, этого более чем достаточно
тысячу админов я получаю где - то за 20 сек. :-)

Шапку отредактировать не получилось почему - то что бы обновить шаблон
поэтому прикрепляю его сюда
 

Вложения

Последнее редактирование:

ModNick

Client
Регистрация
27.06.2016
Сообщения
33
Благодарностей
34
Баллы
18
Больше 1000 групп получается спарсить?
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Больше 1000 групп получается спарсить?
При запуске парсинга, шаблон выдает нам значение = кол-во пабликов которые он нашел по заданному ключу
http://joxi.ru/nAyKJ4jugj8DYm
Далее начинается парсинг
и после того как шаблон соберет все группы\паблики он произведет остановку и очистит все имеющиеся дубли, если таковые имеют место быть
http://joxi.ru/brRZKWbT7Y5DKr
Спаршенные паблики Вы можете найти в текстовом документе который лежит в одной папке с проектом
и называется publics.txt
Хотите парсить не по одному ключу сразу?
Можете запустить 1-2-3 шаблона в параллель, но если честно такая реализация мне не нравится =)
можно конечно устроить логику работы так что бы после отработки одного ключа, шаблон брал следующий и так до тех пор пока не закончатся ключи...
 
Последнее редактирование:

specialist

Client
Регистрация
28.12.2018
Сообщения
732
Благодарностей
343
Баллы
63
p.s кол-во админов чуть менее полу миллиона
Возможно как-то отфильтровать админов по запросам? Тот же чудо запрос 18+, получить только админов по данному запросу?
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Возможно как-то отфильтровать админов по запросам? Тот же чудо запрос 18+, получить только админов по данному запросу?
Думаю - да
Но в таком случае понадобится авторизация через какой-либо аккаунт
Но пока это не реализовано ...

Есть возможность подтянуть парсинг телеграм каналов, если востребовано то можно реализовать в принципе.
 
Последнее редактирование:

She

Client
Регистрация
11.01.2017
Сообщения
122
Благодарностей
23
Баллы
18
Думаю - да
Но в таком случае понадобится авторизация через какой-либо аккаунт
Но пока это не реализовано ...

Есть возможность подтянуть парсинг телеграм каналов, если востребовано то можно реализовать в принципе.
Приветствую.Очень интересно потестировать парсинг телеграм каналов.

Сделайте пожалуйста работу этого вк шаблона с возможностью парсинга через прокси/без прокси
 

yarobod

Client
Регистрация
03.02.2018
Сообщения
4
Благодарностей
0
Баллы
1
Возможно ли реализовать в данном шаблоне парсинг с этих групп-пользователей ( по гео, возрасту, интересам, наличию телефона, email, если есть в анкете )? Был бы очень благодарен
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Возможно ли реализовать в данном шаблоне парсинг с этих групп-пользователей ( по гео, возрасту, интересам, наличию телефона, email, если есть в анкете )? Был бы очень благодарен
Потребуется авторизация для сбора этой информации
Реализовать то можно что угодно...
 

yarobod

Client
Регистрация
03.02.2018
Сообщения
4
Благодарностей
0
Баллы
1

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Я подумаю над реализацией, этих задач, логику я вижу такой
1.Парсинг групп
2.Парсинг из собранных групп по одному из интересующих нас критериев
Ибо парсить по всем критерием сразу не корректно как то будет
Допустим собираем сначала жителей города_№
А потом уже можно из них отобрать жителей с наличием телефона или email
 
  • Спасибо
Реакции: alexgrand

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28

Ребята привет! Ну что? Готовы! :-)

С того момента как вышла первая версия нашего парсера прошло достаточно времени что бы вдохнуть в него новую жизнь! Парсер приобрел новый функционал, обзавелся новыми фишками которыми я и хотел бы с вами поделится!

Итак приступим к разбору функционала
Иногда нужно посмотреть id группы или пользователя
эта функция реализована в шаблоне
1554308836505.jpg

Просто выбираете из выпадающего меню
"Узнать id" ниже вставляете ссылку на сообщество или пользователя и выполняете проект
id Вы найдете в папке с проектом текстовый файл "id группы или пользователя"
akkaunt_for_job - кладете аккаунт в формате login:password именно Двоеточие должно разделять логин и пароль

Парсер сообществ


В Выпадающем меню в первой вкладке "Режим работы" выбираем Парсим сообщества
переходим во вкладку "Парсер сообществ" задаём ключевое слово по которому хотим собрать группы и выполняем проект

1554308806482.jpg

После того как сообщества собраны
переходим в папку с проектом
берем одну из групп и вставляет в текстовый документ "Группы для парсинга"
парсинг_мануал.jpg
формат строки которая кладется в текстовый документ "Группы для парсинга" должен быть строго следующий:
club19530329 или же group25504395

Логика шаблона следующая :
сперва он собирает всех доступных для парсинга пользователей из сообщества (обычно ВК отдаёт меньшее кол-во чем указано на страничке в группе)
А потом собирает всю доступную по ним информацию


Шаблон реализован таким образом что каждое новое сообщество для парсинга Вам придётся вручную добавлять в тхт Группы для парсинга из тхт publics

p.s. что касается работы с таблицей!
То после того как вы возьмёте всю информацию, и захотите удалить старые данные
делайте это следующим образом, выделяете не строки а всё вместе со столбцами слева!
Как показано на скрине, но не стоит удалять шапку сверху, она не восстановится! =)
таблица удаления.jpg
 

Вложения

Последнее редактирование:
  • Спасибо
Реакции: artinet и She

She

Client
Регистрация
11.01.2017
Сообщения
122
Благодарностей
23
Баллы
18
Доброго времени @leha52rus Спасибо за то,что сделали такую работу,за то что выкладываете такое для нас бесплатно.Удачи и развития.
По возможности реализуйте пожалуйста чтобы шаблону можно было запретить парсить мусорные ссылки.Часто по одному ключу,много не в тему групп собирается.Не знаю как это реализовать.Может чёрный список стоп слов.
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Доброго времени @leha52rus Спасибо за то,что сделали такую работу,за то что выкладываете такое для нас бесплатно.Удачи и развития.
По возможности реализуйте пожалуйста чтобы шаблону можно было запретить парсить мусорные ссылки.Часто по одному ключу,много не в тему групп собирается.Не знаю как это реализовать.Может чёрный список стоп слов.
Спасибо за то что оценили мой труд =)
Шаблон реализован таким образом что собирает группы со стороннего ресурса, а сам парсинг участников сообществ и их данные уже идёт непосредственно с Вк
Можно конечно переписать блок парсинга непосредственно в Вк, но сейчас нет желания этим заниматься
 
  • Спасибо
Реакции: She

She

Client
Регистрация
11.01.2017
Сообщения
122
Благодарностей
23
Баллы
18
Спасибо за то что оценили мой труд =)
Шаблон реализован таким образом что собирает группы со стороннего ресурса, а сам парсинг участников сообществ и их данные уже идёт непосредственно с Вк
Можно конечно переписать блок парсинга непосредственно в Вк, но сейчас нет желания этим заниматься
Доброго времени @leha52rus. А id пользователей массово как им можно парсить? Чтобы он мог с группы выдирать всех пользователей,и не единично,а списком выдавал их id
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Доброго времени @leha52rus. А id пользователей массово как им можно парсить? Чтобы он мог с группы выдирать всех пользователей,и не единично,а списком выдавал их id
Так он их и кладет в таблицу по мере парсинга
Можно добавить функцию парсинга пользователей из сообществ без обработки
т.е. задали группу, спарсили всех возможных пользователей, получили просто список id.
 
Последнее редактирование:
  • Спасибо
Реакции: She

She

Client
Регистрация
11.01.2017
Сообщения
122
Благодарностей
23
Баллы
18
Так он их и кладет в таблицу по мере парсинга
Можно добавить функцию парсинга пользователей из сообществ без обработки
т.е. задали группу, спарсили всех возможных пользователей, получили просто список id.
Доброго времени @leha52rus.Это уже работает?Или это планы на будущее?

Реализуйте пожалуйста возможность парсить сообщества сразу по нескольким онотематическим ключам из списка.Если это уже работает,объясните пожалуйста как?
 
Последнее редактирование:
Регистрация
07.06.2018
Сообщения
15
Благодарностей
3
Баллы
3
Благодарю за отличный парсер!
 

Termi58

Новичок
Регистрация
17.11.2019
Сообщения
14
Благодарностей
1
Баллы
3
Добрый день!
К сожалению шаблон не особо работает: по моему ключу находит только 4 группы, хотя их больше...
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Добрый день!
К сожалению шаблон не особо работает: по моему ключу находит только 4 группы, хотя их больше...
Доброго времечка! Вполне такое может быть, в виду особенностей шаблона
 
  • Спасибо
Реакции: Termi58

Termi58

Новичок
Регистрация
17.11.2019
Сообщения
14
Благодарностей
1
Баллы
3
Доброго времечка! Вполне такое может быть, в виду особенностей шаблона
Я очень благодарен Вам за шаблон и за возможность его править. Надеюсь Вы не будете возражать за внесённые мною изменения и то, что выкладываю его тут.
Добавлено:
уточнение страны;
уточнение города;
фильтр мероприятий(все;предстоящие);
Выбор типа сообщества(мероприятие, группа, сообщества);
 

Вложения

Последнее редактирование:
  • Спасибо
Реакции: leha52rus

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Я очень благодарен Вам за шаблон и за возможность его править. Надеюсь Вы не будете возражать за внесённые мною изменения и то, что выкладываю его тут.
Добавлено:
уточнение страны;
уточнение города;
фильтр мероприятий(все;предстоящие);
Выбор типа сообщества(мероприятие, группа, сообщества);
Друзья, всё что я делаю, делал, в рамках этого шаблона, это работа полностью открытая для Вас =)
Вы можете редактировать его по своему усмотрению, модифицировать, добавлять новые фишки, возможно добавлять даже какие-то новые сервисы! Я только - ЗА
Всех с праздниками и всех благ!
 
  • Спасибо
Реакции: Termi58

Termi58

Новичок
Регистрация
17.11.2019
Сообщения
14
Благодарностей
1
Баллы
3
Друзья, всё что я делаю, делал, в рамках этого шаблона, это работа полностью открытая для Вас =)
Вы можете редактировать его по своему усмотрению, модифицировать, добавлять новые фишки, возможно добавлять даже какие-то новые сервисы! Я только - ЗА
Всех с праздниками и всех благ!
Вам спасибо:-)
Я полночь пытался спарсить через браузер и у меня больше 30-40 запросов не хотело категорически парсить и тут я случайно, просто случайно открываю Ваш шаблон-а он открыт:-)
Вы в первом посте указали, что шаблон берет данные не напрямую из вк...но что то кроме как запроса к api вк я не нашел ничего...не там смотрел? не туда?
 

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Вам спасибо:-)
Я полночь пытался спарсить через браузер и у меня больше 30-40 запросов не хотело категорически парсить и тут я случайно, просто случайно открываю Ваш шаблон-а он открыт:-)
Вы в первом посте указали, что шаблон берет данные не напрямую из вк...но что то кроме как запроса к api вк я не нашел ничего...не там смотрел? не туда?
Скажем так, парсер собирает информацию с источника, который в свою очередь берет её напрямую с vk =)
трехходовочка )))
Тем самым мы обходим верификацию на сайте vk и парсим не имея аккаунта vk в работе, как-то так =)
 

Termi58

Новичок
Регистрация
17.11.2019
Сообщения
14
Благодарностей
1
Баллы
3
К сожалению вынужден признать что шаблон при фильтре по городу даёт сбой и результат вообще не выдает-временно эту функцию отключил, будет время-подумаю как это исправить...
 

Вложения

Juniorcpa

Client
Регистрация
27.05.2014
Сообщения
2 031
Благодарностей
1 285
Баллы
113
Скажем так, парсер собирает информацию с источника, который в свою очередь берет её напрямую с vk =)
трехходовочка )))
Тем самым мы обходим верификацию на сайте vk и парсим не имея аккаунта vk в работе, как-то так =)
Обнови, чего теряешься-то. Там вон на конкурсе статей кстати тоже парсер аллсошл выложили :-)
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)