Парсер подписчиков из сообществ VK.COM на GET-запросах

Yosemite

Creators Template
Регистрация
29.08.2019
Сообщения
196
Благодарностей
260
Баллы
63
Описание

Парсер подписчиков из сообществ VK.COM на GET-запросах - шаблон для ZennoPoster, после запуска на выполнение устанавливает прокси, получает ссылку на сообщество из входящего файла. После чего отправляет GET-запросы на получение ссылок на профили участников сообщества. Результат сохраняется в текстовый файл, в названии файла содержится количество собранных ссылок, ID сообщества, дата и время завершения парсинга. Парсинг возможен из групп, пабликов, мероприятий

Как пользоваться?

Перед запуском шаблона на выполнение, необходимо заполнить входящие настройки:
  • Укажите путь к файлу с ссылками на сообщества (cсылка должна содержать vk.com/имя_группы)
  • Укажите прокси (необязательно, формат: username:password@ip:port)
  • Максимальное количество участников

Минимальная версия ZennoPoster для работы шаблона - 7.1.3.0
 
Категория
Парсинг, SMM
Тип шаблона
Открытый
Многопоточность
Да
Дата обновления
24.05.2021
Описание обновления
изменены названия переменных, удалены неиспользуемые
добавлена проверка прокси перед началом работы
обновлена структура шаблона
обновлены входящие настройки шаблона
обновлены комментарии для кубиков и сообщения, которые выводятся в лог
другие мелкие изменения

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:
  • Спасибо
Реакции: Mangazey и Aleksej

Aleksej

Client
Регистрация
12.11.2018
Сообщения
10
Благодарностей
4
Баллы
3
Хотел переделать шаблон чтоб парсились только подписчики с моего города.Создал профиль с юзер агентом мобильного устройства и сохранением логина и пароля,далее добавил эмулятор клавиатуры чтоб можно было пролистать всех подписчиков,но при парсинге страницы выдает только 999 подписчиков в место 40 460.Почему так происходит?Может кто то помочь.Версия 5.29.5.0
 

Yosemite

Creators Template
Регистрация
29.08.2019
Сообщения
196
Благодарностей
260
Баллы
63
Это могут быть ограничения вк
 

kolina

Client
Регистрация
05.10.2019
Сообщения
158
Благодарностей
44
Баллы
28
Где то читал что только до 1 000 подписчиком можно вытянуть с группы. В других парсерах то же самое. Возможно я не прав, но эту инфу можно погуглить
 

WebBot

Client
Регистрация
04.04.2015
Сообщения
1 713
Благодарностей
1 370
Баллы
113
В вэб-версии больше 1000 не получить .. можно конечно разбить по возрастам/странам/горадам/семейным статусам и тд и собрать значительно больше ... но если реально нужны все, то юзайте ВК API, оно для того и создано
 

Aleksej

Client
Регистрация
12.11.2018
Сообщения
10
Благодарностей
4
Баллы
3
Пока только сделал режим мониторинга,кто в онлайне на сайте в вк,того и парсим,далее складываем ссылки пользователей в .txt и удаляем дубли и так по кругу)То что собрать больше 1 000 тыс ссылок за 1 раз не получиться,уже понял
Буду гуглить про вк api...Всем кто откликнулся,спасибо :-)
 

Juniorcpa

Client
Регистрация
27.05.2014
Сообщения
2 031
Благодарностей
1 285
Баллы
113
Пока только сделал режим мониторинга,кто в онлайне на сайте в вк,того и парсим,далее складываем ссылки пользователей в .txt и удаляем дубли и так по кругу)То что собрать больше 1 000 тыс ссылок за 1 раз не получиться,уже понял
Буду гуглить про вк api...Всем кто откликнулся,спасибо :-)
Берешь айди юзера, по апи делаешь запрос get info или что-то типо того там есть, кладешь в csv табличкой (через ;-), потом в экселе сортируешь как надо :-)
 

kolina

Client
Регистрация
05.10.2019
Сообщения
158
Благодарностей
44
Баллы
28
Вчера сделал парсер (второй в жизни) и спарсил 6000 участников группы. Можно сколько угодно парсить. Главное что бы не забанил ВК. Делал эмуляцию клавиатуры ( нажатие кнопки вниз). Открывал новых 300 контактов, затем пауза 30 сек, затем опять 300 открывал, и опять пауза. Все контакты сложились в txt файл. Единственная проблема, ссылки были типа ( a class="fans_fan_ph " href="/id11924">), Но я их закинул в Exel и там кнопкой НАЙТИ И ЗАМЕНИТЬ эту часть a class="fans_fan_ph " href=" заменял на https://vk.com. А то что после ID НАЙТИ И УДАЛИТЬ. Парсер 6000 контактов парсил минут 30. Основное время забирало "Эмуляция клавиатуры" и перерывы по 30 сек. Ну и обработка в Exel не больше минуты.
Не ругайтесь Профессионалы если сделал по колхозному, но это мой 2 шаблон. Учусь:ce::ce::ce::ce::ce::ce::ce::ce:
 
  • Спасибо
Реакции: Oleg-mig и Yosemite

zasranec

Client
Регистрация
13.06.2013
Сообщения
18
Благодарностей
2
Баллы
3
Вчера сделал парсер (второй в жизни) и спарсил 6000 участников группы. Можно сколько угодно парсить. Главное что бы не забанил ВК. Делал эмуляцию клавиатуры ( нажатие кнопки вниз). Открывал новых 300 контактов, затем пауза 30 сек, затем опять 300 открывал, и опять пауза. Все контакты сложились в txt файл. Единственная проблема, ссылки были типа ( a class="fans_fan_ph " href="/id11924">), Но я их закинул в Exel и там кнопкой НАЙТИ И ЗАМЕНИТЬ эту часть a class="fans_fan_ph " href=" заменял на https://vk.com. А то что после ID НАЙТИ И УДАЛИТЬ. Парсер 6000 контактов парсил минут 30. Основное время забирало "Эмуляция клавиатуры" и перерывы по 30 сек. Ну и обработка в Exel не больше минуты.
Не ругайтесь Профессионалы если сделал по колхозному, но это мой 2 шаблон. Учусь:ce::ce::ce::ce::ce::ce::ce::ce:
эмм...а не проще кубик в зенке сделать и заменить в процессе парсинга, чтоб без Exel
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 520
Благодарностей
1 221
Баллы
113
vk.com позволяет парсить через API, что значительно сокращает время парсинга. Нужно лишь потратить время и разобраться с соответствующим методом API.
Что касается конкретно парсинга участников групп, то в гугле есть примеры использования метода execute, который позволяет парсить участников миллионами, измеряя затраченное время в секундах :-)
 

kolina

Client
Регистрация
05.10.2019
Сообщения
158
Благодарностей
44
Баллы
28
эмм...а не проще кубик в зенке сделать и заменить в процессе парсинга, чтоб без Exel
У меня один поток. И если с кубиком, то пару тыс контактов будет менять долго. А в Exel за 5 сек. Хотя когда писал раньше, о этом кубике не знал. Сейчас использую, когда обрабатывать нужно не много строк. Кубик НАЙТИ И ЗАМЕНИТЬ классная штука
 

ibred

Client
Регистрация
04.04.2015
Сообщения
3 835
Благодарностей
3 538
Баллы
113
  • Спасибо
Реакции: kolina

Mangazey

Client
Регистрация
22.03.2014
Сообщения
374
Благодарностей
27
Баллы
28
Так все-таки сколько парсит в вэбверсии... 1000?
 

kolina

Client
Регистрация
05.10.2019
Сообщения
158
Благодарностей
44
Баллы
28
Так все-таки сколько парсит в вэбверсии... 1000?
Если не пользоваться поиском, то эмуляция клавиатуры( Клавиша DOWN) откроет думаю всех, по крайней мере тысяч 8 у меня открывала. А если выполнить поиск по полу, городу и т.д., то откроется только 1 000.
 

kolina

Client
Регистрация
05.10.2019
Сообщения
158
Благодарностей
44
Баллы
28
Вчера пришла такая идея по организации парсинга участников групп VK:
1. Узнаём ID группы для парсинга
2. Составляем себе список всех на что можно разбить поиск VK (пол, город, семейное положение и т.д.)
3. Получаем список URL из строк типа:

4. далее берём строку и вместо 110421241 подставляем необходимый ID группы которую парсим.
5. Эмуляцией клавиатуры, делаем нажатие клавиши DOWN раз так 20
6. В какой то ветке читал обсуждение как определить что хватит нажимать DOWN. Предлагаю решение такое:
  • Нажали 20 раз DOWN
  • Спарсили ссылки
  • Положили в список
  • Посчитали количество строк (получилось 150)
  • Положили в переменную число 150
  • Нажали DOWN ещё 20 раз
  • Спарсили ссылки
  • Положили в список
  • Посчитали количество строк ( получилось 150)
  • Экшеном IF сравнили старое значение и новое (одинаковое, значит возвращаемся к списку URL и повторяем процедуру по другому параметру поиска. А если количество строк увеличилось, значит опять нажимаем DOWN 20 раз)
Потратить времени 3 часа, написать такой шаблон. И в дальнейшем только в входных настройках вставлять ID группы.
 
  • Спасибо
Реакции: Oleg-mig

Rk61

Client
Регистрация
03.02.2015
Сообщения
114
Благодарностей
125
Баллы
43
Парсить подписчиков лучше всего через API с помощью execute. За 1 гет-запрос получится вытягивать 25к подписчиков (экзекут может включать в себя до 25 запросов, каждым запросом делаем оффсет+1000)
К примеру нужно спарсить 1млн. В секунду можно до 3х запросов кидать, но пусть даже 1 запрос в секунду.
Получится за 40 секунд миллион наш. Если вк не понравится такая скорость, ставим паузы между запросами в 2-5 секунд и всё равно 1 млн за несколько минут - это неплохо.
 
  • Спасибо
Реакции: Oleg-mig и kolina

kolina

Client
Регистрация
05.10.2019
Сообщения
158
Благодарностей
44
Баллы
28
Попробую на днях разобраться в этом методе. Спасибо!
 

Baloo

Client
Регистрация
12.01.2020
Сообщения
411
Благодарностей
240
Баллы
43
Ногами просьба не бить,но подскажите,что я делаю не так?
Screenshot_9.jpg
 

HWMD

Client
Регистрация
16.08.2019
Сообщения
81
Благодарностей
9
Баллы
8
Ногами просьба не бить,но подскажите,что я делаю не так?
Посмотреть вложение 48882
Окно браузера свидетельствует о том, что аккаунт не авторизован на сайте.
Если шаблон не предусматривает авторизацию и на сайте раньше можно было смотреть подписчиков без авторизации (не владению инф.), то возможно это требование ввели в последних обновлениях сайта.
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Ногами просьба не бить,но подскажите,что я делаю не так?
Посмотреть вложение 48882
Нужно указать ссылку на группу в переменную "{-Variable.group_link-}" и выполнять шаблон с самого начала. Если просит авторизацию, то из этой группы нельзя собрать подписчиков без авторизации (возможно группа закрытая)
 

Baloo

Client
Регистрация
12.01.2020
Сообщения
411
Благодарностей
240
Баллы
43
Нужно указать ссылку на группу в переменную "{-Variable.group_link-}" и выполнять шаблон с самого начала. Если просит авторизацию, то из этой группы нельзя собрать подписчиков без авторизации (возможно группа закрытая)
спасибо.группу я указал как в описании.группа не закрытая.пытаюсь добавить кубик с авторизацией.
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93

Baloo

Client
Регистрация
12.01.2020
Сообщения
411
Благодарностей
240
Баллы
43

HWMD

Client
Регистрация
16.08.2019
Сообщения
81
Благодарностей
9
Баллы
8
спасибо.группу я указал как в описании.группа не закрытая.пытаюсь добавить кубик с авторизацией.
вк ввел новую фишку: скрытие подписчиков от всех, кроме администрации. Возможно группа не закрытая, но подписчики скрыты?
 
  • Спасибо
Реакции: Baloo

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
  • Спасибо
Реакции: Baloo

HWMD

Client
Регистрация
16.08.2019
Сообщения
81
Благодарностей
9
Баллы
8
  • Спасибо
Реакции: Baloo

Baloo

Client
Регистрация
12.01.2020
Сообщения
411
Благодарностей
240
Баллы
43
Всё понял,спасибо господа Вам огромное.Значит мне нужен парсер тех участников,кто оставляет комментарии.Ещё раз благодарю.
 

HWMD

Client
Регистрация
16.08.2019
Сообщения
81
Благодарностей
9
Баллы
8
Всё понял,спасибо господа Вам огромное.Значит мне нужен парсер тех участников,кто оставляет комментарии.Ещё раз благодарю.
Для этой задачи проще использовать сервисы с готовым функционалом и критериями. Они не дорогие.
 

Baloo

Client
Регистрация
12.01.2020
Сообщения
411
Благодарностей
240
Баллы
43
Для этой задачи проще использовать сервисы с готовым функционалом и критериями. Они не дорогие.
согласен.пользовался такими для таргетинга вк,но блин,я хочу всё максимально удешевить,то есть ничего не покупать,кроме самого зеннопостера.для работы мне хватит лайта,так как я не планирую в промышленных масштабах работать с группами в вк,максимум 10 групп,парсинг по одной в час - не так уж и сложно.
 

HWMD

Client
Регистрация
16.08.2019
Сообщения
81
Благодарностей
9
Баллы
8
согласен.пользовался такими для таргетинга вк,но блин,я хочу всё максимально удешевить,то есть ничего не покупать,кроме самого зеннопостера.для работы мне хватит лайта,так как я не планирую в промышленных масштабах работать с группами в вк,максимум 10 групп,парсинг по одной в час - не так уж и сложно.
Собственный опыт: нет смысла экономить 300р/месяц и тратить время/ресурсы на велосипед.
Повышай прибыль и когда добьешь больших высот - экономия возможно будет целесообразна. 300р - нецелесообразно.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)