Парсер подписчиков группы vk

Yosemite

Creators Template
Регистрация
29.08.2019
Сообщения
179
Благодарностей
185
Баллы
43
Описание

Шаблон переходит по указанной ссылке и пытается выпарсить всех подписчиков. Результат сохранится в текстовый файл с именем группы. Существующий файл перезапишется.
Шаблон однопоточный.

Как пользоваться?

Поля во входных настройка:
1. Ссылка на группу.
Ссылка должна содержать vk.com/имя_группы

За одно выполнение шаблон постарается собрать всех подписчиков и сообщит в лог о том, сколько собрано.
 
Категория
Парсинг, SMM
Тип шаблона
Открытый
Многопоточность
Нет

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование модератором:
  • Спасибо
Реакции: Mangazey и Aleksej

Aleksej

Client
Регистрация
12.11.2018
Сообщения
4
Благодарностей
2
Баллы
3
Хотел переделать шаблон чтоб парсились только подписчики с моего города.Создал профиль с юзер агентом мобильного устройства и сохранением логина и пароля,далее добавил эмулятор клавиатуры чтоб можно было пролистать всех подписчиков,но при парсинге страницы выдает только 999 подписчиков в место 40 460.Почему так происходит?Может кто то помочь.Версия 5.29.5.0
 

Yosemite

Creators Template
Регистрация
29.08.2019
Сообщения
179
Благодарностей
185
Баллы
43
Это могут быть ограничения вк
 

kolina

Client
Регистрация
05.10.2019
Сообщения
50
Благодарностей
20
Баллы
8
Где то читал что только до 1 000 подписчиком можно вытянуть с группы. В других парсерах то же самое. Возможно я не прав, но эту инфу можно погуглить
 

WebBot

Client
Регистрация
04.04.2015
Сообщения
1 236
Благодарностей
883
Баллы
113
В вэб-версии больше 1000 не получить .. можно конечно разбить по возрастам/странам/горадам/семейным статусам и тд и собрать значительно больше ... но если реально нужны все, то юзайте ВК API, оно для того и создано
 

Aleksej

Client
Регистрация
12.11.2018
Сообщения
4
Благодарностей
2
Баллы
3
Пока только сделал режим мониторинга,кто в онлайне на сайте в вк,того и парсим,далее складываем ссылки пользователей в .txt и удаляем дубли и так по кругу)То что собрать больше 1 000 тыс ссылок за 1 раз не получиться,уже понял
Буду гуглить про вк api...Всем кто откликнулся,спасибо :-)
 

Juniorcpa

Client
Регистрация
27.05.2014
Сообщения
1 717
Благодарностей
894
Баллы
113
Пока только сделал режим мониторинга,кто в онлайне на сайте в вк,того и парсим,далее складываем ссылки пользователей в .txt и удаляем дубли и так по кругу)То что собрать больше 1 000 тыс ссылок за 1 раз не получиться,уже понял
Буду гуглить про вк api...Всем кто откликнулся,спасибо :-)
Берешь айди юзера, по апи делаешь запрос get info или что-то типо того там есть, кладешь в csv табличкой (через ;-), потом в экселе сортируешь как надо :-)
 

kolina

Client
Регистрация
05.10.2019
Сообщения
50
Благодарностей
20
Баллы
8
Вчера сделал парсер (второй в жизни) и спарсил 6000 участников группы. Можно сколько угодно парсить. Главное что бы не забанил ВК. Делал эмуляцию клавиатуры ( нажатие кнопки вниз). Открывал новых 300 контактов, затем пауза 30 сек, затем опять 300 открывал, и опять пауза. Все контакты сложились в txt файл. Единственная проблема, ссылки были типа ( a class="fans_fan_ph " href="/id11924">), Но я их закинул в Exel и там кнопкой НАЙТИ И ЗАМЕНИТЬ эту часть a class="fans_fan_ph " href=" заменял на https://vk.com. А то что после ID НАЙТИ И УДАЛИТЬ. Парсер 6000 контактов парсил минут 30. Основное время забирало "Эмуляция клавиатуры" и перерывы по 30 сек. Ну и обработка в Exel не больше минуты.
Не ругайтесь Профессионалы если сделал по колхозному, но это мой 2 шаблон. Учусь:ce::ce::ce::ce::ce::ce::ce::ce:
 
  • Спасибо
Реакции: Yosemite

zasranec

Client
Регистрация
13.06.2013
Сообщения
14
Благодарностей
1
Баллы
3
Вчера сделал парсер (второй в жизни) и спарсил 6000 участников группы. Можно сколько угодно парсить. Главное что бы не забанил ВК. Делал эмуляцию клавиатуры ( нажатие кнопки вниз). Открывал новых 300 контактов, затем пауза 30 сек, затем опять 300 открывал, и опять пауза. Все контакты сложились в txt файл. Единственная проблема, ссылки были типа ( a class="fans_fan_ph " href="/id11924">), Но я их закинул в Exel и там кнопкой НАЙТИ И ЗАМЕНИТЬ эту часть a class="fans_fan_ph " href=" заменял на https://vk.com. А то что после ID НАЙТИ И УДАЛИТЬ. Парсер 6000 контактов парсил минут 30. Основное время забирало "Эмуляция клавиатуры" и перерывы по 30 сек. Ну и обработка в Exel не больше минуты.
Не ругайтесь Профессионалы если сделал по колхозному, но это мой 2 шаблон. Учусь:ce::ce::ce::ce::ce::ce::ce::ce:
эмм...а не проще кубик в зенке сделать и заменить в процессе парсинга, чтоб без Exel
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 526
Благодарностей
1 200
Баллы
113
vk.com позволяет парсить через API, что значительно сокращает время парсинга. Нужно лишь потратить время и разобраться с соответствующим методом API.
Что касается конкретно парсинга участников групп, то в гугле есть примеры использования метода execute, который позволяет парсить участников миллионами, измеряя затраченное время в секундах :-)
 

kolina

Client
Регистрация
05.10.2019
Сообщения
50
Благодарностей
20
Баллы
8
эмм...а не проще кубик в зенке сделать и заменить в процессе парсинга, чтоб без Exel
У меня один поток. И если с кубиком, то пару тыс контактов будет менять долго. А в Exel за 5 сек. Хотя когда писал раньше, о этом кубике не знал. Сейчас использую, когда обрабатывать нужно не много строк. Кубик НАЙТИ И ЗАМЕНИТЬ классная штука
 

ibred

Administrator
Команда форума
Регистрация
04.04.2015
Сообщения
3 373
Благодарностей
2 770
Баллы
113
  • Спасибо
Реакции: kolina

Mangazey

Client
Регистрация
22.03.2014
Сообщения
368
Благодарностей
27
Баллы
28
Так все-таки сколько парсит в вэбверсии... 1000?
 

kolina

Client
Регистрация
05.10.2019
Сообщения
50
Благодарностей
20
Баллы
8
Так все-таки сколько парсит в вэбверсии... 1000?
Если не пользоваться поиском, то эмуляция клавиатуры( Клавиша DOWN) откроет думаю всех, по крайней мере тысяч 8 у меня открывала. А если выполнить поиск по полу, городу и т.д., то откроется только 1 000.
 

kolina

Client
Регистрация
05.10.2019
Сообщения
50
Благодарностей
20
Баллы
8
Вчера пришла такая идея по организации парсинга участников групп VK:
1. Узнаём ID группы для парсинга
2. Составляем себе список всех на что можно разбить поиск VK (пол, город, семейное положение и т.д.)
3. Получаем список URL из строк типа:

4. далее берём строку и вместо 110421241 подставляем необходимый ID группы которую парсим.
5. Эмуляцией клавиатуры, делаем нажатие клавиши DOWN раз так 20
6. В какой то ветке читал обсуждение как определить что хватит нажимать DOWN. Предлагаю решение такое:
  • Нажали 20 раз DOWN
  • Спарсили ссылки
  • Положили в список
  • Посчитали количество строк (получилось 150)
  • Положили в переменную число 150
  • Нажали DOWN ещё 20 раз
  • Спарсили ссылки
  • Положили в список
  • Посчитали количество строк ( получилось 150)
  • Экшеном IF сравнили старое значение и новое (одинаковое, значит возвращаемся к списку URL и повторяем процедуру по другому параметру поиска. А если количество строк увеличилось, значит опять нажимаем DOWN 20 раз)
Потратить времени 3 часа, написать такой шаблон. И в дальнейшем только в входных настройках вставлять ID группы.
 

Rk61

Client
Регистрация
03.02.2015
Сообщения
113
Благодарностей
116
Баллы
43
Парсить подписчиков лучше всего через API с помощью execute. За 1 гет-запрос получится вытягивать 25к подписчиков (экзекут может включать в себя до 25 запросов, каждым запросом делаем оффсет+1000)
К примеру нужно спарсить 1млн. В секунду можно до 3х запросов кидать, но пусть даже 1 запрос в секунду.
Получится за 40 секунд миллион наш. Если вк не понравится такая скорость, ставим паузы между запросами в 2-5 секунд и всё равно 1 млн за несколько минут - это неплохо.
 
  • Спасибо
Реакции: kolina

kolina

Client
Регистрация
05.10.2019
Сообщения
50
Благодарностей
20
Баллы
8
Попробую на днях разобраться в этом методе. Спасибо!
 

Baloo

Client
Регистрация
12.01.2020
Сообщения
279
Благодарностей
94
Баллы
28
Ногами просьба не бить,но подскажите,что я делаю не так?
Screenshot_9.jpg
 

HWMD

Client
Регистрация
16.08.2019
Сообщения
85
Благодарностей
9
Баллы
8
Ногами просьба не бить,но подскажите,что я делаю не так?
Посмотреть вложение 48882
Окно браузера свидетельствует о том, что аккаунт не авторизован на сайте.
Если шаблон не предусматривает авторизацию и на сайте раньше можно было смотреть подписчиков без авторизации (не владению инф.), то возможно это требование ввели в последних обновлениях сайта.
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
520
Благодарностей
562
Баллы
93
Ногами просьба не бить,но подскажите,что я делаю не так?
Посмотреть вложение 48882
Нужно указать ссылку на группу в переменную "{-Variable.group_link-}" и выполнять шаблон с самого начала. Если просит авторизацию, то из этой группы нельзя собрать подписчиков без авторизации (возможно группа закрытая)
 

Baloo

Client
Регистрация
12.01.2020
Сообщения
279
Благодарностей
94
Баллы
28
Нужно указать ссылку на группу в переменную "{-Variable.group_link-}" и выполнять шаблон с самого начала. Если просит авторизацию, то из этой группы нельзя собрать подписчиков без авторизации (возможно группа закрытая)
спасибо.группу я указал как в описании.группа не закрытая.пытаюсь добавить кубик с авторизацией.
 

Baloo

Client
Регистрация
12.01.2020
Сообщения
279
Благодарностей
94
Баллы
28

HWMD

Client
Регистрация
16.08.2019
Сообщения
85
Благодарностей
9
Баллы
8
спасибо.группу я указал как в описании.группа не закрытая.пытаюсь добавить кубик с авторизацией.
вк ввел новую фишку: скрытие подписчиков от всех, кроме администрации. Возможно группа не закрытая, но подписчики скрыты?
 
  • Спасибо
Реакции: Baloo

Baloo

Client
Регистрация
12.01.2020
Сообщения
279
Благодарностей
94
Баллы
28
Всё понял,спасибо господа Вам огромное.Значит мне нужен парсер тех участников,кто оставляет комментарии.Ещё раз благодарю.
 

HWMD

Client
Регистрация
16.08.2019
Сообщения
85
Благодарностей
9
Баллы
8
Всё понял,спасибо господа Вам огромное.Значит мне нужен парсер тех участников,кто оставляет комментарии.Ещё раз благодарю.
Для этой задачи проще использовать сервисы с готовым функционалом и критериями. Они не дорогие.
 

Baloo

Client
Регистрация
12.01.2020
Сообщения
279
Благодарностей
94
Баллы
28
Для этой задачи проще использовать сервисы с готовым функционалом и критериями. Они не дорогие.
согласен.пользовался такими для таргетинга вк,но блин,я хочу всё максимально удешевить,то есть ничего не покупать,кроме самого зеннопостера.для работы мне хватит лайта,так как я не планирую в промышленных масштабах работать с группами в вк,максимум 10 групп,парсинг по одной в час - не так уж и сложно.
 

HWMD

Client
Регистрация
16.08.2019
Сообщения
85
Благодарностей
9
Баллы
8
согласен.пользовался такими для таргетинга вк,но блин,я хочу всё максимально удешевить,то есть ничего не покупать,кроме самого зеннопостера.для работы мне хватит лайта,так как я не планирую в промышленных масштабах работать с группами в вк,максимум 10 групп,парсинг по одной в час - не так уж и сложно.
Собственный опыт: нет смысла экономить 300р/месяц и тратить время/ресурсы на велосипед.
Повышай прибыль и когда добьешь больших высот - экономия возможно будет целесообразна. 300р - нецелесообразно.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)