Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63
Лого.png


Доброго времени суток, дамы и господа. Хочу поделиться с вами весьма полезным шаблоном для парсинга групп Вконтакте с сайта https://allsocial.ru/ с последующей фильтрацией этих групп и занесением результата в таблицу. Шаблон парсит по ссылке группы и получает данные о группах (Название, ID, тип сообщества, доступ, возможность постинга в комментарии или на стену группы, возможность загружать документы, фото и видео, можно ли создавать обсуждения и писать в сообщения группы). Результат записывается в таблицу.


Таблица.jpg




Входные.jpg

Лог.jpg


Как пользоваться шаблоном:


Переходим на сайт https://allsocial.ru/ и выставляем критерии поиска групп.
Копируем ссылку из адресной строки и вставляем во входные настройки шаблона.
Выбираем пункт "Парсить AllSocial" и выполняем 1 раз.
В корневой папке шаблона появится список с ID групп.
Добавляем полученный список во входные настройки.
Выбираем пункт "Фильтровать Группы".
Пишем логин и пароль вк.
По желанию добавляем прокси в формате: логин:пароль@ip:port.
Запускаем 1 выполнение.
Отфильтрованные группы появятся в таблице "Результат".



Можно фильровать и свои группы из списка. В списке должны быть только ID сообществ. Шаблон записывает все полученные данные в одну таблицу "Результат".

Всем спасибо за внимание. Надеюсь этот шаблон вам пригодится.
 
Категория
Парсинг, SMM

Вложения

MasterX

Client
Регистрация
11.12.2015
Сообщения
89
Благодарностей
19
Баллы
8
Вот бы кто такое для телеграмма придумал)
 

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63
Вот бы кто такое для телеграмма придумал)
А что тут думать, выбирается вкладка Telegram на сайте и в кубике dom (в парсере) вписывается эта регулярка (?<=domain=).*. И всё, шаблон парсит группы телеграма по вашим критериям из allsocial
 
  • Спасибо
Реакции: Gomer

barkasian

Client
Регистрация
03.12.2014
Сообщения
127
Благодарностей
130
Баллы
43
А что тут думать, выбирается вкладка Telegram на сайте и в кубике dom (в парсере) вписывается эта регулярка (?<=domain=).*. И всё, шаблон парсит группы телеграма по вашим критериям из allsocial
Отлично, вот и шаблон на шестой конкурс шаблонов приехал)
 

Gomer

Client
Регистрация
26.09.2016
Сообщения
27
Благодарностей
17
Баллы
3
А что тут думать, выбирается вкладка Telegram на сайте и в кубике dom (в парсере) вписывается эта регулярка (?<=domain=).*. И всё, шаблон парсит группы телеграма по вашим критериям из allsocial
Лишний раз убеждаюсь, все гениальное просто)) Спасибо. А можешь добавить в шаб эту функцию по телеге, чтобы еще в отчет ссылку на телеграм канал выгружал?
 

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63
Лишний раз убеждаюсь, все гениальное просто)) Спасибо. А можешь добавить в шаб эту функцию по телеге, чтобы еще в отчет ссылку на телеграм канал выгружал?
Не, этот шаб под вк. Как и писал выше, адаптировать под телегу можно заменив 1 кубик. Это не сложно.
 
  • Спасибо
Реакции: Gomer

Partners

Client
Регистрация
27.12.2015
Сообщения
46
Благодарностей
18
Баллы
8
Не, этот шаб под вк. Как и писал выше, адаптировать под телегу можно заменив 1 кубик. Это не сложно.
Шаб нужный пригодиться в работе. Помню был такой раньше, но где то затерялся. Долго парсил с помощью софта, но вроде тот уже не парсит. Кстати, чем можно потом группы отвалидировать по дате последнего поста?
 
  • Спасибо
Реакции: DrunkDeath

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63
Шаб нужный пригодиться в работе. Помню был такой раньше, но где то затерялся. Долго парсил с помощью софта, но вроде тот уже не парсит. Кстати, чем можно потом группы отвалидировать по дате последнего поста?
Да можно по json взять дату поста
 

Yura1206

Client
Регистрация
11.08.2016
Сообщения
81
Благодарностей
1
Баллы
8
Шаблон работает, но при парсинге почему-то выдает какие-то предупреждения и в папке создает два файла: в одном собранные id в указанном количестве (что в логе показывает), а в другом тоже id, но уже более 2000. Хотя по ссылке там и в помине нет этих 2000. Что это за второй список и откуда он берется?

17-03-2020 12-06-33.png
 

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63
Шаблон работает, но при парсинге почему-то выдает какие-то предупреждения и в папке создает два файла: в одном собранные id в указанном количестве (что в логе показывает), а в другом тоже id, но уже более 2000. Хотя по ссылке там и в помине нет этих 2000. Что это за второй список и откуда он берется?

Посмотреть вложение 52056
Предупреждения выскакивают только когда пустая страница, видимо не подгрузились группы. А вт на счёт нового файла я даже незнаю, он создаёт только 1 файл когда парсит с датой в имени
 

sambukanuka

Client
Регистрация
17.09.2019
Сообщения
209
Благодарностей
56
Баллы
28
зацикливается шаблон, и парсит первые 20 групп. Можете подправить?
 

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63

Acme

Новичок
Регистрация
23.04.2020
Сообщения
4
Благодарностей
0
Баллы
1
Только приобрёл данный продукт и решил попробовать Ваш шаблон. Настроил прокси чекер и когда запускаю ничего не происходит. Что не так делаю? Юзера никакого не указывал.
54571
 

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63
Только приобрёл данный продукт и решил попробовать Ваш шаблон. Настроил прокси чекер и когда запускаю ничего не происходит. Что не так делаю? Юзера никакого не указывал.
Посмотреть вложение 54571
А в логе что пишет при запуске? И надо добавить выполнения шаблону, а то всё по нулям
 

Acme

Новичок
Регистрация
23.04.2020
Сообщения
4
Благодарностей
0
Баллы
1
А в логе что пишет при запуске? И надо добавить выполнения шаблону, а то всё по нулям
Тип Время Сообщение
13:15:06 Начинаю парсинг...
13:15:07 Начинаю парсинг...
13:15:08 Начинаю парсинг...
13:15:12 Начинаю парсинг...
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Выполнение действия List Ошибка при обработке списка
13:15:12 Выполнение действия List Ошибка при обработке списка
13:15:12 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:12 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:13 Начинаю парсинг...
13:15:21 Начинаю парсинг...
13:15:21 Начинаю парсинг...
13:15:37 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:37 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:37 Выполнение действия List Ошибка при обработке списка
13:15:37 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:45 Начинаю парсинг...
13:15:49 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:49 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:49 Выполнение действия List Ошибка при обработке списка
13:15:49 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:58 Начинаю парсинг...
 

Вложения

Последнее редактирование:

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63
Тип Время Сообщение
13:15:06 Начинаю парсинг...
13:15:07 Начинаю парсинг...
13:15:08 Начинаю парсинг...
13:15:12 Начинаю парсинг...
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:12 Выполнение действия List Ошибка при обработке списка
13:15:12 Выполнение действия List Ошибка при обработке списка
13:15:12 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:12 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:13 Начинаю парсинг...
13:15:21 Начинаю парсинг...
13:15:21 Начинаю парсинг...
13:15:37 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:37 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:37 Выполнение действия List Ошибка при обработке списка
13:15:37 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:45 Начинаю парсинг...
13:15:49 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:49 Парсинг текста регулярным выражением Результат: ничего не найдено
13:15:49 Выполнение действия List Ошибка при обработке списка
13:15:49 ZennoPoster Не удалось выполнить проект E:\ZennoPoster\Шаблоны\Парсер групп Вконтакте с сайта AllSocial + последующая фильтрация.zp
13:15:58 Начинаю парсинг...
Прокси нужно 1 поставить и если что в личку мне пишите)
 
  • Спасибо
Реакции: Acme

minfin

Client
Регистрация
13.01.2020
Сообщения
56
Благодарностей
4
Баллы
8
Спасибо за отличный шаблон!
Обнаружил 2 ошибки:
1. Вылет с такой ошибкой
C#:
15:30:41    Выполнение действия Parse Json/Xml Unexpected character encountered while parsing value: <. Path '', line 0, position 0.
55647

2. В результате получается очень много дублей
55648


Для работы не критично - шаб можно перезапускать и дубли чистить. .
 
  • Спасибо
Реакции: DrunkDeath

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
393
Благодарностей
260
Баллы
63
Спасибо за отличный шаблон!
Обнаружил 2 ошибки:
1. Вылет с такой ошибкой
C#:
15:30:41    Выполнение действия Parse Json/Xml Unexpected character encountered while parsing value: <. Path '', line 0, position 0.
Посмотреть вложение 55647
2. В результате получается очень много дублей
Посмотреть вложение 55648

Для работы не критично - шаб можно перезапускать и дубли чистить. .
Видимо вк пустой ответ отдаёт и Json не обрабатывается. Паузу между запросами небольшую поставить надо.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)