Парсер групп Vk

Discussion in 'Внеконкурсные статьи' started by leha52rus, Mar 3, 2019.

  1. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51
    [​IMG]
    Всем привет, порой люди работающие с социальной сетью Vkontakte сталкиваются с простой на первый взгляд задачей, собрать нужное кол-во групп по определенному ключу, но на деле выходит не все так просто в виду различных обстоятельств.
    Поэтому хочется упростить Вам жизнь :-)

    Выполнение шаблона происходит полностью на Post\Get что в свою очередь практически не нагружает ваш ПК при работе шаблона

    Функции шаблона:
    Сбор пабликов ВК по ключевым словам (запросам)

    Работа шаблона осуществляется без авторизации в vk что очень удобно и снижает затраты на покупку аккаунта и упрощает процесс как минимум в 2 раза.

    Шаблон находится на этапе - Бета тестирования, если так можно сказать, проявиться интерес со стороны пользователей то можно будет прикрутить дополнительные какие то функции сбора и разбивки информации

    Так же хочу заметить что шаблон работает на базе одного известного ресурса, не буду озвучивать какого, можете зайти в кубики и сами всё подсмотреть :-)

    Собран на версии - 5.28.0.0
     

    Attached Files:

    Last edited: Mar 3, 2019
    GreenWay, kompas777 and sergej_g like this.
  2. sergej_g

    sergej_g Client

    Joined:
    Nov 29, 2011
    Messages:
    98
    Likes Received:
    57
    Проверил. Шаблон рабочий. Действительно ищет группы по ключевой фразе(18+) во входных настройках.
     
    leha52rus likes this.
  3. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51
    А я даже не подумал искать по такой формулировки ни разу (18+) =)
     
  4. sergej_g

    sergej_g Client

    Joined:
    Nov 29, 2011
    Messages:
    98
    Likes Received:
    57
    Так это известная поисковая фраза ;-)
     
    leha52rus likes this.
  5. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51
    Друзья!
    Наш парсер немного повзрослел и научился новым фишкам ;-)
    Стал доступен парсинг Администраторов групп со статистикой по охвату, росту, и количеством открытых\ закрытых групп
    Screen_parser.jpg
    p.s кол-во админов чуть менее полу миллионаo_O
    Парсить всех я так и не решился, у кого ПК с хорошей производительностью могли бы попробовать открыть такой xl файл
    Работайте в 1 поток, этого более чем достаточно
    тысячу админов я получаю где - то за 20 сек. :-)

    Шапку отредактировать не получилось почему - то что бы обновить шаблон
    поэтому прикрепляю его сюда
     

    Attached Files:

    Last edited: Mar 6, 2019
    sergej_g and Juniorcpa like this.
  6. ModNick

    ModNick Client

    Joined:
    Jun 27, 2016
    Messages:
    13
    Likes Received:
    1
    Больше 1000 групп получается спарсить?
     
  7. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51
    При запуске парсинга, шаблон выдает нам значение = кол-во пабликов которые он нашел по заданному ключу
    http://joxi.ru/nAyKJ4jugj8DYm
    Далее начинается парсинг
    и после того как шаблон соберет все группы\паблики он произведет остановку и очистит все имеющиеся дубли, если таковые имеют место быть
    http://joxi.ru/brRZKWbT7Y5DKr
    Спаршенные паблики Вы можете найти в текстовом документе который лежит в одной папке с проектом
    и называется publics.txt
    Хотите парсить не по одному ключу сразу?
    Можете запустить 1-2-3 шаблона в параллель, но если честно такая реализация мне не нравится =)
    можно конечно устроить логику работы так что бы после отработки одного ключа, шаблон брал следующий и так до тех пор пока не закончатся ключи...
     
    Last edited: Mar 21, 2019
  8. specialist

    specialist Client

    Joined:
    Dec 28, 2018
    Messages:
    396
    Likes Received:
    135
    Возможно как-то отфильтровать админов по запросам? Тот же чудо запрос 18+, получить только админов по данному запросу?
     
  9. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51
    Думаю - да
    Но в таком случае понадобится авторизация через какой-либо аккаунт
    Но пока это не реализовано ...

    Есть возможность подтянуть парсинг телеграм каналов, если востребовано то можно реализовать в принципе.
     
    Last edited: Mar 22, 2019
  10. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    Приветствую.Очень интересно потестировать парсинг телеграм каналов.

    Сделайте пожалуйста работу этого вк шаблона с возможностью парсинга через прокси/без прокси
     
  11. yarobod

    yarobod Client

    Joined:
    Feb 3, 2018
    Messages:
    2
    Likes Received:
    0
    Возможно ли реализовать в данном шаблоне парсинг с этих групп-пользователей ( по гео, возрасту, интересам, наличию телефона, email, если есть в анкете )? Был бы очень благодарен
     
  12. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51
    Потребуется авторизация для сбора этой информации
    Реализовать то можно что угодно...
     
  13. yarobod

    yarobod Client

    Joined:
    Feb 3, 2018
    Messages:
    2
    Likes Received:
    0
    Цена вопроса ?
     
  14. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51
    Я подумаю над реализацией, этих задач, логику я вижу такой
    1.Парсинг групп
    2.Парсинг из собранных групп по одному из интересующих нас критериев
    Ибо парсить по всем критерием сразу не корректно как то будет
    Допустим собираем сначала жителей города_№
    А потом уже можно из них отобрать жителей с наличием телефона или email
     
    alexgrand likes this.
  15. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51

    Ребята привет! Ну что? Готовы! :-)

    С того момента как вышла первая версия нашего парсера прошло достаточно времени что бы вдохнуть в него новую жизнь! Парсер приобрел новый функционал, обзавелся новыми фишками которыми я и хотел бы с вами поделится!

    Итак приступим к разбору функционала
    Иногда нужно посмотреть id группы или пользователя
    эта функция реализована в шаблоне
    1554308836505.jpg

    Просто выбираете из выпадающего меню
    "Узнать id" ниже вставляете ссылку на сообщество или пользователя и выполняете проект
    id Вы найдете в папке с проектом текстовый файл "id группы или пользователя"
    akkaunt_for_job - кладете аккаунт в формате login:password именно Двоеточие должно разделять логин и пароль

    Парсер сообществ


    В Выпадающем меню в первой вкладке "Режим работы" выбираем Парсим сообщества
    переходим во вкладку "Парсер сообществ" задаём ключевое слово по которому хотим собрать группы и выполняем проект

    1554308806482.jpg

    После того как сообщества собраны
    переходим в папку с проектом
    берем одну из групп и вставляет в текстовый документ "Группы для парсинга"
    парсинг_мануал.jpg
    формат строки которая кладется в текстовый документ "Группы для парсинга" должен быть строго следующий:
    club19530329 или же group25504395

    Логика шаблона следующая :
    сперва он собирает всех доступных для парсинга пользователей из сообщества (обычно ВК отдаёт меньшее кол-во чем указано на страничке в группе)
    А потом собирает всю доступную по ним информацию


    Шаблон реализован таким образом что каждое новое сообщество для парсинга Вам придётся вручную добавлять в тхт Группы для парсинга из тхт publics

    p.s. что касается работы с таблицей!
    То после того как вы возьмёте всю информацию, и захотите удалить старые данные
    делайте это следующим образом, выделяете не строки а всё вместе со столбцами слева!
    Как показано на скрине, но не стоит удалять шапку сверху, она не восстановится! =)
    таблица удаления.jpg
     

    Attached Files:

    Last edited: Apr 3, 2019
    artinet and She like this.
  16. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    Доброго времени @leha52rus Спасибо за то,что сделали такую работу,за то что выкладываете такое для нас бесплатно.Удачи и развития.
    По возможности реализуйте пожалуйста чтобы шаблону можно было запретить парсить мусорные ссылки.Часто по одному ключу,много не в тему групп собирается.Не знаю как это реализовать.Может чёрный список стоп слов.
     
  17. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51
    Спасибо за то что оценили мой труд =)
    Шаблон реализован таким образом что собирает группы со стороннего ресурса, а сам парсинг участников сообществ и их данные уже идёт непосредственно с Вк
    Можно конечно переписать блок парсинга непосредственно в Вк, но сейчас нет желания этим заниматься
     
    She likes this.
  18. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    Доброго времени @leha52rus. А id пользователей массово как им можно парсить? Чтобы он мог с группы выдирать всех пользователей,и не единично,а списком выдавал их id
     
  19. leha52rus

    leha52rus Client

    Joined:
    Jun 1, 2017
    Messages:
    198
    Likes Received:
    51
    Так он их и кладет в таблицу по мере парсинга
    Можно добавить функцию парсинга пользователей из сообществ без обработки
    т.е. задали группу, спарсили всех возможных пользователей, получили просто список id.
     
    Last edited: Apr 4, 2019
    She likes this.
  20. She

    She Client

    Joined:
    Jan 11, 2017
    Messages:
    47
    Likes Received:
    9
    Доброго времени @leha52rus.Это уже работает?Или это планы на будущее?

    Реализуйте пожалуйста возможность парсить сообщества сразу по нескольким онотематическим ключам из списка.Если это уже работает,объясните пожалуйста как?
     
    Last edited: Apr 5, 2019

Пользователи просматривающие тему (Пользователей: 0, Гостей: 0)