Обход ограничений поисковой выдачи VK

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
Ребят, подскажите пожалуйста, очень надо!

Как обойти ограничение в поиске ВК?

К примеру ищу всех женщин с определенными интересами - вк пишет что найдено десятки тысяч результатов. А на самой странице, если ее полностью проскроллить вниз - всего 1000 результатов. Get запросом вроде тоже самое выдает.

Как собрать все эти десятки тысяч?
Можно в лс если что
 

4iloveg

Client
Регистрация
22.09.2016
Сообщения
83
Благодарностей
28
Баллы
18
А по апи что какие там лимиты?
 

evgen_po

Client
Регистрация
27.08.2013
Сообщения
847
Благодарностей
527
Баллы
93
А по апи что какие там лимиты?
По апи такие же самые лимиты - первая тысяча результатов.
Ребят, подскажите пожалуйста, очень надо!

Как обойти ограничение в поиске ВК?

К примеру ищу всех женщин с определенными интересами - вк пишет что найдено десятки тысяч результатов. А на самой странице, если ее полностью проскроллить вниз - всего 1000 результатов. Get запросом вроде тоже самое выдает.

Как собрать все эти десятки тысяч?
Можно в лс если что
Обойти это по сути нельзя. Нужно просто разбивать запросы. Т.е. искать по Именам, по Фамилии, по дате рождения, по другим критериям поиска. И парсить каждый результат - после чего удалять дубли.
 
  • Спасибо
Реакции: Ostap Bender и Mikhail B.

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
По апи такие же самые лимиты - первая тысяча результатов.

Обойти это по сути нельзя. Нужно просто разбивать запросы. Т.е. искать по Именам, по Фамилии, по дате рождения, по другим критериям поиска. И парсить каждый результат - после чего удалять дубли.
ну вот это я первое сразу что подумал, но это крайне сложно получается, вернее громоздко а не сложно. мне надо все к примеру 40к человек собрать, а выходит это больше 40 комбинаций.
 

evgen_po

Client
Регистрация
27.08.2013
Сообщения
847
Благодарностей
527
Баллы
93
ну вот это я первое сразу что подумал, но это крайне сложно получается, вернее громоздко а не сложно. мне надо все к примеру 40к человек собрать, а выходит это больше 40 комбинаций.
Такой вопрос подымался на форуме не один раз. Решение всегда одно - разбивать запросы. Другого пути найти не удалось. Что через АПИ, что гет-пост запросами, что через браузер - лимит выдачи 1000 по одному запросу.
Получается нужно только разбивать запросы.
 
  • Спасибо
Реакции: JanCarlo

Alexmd

Client
Регистрация
10.12.2018
Сообщения
1 020
Благодарностей
1 380
Баллы
113

evgen_po

Client
Регистрация
27.08.2013
Сообщения
847
Благодарностей
527
Баллы
93
По апи можно выдернуть всех и вся, зациклив offset.
Вы ошибаетесь, даже через АПИ, используя параметр offset - Вы получите только первую 1000 результатов. Не вводите людей в заблуждение.

https://vk.com/dev/users.search

http://joxi.ru/MAjGw87FjdELVr

Тут вообще offset использовать не нужно, т.к. одним запросом можно получить сразу 1000, а дальше не выдается, можете сами проверить.
 

heks

Client
Регистрация
01.10.2013
Сообщения
1 056
Благодарностей
249
Баллы
63
пришли какой город и какие параметры нужно вытянуть помогу
 

one

Client
Регистрация
22.09.2015
Сообщения
6 788
Благодарностей
1 264
Баллы
113
Попрбовать по возрасту разбить.
 
  • Спасибо
Реакции: JanCarlo

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
Первую проблему решил)))

Подскажите пожалуйста, подходят ли для вк ipv6 прокси? И кто где покупает акки подскажите пожалуйста?
 

one

Client
Регистрация
22.09.2015
Сообщения
6 788
Благодарностей
1 264
Баллы
113
  • Спасибо
Реакции: kagorec

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
Сортировка и комбинирование. У меня аудитория узкоспециализированная, по этому не сложно было, по каждому запросу меньше тысячи выдает.

Вот теперь по ним спам хочу сделать в рамках правил вк, до 20 сообщений с аккаунта.
 
  • Спасибо
Реакции: one

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
Че то заглючило
 

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
Господа, а кто как избегает банов во время отправки в лс?

Прикупил акков, повесил на них разные прокси, сделал большой спинтакс сообщения, сделал рандомную ссылку на оффер. Через вечер все акки в бане. К каждому живому обращался по имени.
Единственный ньюанс, токены для всех акков получал от одного приложения.

Может кто что посоветовать?
 

kolina

Client
Регистрация
05.10.2019
Сообщения
158
Благодарностей
44
Баллы
28
Вы ошибаетесь, даже через АПИ, используя параметр offset - Вы получите только первую 1000 результатов. Не вводите людей в заблуждение.

https://vk.com/dev/users.search

http://joxi.ru/MAjGw87FjdELVr

Тут вообще offset использовать не нужно, т.к. одним запросом можно получить сразу 1000, а дальше не выдается, можете сами проверить.
evgen_po :ay:

Даже ручками, открывается для просмотра только 1000 результатов. Как вариант для себя использую так. Нахожу сообщества в необходимом регионе. А с сообществ ограничения нет. Вчера 12 000 спарсил.
Порядок действий: составить список необходимых групп VK, спарсить всех участников этих групп в список, удалить дубли, в EXELе подправить ссылки(в необходимом виде не получилось) до нужного формата. И потом с этим списком работаю.
 

Spikers07

Client
Регистрация
25.05.2016
Сообщения
119
Благодарностей
53
Баллы
28
При работе с Api offset не поможет.
Обратите внимание — даже при использовании параметра offset для получения информации доступны только первые 1000 результатов.
Единственный вариант разбить запрос на несколько частей, например 12 месяцев, подставляя на каждый запрос +1 в обработку переменных.

Господа, а кто как избегает банов во время отправки в лс?

Прикупил акков, повесил на них разные прокси, сделал большой спинтакс сообщения, сделал рандомную ссылку на оффер. Через вечер все акки в бане. К каждому живому обращался по имени.
Единственный ньюанс, токены для всех акков получал от одного приложения.
1. Прокси (Очень важный параметр. За 7 лет работы учёл одну вещь, что скупой платит дважды. Либо бери мобильные, либо качественные = дорогие, не ведись на дешевые сервисы)
2. Рандомизирование это хорошо, но не забывай о стоп словах.
3. В любом виде использование ссылки увеличивает внимание к твоей анкете на очень большое число.
4. Токен получай от официального приложения (андроид). Ибо ты сливаешься с 70% аудиторией при работе с Вк.
5. Попробуй не в первом сообщении отправлять ссылку, а например в 3 или 6. Это называется последовательные сообщения.
 

DrunkDeath

Client
Регистрация
24.12.2014
Сообщения
564
Благодарностей
379
Баллы
63
Как это offset не поможет? Всё он нормально работает. Используется offset и count и на каждый запрос счётчик offset увеличивается на число count, тем самым смещая результат поиска.
 

kolina

Client
Регистрация
05.10.2019
Сообщения
158
Благодарностей
44
Баллы
28
Как это offset не поможет? Всё он нормально работает. Используется offset и count и на каждый запрос счётчик offset увеличивается на число count, тем самым смещая результат поиска.
Он смещается только до 999 участников. Если парсить всю группу целиком, то я вчера спарсил 12 000, но если парсить не всех а выбрать в поиске например "город"? то опускается только до 999
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 520
Благодарностей
1 221
Баллы
113
Он смещается только до 999 участников. Если парсить всю группу целиком, то я вчера спарсил 12 000, но если парсить не всех а выбрать в поиске например "город"? то опускается только до 999
И это логично.
Проще парсить группы через execute.
 

Rk61

Client
Регистрация
03.02.2015
Сообщения
114
Благодарностей
125
Баллы
43
Чтоб получить большУю выдачу - нужно самому сделать базу.

Сначала парсим всех людей или все группы по id, начиная с первого, заканчивая последним.
Далее для каждого из них подгружаете нужные для вас данные по аккаунту\группе.
А потом уже из этой, созданной вами базы, делаете выборку по параметрам.

Таким образом ограничений не будет.

Минусы:
- долго собирать базу
- большой объём базы
- изменения аккаунтов не в режиме онлайн, периодически придётся обновлять базу
 
  • Спасибо
Реакции: kolina

Alexmd

Client
Регистрация
10.12.2018
Сообщения
1 020
Благодарностей
1 380
Баллы
113
Перепроверил у себя - при смещении на 990 выдает всего 10 результатов. В принципе, для моей задачи это было не критично, у меня offset на сайте установлен 20 и 50 страниц за глаза хватает посетителям. Я был почему-то уверен, что так можно всех посмотреть.
Прошу прощения за заведомо неверный совет. Тоже стало интересно, как обойти это ограничение.
 

Rk61

Client
Регистрация
03.02.2015
Сообщения
114
Благодарностей
125
Баллы
43
Перепроверил у себя - при смещении на 990 выдает всего 10 результатов. В принципе, для моей задачи это было не критично, у меня offset на сайте установлен 20 и 50 страниц за глаза хватает посетителям. Я был почему-то уверен, что так можно всех посмотреть.
Прошу прощения за заведомо неверный совет. Тоже стало интересно, как обойти это ограничение.
Обхода ограничения как такового не существует.
Есть несколько вариантов:
- Выкачивание всей базы пользователей\сообществ и поиск по ним своим скриптом
- Парсить сайты, которые уже за тебя выгрузили всю базу пользователей\сообществ
- Узкая сегментация для получения большего кол-ва целевых пользователей\сообществ (удобно использовать в вк апи метод экзекут, которым брать по целевому запросу до 25 сегментов)

Других вариантов не вижу и не использовал, если у кого-то есть практические советы - поделитесь)
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 520
Благодарностей
1 221
Баллы
113
  1. Определяем нашу ЦА;
  2. Находим в выдаче милионники и городские/тематические группы;
  3. Парсим всех участников групп используя метод execute;
    43629
  4. Чистим полученный список от собак (на больших объемах выгоднее чистить сразу, но с объемом менее миллиона, можно делать это попутно);
    43670
  5. Складываем полученные данные в базу, например, MySQL и...
  6. Profit.
Полагаю, ни для кого не секрет, что даже используя куцый функционал интерфейса phpMyAdmin можно вытащить из базы очень много интересных, скажем так, совпадений :-)))
 
  • Спасибо
Реакции: Home_KreKer

socsecret.ru

Client
Регистрация
30.09.2017
Сообщения
343
Благодарностей
204
Баллы
43
Если есть знатоки ВКонтакте, подскажите пожалуйста такой момент. Я создаю шаблон, который собирает id всех пользователей, найденных в поиске. Т.е. хочу, чтобы обходилось ограничение выдачи в поиске (1000 человек). Делаю это путём указания даты рождения. К примеру, вот такие параметры поиска https://vk.com/search?c[per_page]=40&c[q]=Алкаш&c[section]=people - найдено 2197 человек. Но если указать День рождения один за одним, каждый из 31 дня, то в сумме получается 1230 человек. Как так? Вроде ж невозможно в ВК не указывать дату рождения? Может ещё какой-то способ есть обхода ограничения выдачи?
 

Spikers07

Client
Регистрация
25.05.2016
Сообщения
119
Благодарностей
53
Баллы
28
Возможно просто некоторые указали только год рождения, а день скрыли)
 

socsecret.ru

Client
Регистрация
30.09.2017
Сообщения
343
Благодарностей
204
Баллы
43
Возможно просто некоторые указали только год рождения, а день скрыли)
Нет, скрытие вообще не при чём. Скрытие лишь визуально убирает дату со странички, но в поиске аккаунт все равно находится.
 

Spikers07

Client
Регистрация
25.05.2016
Сообщения
119
Благодарностей
53
Баллы
28

socsecret.ru

Client
Регистрация
30.09.2017
Сообщения
343
Благодарностей
204
Баллы
43

socsecret.ru

Client
Регистрация
30.09.2017
Сообщения
343
Благодарностей
204
Баллы
43
На счёт поиска людей через API, муть какая-то.
К примеру, я задаю вот такой запрос обычным поиском https://vk.com/search?c[city]=27&c[country]=1&c[per_page]=40&c[q]=робот&c[section]=people - находится 2 человека с именами Робот Пузо и Бендер Робот. Но при этом на панели разработчика (или не знаю как это правильней назвать) https://vk.com/dev/users.search?params[q]=робот&params[count]=1000&params[city]=27&params[country]=1&params[online]=0&params[has_photo]=0&params[v]=5.103 если задать те же самые параметры поиска, то находится всего лишь один человек с именем Робот Пузо. Куда же исчез второй человек??? Почему он не отображается в ответе? При этом в счётчике найденных людей он указан: "count": 2
Безымянный.png
 

stmult

Client
Регистрация
19.11.2013
Сообщения
96
Благодарностей
37
Баллы
18
Такой вопрос подымался на форуме не один раз. Решение всегда одно - разбивать запросы. Другого пути найти не удалось. Что через АПИ, что гет-пост запросами, что через браузер - лимит выдачи 1000 по одному запросу.
Получается нужно только разбивать запросы.
Просто так разбить тоже не всегда эффективно, так как примерно после 100-го запроса, вк наложит ограничения и будет выдавать пустой результат. Придется либо ждать, пока снимуть ограничение, либо паузы большие ставить. Причем ограничение будет даже если слать запросы по одному, без execute. То же самое будет, если делать через песочницу. В итоге если парсинг включает больше 80-100 запросов, тогда нужно искать другие варианты.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)