Обход ограничений поисковой выдачи VK

stmult

Client
Регистрация
19.11.2013
Сообщения
87
Благодарностей
29
Баллы
18
Если есть знатоки ВКонтакте, подскажите пожалуйста такой момент. Я создаю шаблон, который собирает id всех пользователей, найденных в поиске. Т.е. хочу, чтобы обходилось ограничение выдачи в поиске (1000 человек). Делаю это путём указания даты рождения. К примеру, вот такие параметры поиска https://vk.com/search?c[per_page]=40&c[q]=Алкаш&c[section]=people - найдено 2197 человек. Но если указать День рождения один за одним, каждый из 31 дня, то в сумме получается 1230 человек. Как так? Вроде ж невозможно в ВК не указывать дату рождения? Может ещё какой-то способ есть обхода ограничения выдачи?
Собираете через post\get запросы или каким-то другим способом? Если через них, тогда получили временное ограничение на парсинг от вк. Если через песочницу - тоже ограничение получили. Если через веб-версию - значит неправильно парсите, потому что там по 40 id отдает, нужно подгружать страницу , чтобы получить остальные id. Если прошли 365 дней по 40 id, вот примерно 1200 и получили. Причем подгружать страницу надо тоже не до конца (хотя раньше можно было, сейчас уже так нельзя), а по кусочкам, и парсить каждый кусочек. Это долго и нудно, понимаю. Но иногда проще подождать 10-12 часов (например поставить на ночь) и спарсить себе id на 1-2 недели работы.

А делать базу из всех id вк или брать чужие базы, не очень эффективно, данные меняются постоянно, базу поддерживать надо. Ну и скачать такую базу в современных реалиях очень непросто, без временно или постоянного бана.
 

Arturs2006

Client
Регистрация
30.09.2017
Сообщения
150
Благодарностей
43
Баллы
28
Собираете через post\get запросы или каким-то другим способом? Если через них, тогда получили временное ограничение на парсинг от вк. Если через песочницу - тоже ограничение получили. Если через веб-версию - значит неправильно парсите, потому что там по 40 id отдает, нужно подгружать страницу , чтобы получить остальные id. Если прошли 365 дней по 40 id, вот примерно 1200 и получили. Причем подгружать страницу надо тоже не до конца (хотя раньше можно было, сейчас уже так нельзя), а по кусочкам, и парсить каждый кусочек. Это долго и нудно, понимаю. Но иногда проще подождать 10-12 часов (например поставить на ночь) и спарсить себе id на 1-2 недели работы.
Ни то, и ни другое. Я знаю что есть ограничения при частых запросах. Делал обманку - с разных ip и разных аккаунтов запрашивал, и с большой паузой - бесполезно.
А ещё меня поражает такая ситуация. Допустим, при запросе поиска людей по API найдено 100500 аккаунтов. И, казалось бы, в ответе на мой запрос должно придти 1000 человек, но нет! Приходит всегда меньше! Хотя в параметрах я указал count=1000
 

Arturs2006

Client
Регистрация
30.09.2017
Сообщения
150
Благодарностей
43
Баллы
28
Или вот ещё ситуация. Делаю обычный запрос в ВК: https://vk.com/search?c[city]=27&c[country]=1&c[per_page]=40&c[q]=робот&c[section]=people - находится 2 человека. А если делаю запрос по API с идентичными параметрами, то находится 1 человек! Как блин так-то? Точнее, находится тоже 2, даже в ответе написано "count": 2, но данные только от одного человека:
Код:
{
"response": {
"count": 2,
"items": [{
"id": 495657165,
"first_name": "Робот",
"last_name": "Пузо",
"is_closed": false,
"can_access_closed": true,
"track_code": "d68be0e3lVYfR1NX2o1S6-4PLh0Kh-RpmhEl3Y1olVRqAYBKtY_yPw5CCTuI0FPp29ql68CAjGecEiXd"
}]
}
}
 

stmult

Client
Регистрация
19.11.2013
Сообщения
87
Благодарностей
29
Баллы
18
Ни то, и ни другое. Я знаю что есть ограничения при частых запросах. Делал обманку - с разных ip и разных аккаунтов запрашивал, и с большой паузой - бесполезно.
А ещё меня поражает такая ситуация. Допустим, при запросе поиска людей по API найдено 100500 аккаунтов. И, казалось бы, в ответе на мой запрос должно придти 1000 человек, но нет! Приходит всегда меньше! Хотя в параметрах я указал count=1000
Через api придет 1000 (иногда 999 или 998 ). Паузы помогают, но они должны быть не по 3 секунды. Ну и всё зависит конечно от того сколько нужно спарсить. Если 100 тысяч человек, перебором по дням рождения на 365 запросов, это одно время. А если те же 100 тысяч человек но по возрасту от 18 до 22 лет, перебором по тем же дням рождения, это уже около 1500 запросов, и паузы нужны совсем другие. Поэтому лучше делать разбивку, чтобы умещалось всё в запросы месяцев рождения, их всего 12. Через тот же execute можно передать сразу 25 запросов. Поэтому я сторонник разбивки поиска на небольшие группы по 8-10 тысяч человек и сбор этих людей через месяцы рождения.
 

stmult

Client
Регистрация
19.11.2013
Сообщения
87
Благодарностей
29
Баллы
18
Или вот ещё ситуация. Делаю обычный запрос в ВК: https://vk.com/search?c[city]=27&c[country]=1&c[per_page]=40&c[q]=робот&c[section]=people - находится 2 человека. А если делаю запрос по API с идентичными параметрами, то находится 1 человек! Как блин так-то? Точнее, находится тоже 2, даже в ответе написано "count": 2, но данные только от одного человека:
Код:
{
"response": {
"count": 2,
"items": [{
"id": 495657165,
"first_name": "Робот",
"last_name": "Пузо",
"is_closed": false,
"can_access_closed": true,
"track_code": "d68be0e3lVYfR1NX2o1S6-4PLh0Kh-RpmhEl3Y1olVRqAYBKtY_yPw5CCTuI0FPp29ql68CAjGecEiXd"
}]
}
}
Глубоко не копался в вашем варианте, но такие id невидимки есть. На прошлой неделе пришлось неплохо так покопаться в одном своём шаблоне, чтобы найти подобного товарища.
 

stmult

Client
Регистрация
19.11.2013
Сообщения
87
Благодарностей
29
Баллы
18
Или вот ещё ситуация. Делаю обычный запрос в ВК: https://vk.com/search?c[city]=27&c[country]=1&c[per_page]=40&c[q]=робот&c[section]=people - находится 2 человека. А если делаю запрос по API с идентичными параметрами, то находится 1 человек! Как блин так-то? Точнее, находится тоже 2, даже в ответе написано "count": 2, но данные только от одного человека:
Код:
{
"response": {
"count": 2,
"items": [{
"id": 495657165,
"first_name": "Робот",
"last_name": "Пузо",
"is_closed": false,
"can_access_closed": true,
"track_code": "d68be0e3lVYfR1NX2o1S6-4PLh0Kh-RpmhEl3Y1olVRqAYBKtY_yPw5CCTuI0FPp29ql68CAjGecEiXd"
}]
}
}
Проверил ради интереса ваш запрос, это не та ситуация, которая была у меня. У вас не показывается, потому что давно была последняя активность (в 2013 году последний раз). Вк по этому методу не показывает тех кто был последний раз онлайн несколько лет назад. Можете легко это проверить по любому другому запросу, если не ставить галочку онлайн. Выберите какой нибудь небольшой город, поставьте параметры например возраст от 20 до 20 лет, есть фото, не онлайн, и чтобы было человек 500 в выдаче вк. Потом вставьте те же параметры в песочнице users.search и увидите, что выдаст человек 350-400. Остальные 100 давно не были онлайн. Это не забаненные пользователи, не собачки, не закрытые профили.

И для теста можете выставить те же параметры, но выбрать тех кто онлайн. У вас количество будет совпадать почти 1 в 1. Ну и если интересно, можете найти те 100 недостающих id и проверить сами через метод messages.getLastActivity , когда они были последний раз. Окажется, что примерно в 2011-2015 году. Вк сейчас считает таких людей потенциально умершими, но забанить без свидетельства о смерти от родственников он не может никого, так как нет причин.
 
  • Спасибо
Реакции: Arturs2006

Arturs2006

Client
Регистрация
30.09.2017
Сообщения
150
Благодарностей
43
Баллы
28
Любопытная теория, буду проверять.
 

stmult

Client
Регистрация
19.11.2013
Сообщения
87
Благодарностей
29
Баллы
18
Любопытная теория, буду проверять.
Я не нашел опровержений, когда делал тестовые проверки. Но может что-то уже поменялось, хотя я тогда около 100 аккаунтов таких нашел и проверил. Оно даже к лучшему, что при парсинге эти пользователи не попадают в результаты, толку от них всё равно никакого
 
  • Спасибо
Реакции: Arturs2006

Arturs2006

Client
Регистрация
30.09.2017
Сообщения
150
Благодарностей
43
Баллы
28
Я не нашел опровержений, когда делал тестовые проверки. Но может что-то уже поменялось, хотя я тогда около 100 аккаунтов таких нашел и проверил. Оно даже к лучшему, что при парсинге эти пользователи не попадают в результаты, толку от них всё равно никакого
Да, проверил сейчас - так оно и есть. Единственное что на данный момент не пойму, так это почему в ответе при запросе по API может быть написано "count":2, но приходят данные только 1 человека, и в обычном поиске на сайте тоже только 1 человек... Откуда тогда в счётчике взялась цифра 2?

И ещё вопрос: есть ли какой-то бан, или ограничение выдачи при запросе по API?
 
Последнее редактирование:

stmult

Client
Регистрация
19.11.2013
Сообщения
87
Благодарностей
29
Баллы
18
Да, проверил сейчас - так оно и есть. Единственное что на данный момент не пойму, так это почему в ответе при запросе по API может быть написано "count":2, но приходят данные только 1 человека, и в обычном поиске на сайте тоже только 1 человек... Откуда тогда в счётчике взялась цифра 2?

И ещё вопрос: есть ли какой-то бан, или ограничение выдачи при запросе по API?
Нужен пример, чтобы я точнее мог сказать.
При парсинге по api через метод users.search попадают в результаты все собачки, Deleted аккаунты, blocked аккаунты, но не попадают id с давней активностью. При этом в количестве они все учитываются.

В поиск через веб-версию попадают все аккаунты с давней активностью, но не попадают deleted и blocked аккаунты, при этом в количестве учитываются аккаунты с давней активностью.

В поиске через песочницу (dev) результаты аналогичны api.

Временный бан накладывается во всех трёх способах парсинга.
 

stmult

Client
Регистрация
19.11.2013
Сообщения
87
Благодарностей
29
Баллы
18
Да, проверил сейчас - так оно и есть. Единственное что на данный момент не пойму, так это почему в ответе при запросе по API может быть написано "count":2, но приходят данные только 1 человека, и в обычном поиске на сайте тоже только 1 человек... Откуда тогда в счётчике взялась цифра 2?

И ещё вопрос: есть ли какой-то бан, или ограничение выдачи при запросе по API?
Записал небольшое видео
 
  • Спасибо
Реакции: kompas777 и Arturs2006

Arturs2006

Client
Регистрация
30.09.2017
Сообщения
150
Благодарностей
43
Баллы
28
Записал небольшое видео
Подскажите по ограничениям запросов. В АПИ ВК пишут, что не чаще 3 раз в секунду можно делать запросы, а у вас стоит пауза аж 2 секунды... Зачем такая большая пауза?
 

stmult

Client
Регистрация
19.11.2013
Сообщения
87
Благодарностей
29
Баллы
18
Подскажите по ограничениям запросов. В АПИ ВК пишут, что не чаще 3 раз в секунду можно делать запросы, а у вас стоит пауза аж 2 секунды... Зачем такая большая пауза?
Потому что это особый метод, при котором очень быстро можно получить временный бан. Для большинства остальных методов действительно можно делать 3 запроса в секунду.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)