Вопрос по парсингу my.mail.ru

Sibirteh

Client
Регистрация
22.01.2019
Сообщения
51
Благодарностей
9
Баллы
8
Здравствуйте дорогие форумчани х) Пишу щас свой первый проект парсер my.mail.ru и встал вопрос в ограничении количества пользователей которых можно спарсить с группы.
Пример: https://m.my.mail.ru/community/startuper_/friends?offset=200 а страница https://m.my.mail.ru/community/startuper_/friends?offset=201 уже не выдает данные, это можно как то обойти?
 

Err0r

Client
Регистрация
17.05.2015
Сообщения
156
Благодарностей
109
Баллы
43
Последнее редактирование:

Sibirteh

Client
Регистрация
22.01.2019
Сообщения
51
Благодарностей
9
Баллы
8
у меня все отдает https://m.my.mail.ru/community/startuper_/friends?offset=260&sameFromAjax=1
offset увеличиваю на 20
Но больше 500 не получается скачать
да я опечатался когда набивал ссылки максимальная https://m.my.mail.ru/community/startuper_/friends?offset=2000&sameFromAjax=1 а https://m.my.mail.ru/community/startuper_/friends?offset=2020&sameFromAjax=1 уже не парсит
 

alexpost

Client
Регистрация
15.06.2016
Сообщения
173
Благодарностей
60
Баллы
28
Если авторизоваться на сайте то выдаст 2к, если нет - 500. На данный момент это никак не обойти.
 

Sibirteh

Client
Регистрация
22.01.2019
Сообщения
51
Благодарностей
9
Баллы
8

alexpost

Client
Регистрация
15.06.2016
Сообщения
173
Благодарностей
60
Баллы
28

TheBoss

Client
Регистрация
30.03.2015
Сообщения
529
Благодарностей
193
Баллы
43

alexpost

Client
Регистрация
15.06.2016
Сообщения
173
Благодарностей
60
Баллы
28
Перебором фамилий и имён. Далее удаляем дубликаты.
да, как вариант. Он, наверное, больше подойдет для «поиска по людям», а не по участникам группы. Там критерии еще есть..
 

Tronheym

Client
Регистрация
13.10.2016
Сообщения
145
Благодарностей
28
Баллы
28
можно парсить не группы, а друзей..
т.е. берешь юзера с большим кол-вом друзей, парсишь друзей, потом парсишь друзей этих друзей... и т.д....
можно парсить лишь тех кто "Онлайн" - какая никакая но сортировка по степени "активности" юзера..
 

alexpost

Client
Регистрация
15.06.2016
Сообщения
173
Благодарностей
60
Баллы
28
можно парсить не группы, а друзей..
т.е. берешь юзера с большим кол-вом друзей, парсишь друзей, потом парсишь друзей этих друзей... и т.д....
можно парсить лишь тех кто "Онлайн" - какая никакая но сортировка по степени "активности" юзера..
На парсинг друзей такое же ограничение сейчас, как на группы
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)