Можно ли определить конец скроллинга

[akella32]

Привет.
Нужно спарсить пользователей, в разных категориях их разное количество, api нет, тупо скролю страничку, но где то их 100, а где то 10к, есть ли вариант определить что все, больше скролить нет возможности, пора собирать что есть?

 

[doc]

мерять высоту страницы. Когда она перестанет увеличиваться - либо конец скролла, либо браузер умирает и больше не может)

 

[akella32]

мерять высоту страницы. Когда она перестанет увеличиваться - либо конец скролла, либо браузер умирает и больше не может)

то же вариант, а как можно замерить высоту? что то я раньше не сталкивался с этим

 

[doc]

можно просто брать атрибут height какого-то блока

 

[Sergodjan]

то же вариант, а как можно замерить высоту? что то я раньше не сталкивался с этим

можно измерять высоту тега body..

 

[budora]

Привет.
Нужно спарсить пользователей, в разных категориях их разное количество, api нет, тупо скролю страничку, но где то их 100, а где то 10к, есть ли вариант определить что все, больше скролить нет возможности, пора собирать что есть?

Что скролим ? Ваша подгрузка страницы в большинстве случаев при скролинге имеет свои запросы. Просто повторите их.

 

[barkasian]

Привет.
Нужно спарсить пользователей, в разных категориях их разное количество, api нет, тупо скролю страничку, но где то их 100, а где то 10к, есть ли вариант определить что все, больше скролить нет возможности, пора собирать что есть?

Салют, вот в помощь тут

 

[akella32]

можно измерять высоту тега body..

почти так и сделал, скролинг работает в конечном итоге

Что скролим ?

скролю чужих фоловеров в твиттере, конечно там есть api, но убив целый день в пустую, что бы разобраться с аутентификацией, решил попробовать парсить в браузере, через мобильную версию сайта, но и тут косячина какая то((
Вот прокрутил я 1000 фоловеров, собрал через DOM, но он берет 15-20 штук, остальных в коде нет, если я подниму страницу тем же скролингом повыше, он еще возьмет 15-20 фоловеров, такое очучение, что обрабатывает не всю страницу а кусок который я вижу в браузере, в общем бред какаой то

 

[budora]

почти так и сделал, скролинг работает в конечном итоге


скролю чужих фоловеров в твиттере, конечно там есть api, но убив целый день в пустую, что бы разобраться с аутентификацией, решил попробовать парсить в браузере, через мобильную версию сайта, но и тут косячина какая то((
Вот прокрутил я 1000 фоловеров, собрал через DOM, но он берет 15-20 штук, остальных в коде нет, если я подниму страницу тем же скролингом повыше, он еще возьмет 15-20 фоловеров, такое очучение, что обрабатывает не всю страницу а кусок который я вижу в браузере, в общем бред какаой то

Ради интереса попробовал на запросах сделать. третий запрос = третий скрол.

https://twitter.com/ohkissumi/followers?lang=ru

Спойлер: раз

Спойлер: два

 

[akella32]

Ради интереса попробовал на запросах сделать. третий запрос = третий скрол.

Да умел бы я так, тем бы в этом разделе не создавал)) можно глянуть на шаб? в позновательных целях))

 

[budora]

Да умел бы я так, тем бы в этом разделе не создавал)) можно глянуть на шаб? в позновательных целях))

авторизируемся и берём куки
1- запрос https://twitter.com/weareoneEXO/followers
из него получаем фоловеров и значение min-position=
2 - запрос https://twitter.com/weareoneEXO/followers/users?include_available_features=0&include_entities=1&lang=ru&max_position={-Variable.min_position-}&reset_error_state=false
парсим json из него фоловеров и очередной min-position=

 

[Buch]

Салют, вот в помощь

Инста больше 1000 через браузер не дает собрать? У меня не получилось.

 

[akella32]

авторизируемся и берём куки
1- запрос https://twitter.com/weareoneEXO/followers
из него получаем фоловеров и значение min-position=
2 - запрос https://twitter.com/weareoneEXO/fol...riable.min_position-}&reset_error_state=false
парсим json из него фоловеров и очередной min-position=

Спасибо! Я вот смотрю вы спец в этом деле, не могли бы вы подсказать, а можно ли твиты так делать, на POST/GET запросах без токенов и аутентификаций?

 

[Buch]

Вот прокрутил я 1000 фоловеров, собрал через DOM, но он берет 15-20 штук

Должно брать...х.з.Если не много ссылок забрать надо,расширение есть,там по фильтру задать можно. linkgopher у меня для хром.сейчас попробовал по хештегу#мода,2400 ссылок получил.

 

[budora]

Спасибо! Я вот смотрю вы спец в этом деле, не могли бы вы подсказать, а можно ли твиты так делать, на POST/GET запросах без токенов и аутентификаций?

без аутентификация делать ничего нельзя.

 

[Buch]

без аутентификация делать ничего нельзя.

Да масштабно,врятли.У меня дочь прошлый год брала по 1000 через расширение, теперь в два раза больше получается.

 

[akella32]

Должно брать...х.з

В веб версии норм работает, все забирает, а вот в мобильной только кусок.

без аутентификация делать ничего нельзя.

я имел ввиду вот без вот этого всего https://ruseller.com/lessons.php?id=2021 , можно твитнуть запросом? не то что бы я обнаглел и спрашиваю как это сделать, просто хочется знать, если можно то я уже сам буду ковырять, а то убью кучу дней, а в итоге это вообще было невозможно