Lazy-load. Парсинг большого количества строк

[vinznsk]

Добрый день, коллеги!

Подскажите, пожалуйста, возникла проблема.
Пытаюсь спарсить количество строк.

Изначально показывается 10 строк (записей/новостей - не так важно).
- Получаю эти все строки (пока их только 10)
- Пролистивыю дальше (в этот момент подгружается следующие 10)
- Делаю парсинг следующих строк (их уже 20) и удаляю дубли
- Листаю дальше.

И так далее.

Проблема заключается в том, что при попытке спарсить большое количество строк (примерно от 10 000 эмулятор перестают их подгружать).

Можно ли как-нибудь решить эту проблему? Может как-нибудь можно организовать получение этих строк через (lazy load) код или запросы. Предполагаю, что в данном случае не хватает ресурсов, но как это решить - не имею понятия. Было бы Api - не было бы проблем, а так - хз.

 

[Lord_Alfred]

О чем конкретно вопрос? Lazy load применяется обычно в контексте чтения файлов.

Если подразумеваете, что открываете страницу и парсите оттуда данные (именно там ленивая загрузка) - тогда просто отсниффайте что выдает вам сайт и гоняйте на get/post или на худой конец в браузере, просто без подгрузки всего на одной странице (а открывая каждый набор данных как если бы делали на get/post).

 

[vinznsk]

О чем конкретно вопрос? Lazy load применяется обычно в контексте чтения файлов.

Если подразумеваете, что открываете страницу и парсите оттуда данные (именно там ленивая загрузка) - тогда просто отсниффайте что выдает вам сайт и гоняйте на get/post или на худой конец в браузере, просто без подгрузки всего на одной странице (а открывая каждый набор данных как если бы делали на get/post).

Спасибо! Если честно, не знаю как это сделать, но примерно понял в каком направлении копать.