Не могу взять DOM модель

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18
Приветствую, проблема в том что не могу спарсить список ссылок на посты ин аккаунта в инстаграм, открываю страницу, прокручиваю до конца что бы открылись все картинки с постами, далее хочу взять dom модель что бы оттуда спарсить все ссылки на посты, а в итоге в дум модели ссылок нету, там только шапка вроде как. причем если делать с помощью Парсить данные то он видит эти ссылки но спарсить все не получается.

Пробовал менять браузер с хрома на firefox все то же самое , раньше с таким не сталкивался. подскажите в чем может проблема быть.
 

Gunjubasik

Client
Регистрация
30.05.2019
Сообщения
3 433
Благодарностей
1 280
Баллы
113
Приветствую, проблема в том что не могу спарсить список ссылок на посты ин аккаунта в инстаграм, открываю страницу, прокручиваю до конца что бы открылись все картинки с постами, далее хочу взять dom модель что бы оттуда спарсить все ссылки на посты, а в итоге в дум модели ссылок нету, там только шапка вроде как. причем если делать с помощью Парсить данные то он видит эти ссылки но спарсить все не получается.

Пробовал менять браузер с хрома на firefox все то же самое , раньше с таким не сталкивался. подскажите в чем может проблема быть.
//div[contains(@style,"flex-direction: column")]//a[@tabindex="0"]
72580
 
  • Спасибо
Реакции: ftalazol

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18
Парсит 32 ссылки но там постов намного больше
 

Вложения

Gunjubasik

Client
Регистрация
30.05.2019
Сообщения
3 433
Благодарностей
1 280
Баллы
113
Парсит 32 ссылки но там постов намного больше
Либо скиньте код страницы Dom через блокнот, либо напишите в телеграм, по удаленке посмотрю, что у вас там не выходит.
 

ftalazol

Client
Регистрация
05.02.2020
Сообщения
100
Благодарностей
10
Баллы
18
Вот дум страницы дурова например, но ссылки на посты я там не нахожу

Форум не дает добавить сюда код дум модели никак
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 361
Благодарностей
8 647
Баллы
113
Парсит 32 ссылки но там постов намного больше
Как вариант, в цикле прокручивать страницу по-чуть-чуть и парсить этим кубиком (Парсить данные) в список, а по окончании цикла или при достижении конца страницы, удалить дубли из списка.
 
Регистрация
03.12.2020
Сообщения
146
Благодарностей
100
Баллы
43
Как вариант, в цикле прокручивать страницу по-чуть-чуть и парсить этим кубиком (Парсить данные) в список, а по окончании цикла или при достижении конца страницы, удалить дубли из списка.
Ограничение только нужно поставить, прокрутка в инсте бесконечная, - память течет.
 

artur23

Client
Регистрация
14.04.2014
Сообщения
205
Благодарностей
15
Баллы
18
а как быть если dom вообще не видится после загрузки страницы? Т.е. в первый раз загружаю страницу, dom есть, после перезагрузки страницы через определенное время - нет?
 

Вложения

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)