Парсер данных о компаниях из Яндекс.Карты по поисковому запросу

igarik

Client
Регистрация
23.08.2021
Сообщения
9
Благодарностей
3
Баллы
3
Обновил в шаблоне формат сохранения координат

Попробуйте скачать новую версию шаблона в первом посте

Добавил сбор данных организаций из вкладки "Особенности"

Скачать обновлённый шаблон можно в первом посте, полный список изменений:
  • обновлены комментарии для кубиков и сообщения, которые выводятся в лог
  • добавлена возможность выбора источника, для получения прокси и поисковых запросов (файл или входящие настройки)
  • добавлена возможность указать максимальное количество страниц для парсинга из выдачи
  • добавлено сохранение координат организации в отдельные колонки (широта, долгота)
  • добавлен парсинг данных организации из вкладки "Особенности"
  • обновлены входящие настройки шаблона
  • обновлён файл шаблона таблицы
  • другие мелкие изменения
Спасибо большое за Ваш труд!!!
 

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
129
Благодарностей
27
Баллы
28
Подскажите пожалуйста, если допустим я хочу собрать условно всю страну (Россия как пример) по списку запросов, какие оптимальные входные параметры стоит выставить, чтобы собралось максимально большее кол-во организаций? Пусть даже мусорные, отфильтровать потом не проблема.

P.S. Ну и совет по доработке. Не претензия, но как идея (всё же коллективный разум лучше работает). Было бы неплохо добавить в конце шаблона кубик, который будет создавать файл, в который будет записываться всё что напарсилось. С дозаписью. Ну и ещё один кубик с удалением дублей в этом файле.
А для понимания что-где-откуда добавить ещё столбец с "запрос поиска". Думаю такой столбец будет полезен даже и для тех таблиц, которые сейчас создаются. Кто-то например будет их объединять. А из имени файла не совсем удобно выдёргивать запрос.
 

zaydulin

Новичок
Регистрация
14.12.2021
Сообщения
1
Благодарностей
0
Баллы
1
Доброго времени суток. подскажите для этого нужно покупать сам зенопост или на демо можно это сделать? И если можно то как?
 

Victor_798

Client
Регистрация
14.12.2021
Сообщения
2
Благодарностей
2
Баллы
3
Добрый день!
Перестала работать промотка списка организаций. Снимает данные только с 1 страницы. Вроде как атрибута "data-chunk" со значением "search-snippet" по которому был клик для прокрутки списка - больше в DOM нет. Самостоятельно починить не получается..
 
Последнее редактирование:

todayer

Client
Регистрация
07.08.2013
Сообщения
938
Благодарностей
390
Баллы
63

finoz0

Client
Регистрация
20.01.2021
Сообщения
105
Благодарностей
17
Баллы
18
Добрый день!
Перестала работать промотка списка организаций. Снимает данные только с 1 страницы. Вроде как атрибута "data-chunk" со значением "search-snippet" по которому был клик для прокрутки списка - больше в DOM нет. Самостоятельно починить не получается..
Не получилось решить эту задачу?
Сделал через движение мыши
C#:
HtmlElement he = instance.ActiveTab.FindElementByAttribute("div", "class", "scroll__scrollbar-thumb", "regexp", 0);

instance.WaitFieldEmulationDelay();
int x = Convert.ToInt32(he.GetAttribute("left"));
int y = Convert.ToInt32(he.GetAttribute("top"));
instance.ActiveTab.FullEmulationMouseDragAndDrop(x,y, x+10, y+1000);
Использую код вместо кубика "клик по последнему элементу".

А у меня второй день не работает парсинг json, может кто подскажет как пофиксить? А то не совсем понимаю, как в этом действии работает регулярка
 
  • Спасибо
Реакции: Victor_798 и todayer

Victor_798

Client
Регистрация
14.12.2021
Сообщения
2
Благодарностей
2
Баллы
3
А у меня второй день не работает парсинг json, может кто подскажет как пофиксить? А то не совсем понимаю, как в этом действии работает регулярка
Мне помогло так:
- в кубике "Парсинг JSON кода" заменить регулярку на (?<=type="application/json"\ class="(.*)">)[\w\W]*?(?=<)
- в кубике "Парсинг названия города" заменить на {-Json.config.meta.breadcrumbs[2].name-}
 
  • Спасибо
Реакции: Burklive и finoz0

collectornsk

Client
Регистрация
20.07.2021
Сообщения
1
Благодарностей
0
Баллы
1
Здравствуйте, а парсер работает с версией 7.7.0?

Потому что у меня никаких действий вообще нет при запуске проекта, ни в логе, ни в инстансах.
 

igarik

Client
Регистрация
23.08.2021
Сообщения
9
Благодарностей
3
Баллы
3

Mails_error

Новичок
Регистрация
21.03.2022
Сообщения
1
Благодарностей
0
Баллы
1
Обновил в шаблоне формат сохранения координат

Попробуйте скачать новую версию шаблона в первом посте

Добавил сбор данных организаций из вкладки "Особенности"

Скачать обновлённый шаблон можно в первом посте, полный список изменений:
  • обновлены комментарии для кубиков и сообщения, которые выводятся в лог
  • добавлена возможность выбора источника, для получения прокси и поисковых запросов (файл или входящие настройки)
  • добавлена возможность указать максимальное количество страниц для парсинга из выдачи
  • добавлено сохранение координат организации в отдельные колонки (широта, долгота)
  • добавлен парсинг данных организации из вкладки "Особенности"
  • обновлены входящие настройки шаблона
  • обновлён файл шаблона таблицы
  • другие мелкие изменения
Как с Вами можно связаться ?) Хочу узнать подробнее о регере ДС, но нет возможности посмотреть обьявления. Можно как то связаться с Вами в ТГ?
 

derealty

Client
Регистрация
23.05.2019
Сообщения
21
Благодарностей
11
Баллы
3
Коллеги, сейчас у кого нибудь получилось корректно запустить этот парсер?
 

Yuki

Новичок
Регистрация
08.02.2022
Сообщения
2
Благодарностей
0
Баллы
1
Прописываю координаты Ташкента, по итогу ссылка открывается вообще в области Норвежского моря, поэтому говорить уже о формировании поискового запроса нет смысла(
 

ExRich

Client
Регистрация
22.05.2021
Сообщения
94
Благодарностей
20
Баллы
8
у кого работает,скиньте рабочий шаб
 

Valerikmosk

Новичок
Регистрация
06.08.2020
Сообщения
4
Благодарностей
0
Баллы
1
Добрый день. Необходимо разместить отзывы на яндекс картах, на постоянной основе. Кто может взяться за задачу ?Пишите
 

ExRich

Client
Регистрация
22.05.2021
Сообщения
94
Благодарностей
20
Баллы
8
Нужен рабочий шаблон, помогите)
 

ExRich

Client
Регистрация
22.05.2021
Сообщения
94
Благодарностей
20
Баллы
8
Так и не починили шаблон?
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 683
Баллы
113

ExRich

Client
Регистрация
22.05.2021
Сообщения
94
Благодарностей
20
Баллы
8
Ну давайте все вместе починим :D
Я пока так не углублялся)
 

nydex

Client
Регистрация
20.12.2022
Сообщения
1
Благодарностей
0
Баллы
1
Скачал шаблон, ничего не работает :( Подкрутил кое-где гайки, стала парситься первая страница выдачи, но дальше не идет. Потом сделал, как написал выше finoz0, и промотка списка организаций заработала. Казалось бы, ура, но нет - сохраняются только первые 25 организаций из результатов поиска, т.е. первая страница, а то, что дальше, не сохраняется несмотря на работающую промотку списка. Поковырял еще код, ничего не получается. Обратился к паре ребят, которые разрабатывают шаблоны на заказ, они тоже не смогли помочь.

У кого-нибудь есть рабочая версия этого парсера? Готов купить за дорого :-)
 

NGN

Client
Регистрация
13.01.2021
Сообщения
3
Благодарностей
1
Баллы
3
Тоже готов купить рабочий шаблон с условием вашей дальнейшей поддержки
 

amorgunov

Client
Регистрация
12.09.2023
Сообщения
2
Благодарностей
0
Баллы
1
Коллеги, добрый день, помогите пожалуйста с проблемой - по окончании работы шаблоны я не вижу excel документа с отчетом, куда он может его складывать и где искать? )) Сорри за тупой вопрос заранее
 

todayer

Client
Регистрация
07.08.2013
Сообщения
938
Благодарностей
390
Баллы
63
Коллеги, добрый день, помогите пожалуйста с проблемой - по окончании работы шаблоны я не вижу excel документа с отчетом, куда он может его складывать и где искать? )) Сорри за тупой вопрос заранее
В логе ошибок нет?
 

Zenokiller

Client
Регистрация
06.01.2021
Сообщения
33
Благодарностей
13
Баллы
8
Делал подобный шаблон под свои нужды. Если кто-то хочет купить - пишите в личку или @zennokiller
 

Pechkin

Client
Регистрация
07.06.2011
Сообщения
95
Благодарностей
12
Баллы
8
Шаблон не поддерживаете?
 

Ахилес

Client
Регистрация
11.11.2020
Сообщения
811
Благодарностей
332
Баллы
63

Zenokiller

Client
Регистрация
06.01.2021
Сообщения
33
Благодарностей
13
Баллы
8

Yurii123

Client
Регистрация
25.05.2020
Сообщения
33
Благодарностей
1
Баллы
8
Подчините пожалуйста шаблон! Готов его купить!
 

Ахилес

Client
Регистрация
11.11.2020
Сообщения
811
Благодарностей
332
Баллы
63

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)