Парсер данных о компаниях из Яндекс.Карты по поисковому запросу

igarik

Client
Регистрация
23.08.2021
Сообщения
8
Благодарностей
2
Баллы
3
Обновил в шаблоне формат сохранения координат

Попробуйте скачать новую версию шаблона в первом посте

Добавил сбор данных организаций из вкладки "Особенности"

Скачать обновлённый шаблон можно в первом посте, полный список изменений:
  • обновлены комментарии для кубиков и сообщения, которые выводятся в лог
  • добавлена возможность выбора источника, для получения прокси и поисковых запросов (файл или входящие настройки)
  • добавлена возможность указать максимальное количество страниц для парсинга из выдачи
  • добавлено сохранение координат организации в отдельные колонки (широта, долгота)
  • добавлен парсинг данных организации из вкладки "Особенности"
  • обновлены входящие настройки шаблона
  • обновлён файл шаблона таблицы
  • другие мелкие изменения
Спасибо большое за Ваш труд!!!
 

Ssmodey

Client
Регистрация
10.12.2016
Сообщения
110
Благодарностей
26
Баллы
28
Подскажите пожалуйста, если допустим я хочу собрать условно всю страну (Россия как пример) по списку запросов, какие оптимальные входные параметры стоит выставить, чтобы собралось максимально большее кол-во организаций? Пусть даже мусорные, отфильтровать потом не проблема.

P.S. Ну и совет по доработке. Не претензия, но как идея (всё же коллективный разум лучше работает). Было бы неплохо добавить в конце шаблона кубик, который будет создавать файл, в который будет записываться всё что напарсилось. С дозаписью. Ну и ещё один кубик с удалением дублей в этом файле.
А для понимания что-где-откуда добавить ещё столбец с "запрос поиска". Думаю такой столбец будет полезен даже и для тех таблиц, которые сейчас создаются. Кто-то например будет их объединять. А из имени файла не совсем удобно выдёргивать запрос.
 

zaydulin

Новичок
Регистрация
14.12.2021
Сообщения
1
Благодарностей
0
Баллы
1
Доброго времени суток. подскажите для этого нужно покупать сам зенопост или на демо можно это сделать? И если можно то как?
 

Victor_798

Client
Регистрация
14.12.2021
Сообщения
2
Благодарностей
2
Баллы
3
Добрый день!
Перестала работать промотка списка организаций. Снимает данные только с 1 страницы. Вроде как атрибута "data-chunk" со значением "search-snippet" по которому был клик для прокрутки списка - больше в DOM нет. Самостоятельно починить не получается..
 
Последнее редактирование:

finoz0

Client
Регистрация
20.01.2021
Сообщения
69
Благодарностей
12
Баллы
8
Добрый день!
Перестала работать промотка списка организаций. Снимает данные только с 1 страницы. Вроде как атрибута "data-chunk" со значением "search-snippet" по которому был клик для прокрутки списка - больше в DOM нет. Самостоятельно починить не получается..
Не получилось решить эту задачу?
Сделал через движение мыши
C#:
HtmlElement he = instance.ActiveTab.FindElementByAttribute("div", "class", "scroll__scrollbar-thumb", "regexp", 0);

instance.WaitFieldEmulationDelay();
int x = Convert.ToInt32(he.GetAttribute("left"));
int y = Convert.ToInt32(he.GetAttribute("top"));
instance.ActiveTab.FullEmulationMouseDragAndDrop(x,y, x+10, y+1000);
Использую код вместо кубика "клик по последнему элементу".

А у меня второй день не работает парсинг json, может кто подскажет как пофиксить? А то не совсем понимаю, как в этом действии работает регулярка
 
  • Спасибо
Реакции: Victor_798 и todayer

Victor_798

Client
Регистрация
14.12.2021
Сообщения
2
Благодарностей
2
Баллы
3
А у меня второй день не работает парсинг json, может кто подскажет как пофиксить? А то не совсем понимаю, как в этом действии работает регулярка
Мне помогло так:
- в кубике "Парсинг JSON кода" заменить регулярку на (?<=type="application/json"\ class="(.*)">)[\w\W]*?(?=<)
- в кубике "Парсинг названия города" заменить на {-Json.config.meta.breadcrumbs[2].name-}
 
  • Спасибо
Реакции: Burklive и finoz0

collectornsk

Client
Регистрация
20.07.2021
Сообщения
1
Благодарностей
0
Баллы
1
Здравствуйте, а парсер работает с версией 7.7.0?

Потому что у меня никаких действий вообще нет при запуске проекта, ни в логе, ни в инстансах.
 

Mails_error

Новичок
Регистрация
21.03.2022
Сообщения
1
Благодарностей
0
Баллы
1
Обновил в шаблоне формат сохранения координат

Попробуйте скачать новую версию шаблона в первом посте

Добавил сбор данных организаций из вкладки "Особенности"

Скачать обновлённый шаблон можно в первом посте, полный список изменений:
  • обновлены комментарии для кубиков и сообщения, которые выводятся в лог
  • добавлена возможность выбора источника, для получения прокси и поисковых запросов (файл или входящие настройки)
  • добавлена возможность указать максимальное количество страниц для парсинга из выдачи
  • добавлено сохранение координат организации в отдельные колонки (широта, долгота)
  • добавлен парсинг данных организации из вкладки "Особенности"
  • обновлены входящие настройки шаблона
  • обновлён файл шаблона таблицы
  • другие мелкие изменения
Как с Вами можно связаться ?) Хочу узнать подробнее о регере ДС, но нет возможности посмотреть обьявления. Можно как то связаться с Вами в ТГ?
 

derealty

Client
Регистрация
23.05.2019
Сообщения
21
Благодарностей
11
Баллы
3
Коллеги, сейчас у кого нибудь получилось корректно запустить этот парсер?
 

Yuki

Новичок
Регистрация
08.02.2022
Сообщения
2
Благодарностей
0
Баллы
1
Прописываю координаты Ташкента, по итогу ссылка открывается вообще в области Норвежского моря, поэтому говорить уже о формировании поискового запроса нет смысла(
 

ExRich

Client
Регистрация
22.05.2021
Сообщения
74
Благодарностей
17
Баллы
8
у кого работает,скиньте рабочий шаб
 

Valerikmosk

Новичок
Регистрация
06.08.2020
Сообщения
4
Благодарностей
0
Баллы
1
Добрый день. Необходимо разместить отзывы на яндекс картах, на постоянной основе. Кто может взяться за задачу ?Пишите
 

ExRich

Client
Регистрация
22.05.2021
Сообщения
74
Благодарностей
17
Баллы
8
Нужен рабочий шаблон, помогите)
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)