Парсер данных о компаниях из Яндекс.Карты по поисковому запросу

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Описание

Парсер собирает информацию о компаниях из сервиса Яндекс.Карты по поисковому запросу. И избавляет вас от необходимости делать это вручную, поскольку вся работа происходит в автоматическом режиме. Вам нужно лишь задать ключевые слова или фразы для поиска, а в результате вы получите таблицу с готовым результатом.

Шаблон будет полезен для создания баз организаций и сбора контактных данных различных компаний для последующей рассылки писем.

Функционал

Парсер данных о компаниях из Яндекс.Карты по поисковому запросу
- шаблон для ZennoPoster, выполняющий сбор данных о компаниях, по ключевым словам. В качестве входных данных задаются запросы для поиска (каждый ключ с новой строки). Результатом работы шаблона, являются Excel файл с данными об организациях, название Excel файла соответствует запросу и дате окончания сбора

77350
77352

Пример итоговой таблицы по запросу "торговый центр", по региону "Екатеринбург":

77353

Как пользоваться?

Перед запуском шаблона на выполнение, необходимо заполнить входящие настройки:
  • Основные
    • Брать поисковой запрос из:
      • файла
      • входящих настроек
    • Укажите путь к файлу со списком запросов (каждый запрос с новой строки, например: торговый центр)
    • Укажите поисковой запрос (например: торговый центр)
    • Выберите сервис для решения каптчи
    • Максимум страниц для сбора
    • Брать прокси из:
      • файла
      • входящих настроек
    • Укажите путь к файлу с прокси (формат: protocol://login:password@ip:port, справка по формату прокси)
    • Укажите прокси (необязательно, формат: protocol://login:password@ip:port)
    • Скачивать логотипы компаний
    • Удалять дубли логотипов
    • Скачивать первые 10 фото
  • Область поиска

Минимальная версия ZennoPoster, для работы шаблона 7.1.3.0
 
Категория
Парсинг
Тип шаблона
Открытый
Многопоточность
Да
Дата обновления
23.11.2021
Описание обновления
обновлены комментарии для кубиков и сообщения, которые выводятся в лог
добавлена возможность выбора источника, для получения прокси и поисковых запросов (файл или входящие настройки)
добавлена возможность указать максимальное количество страниц для парсинга из выдачи
добавлено сохранение координат организации в отдельные колонки (широта, долгота)
добавлен парсинг данных организации из вкладки "Особенности"
обновлены входящие настройки шаблона
обновлён файл шаблона таблицы
другие мелкие изменения

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

NeGamer

Client
Регистрация
16.09.2015
Сообщения
20
Благодарностей
8
Баллы
3
Привет!
Спасибо за шаблон. У меня ошибка в действии Клик по последнему элементу (id: 53bc81d5-f2de-47f2-8649-08ca9d079ad0)
 

BPOH

Client
Регистрация
11.04.2019
Сообщения
116
Благодарностей
26
Баллы
28
Всё работает спасибо за шаблон
 
  • Спасибо
Реакции: Santorini

Sanekk

Client
Регистрация
24.06.2016
Сообщения
987
Благодарностей
388
Баллы
63
с какой версии зенки можно юзать шаб ? у меня 5.11.5.0 , шаб запускается, но ни чего не происходит
запустил в ПМ там трабл
43380
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93

Sanekk

Client
Регистрация
24.06.2016
Сообщения
987
Благодарностей
388
Баллы
63
Для работы шаблона, необходима версия начиная от 5.29.6.0 и выше
Как-то можно адаптировать шаб по старую версию зенки(путем удаления/замены новых функций), подскажите в каких кубиках они используются, а то я вчера весь шаб просмотрел, но не нашел там кубиков которые не используются в 5 11 5 0 , может я плохо смотрел?
Обновляться на новые версии не очень хочется, т.к. на 5 11 5 0 десятки шабов написанно...
 

mr.wolf

Client
Регистрация
07.09.2019
Сообщения
99
Благодарностей
12
Баллы
8
Описание

Парсер данных о компаниях с Яндекс.Карты по поисковому запросу
- шаблон для ZennoPoster, выполняющий сбор данных о компаниях, по ключевым словам. В качестве входных данных задаются слова или фразы для поиска (каждый ключ с новой строки). Результатом работы шаблона, являются Excel файлы, название Excel файла соответствует определённому ключу (запросу).

Как пользоваться?
  • Во входящие настройки шаблона внести одно или несколько ключевых слов, указать прокси (при необходимости), ввести количество компаний для сбора данных
  • Запустить шаблон для выполнения
  • После завершения работы шаблона, будут доступны Excel файлы с результатом работы шаблона
не работает(затык на проверке конца строки).+парсит не все организации по запросу
 

Sanekk

Client
Регистрация
24.06.2016
Сообщения
987
Благодарностей
388
Баллы
63
после ввода ключ фразы отваливается не дождавшись полной подгрузки элементов, нужно таймаут увеличить
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
не работает(затык на проверке конца строки).+парсит не все организации по запросу
Добавили дополнительную проверку окончания организаций в списке выдачи. Если у вас наблюдаются проблемы при работе с шаблоном, напишите пожалуйста конкретнее что не работает и код ошибки (если есть).
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
после ввода ключ фразы отваливается не дождавшись полной подгрузки элементов, нужно таймаут увеличить
Скорость загрузки страницы зависит от вашего интернет-соединения и прокси. Если страница не успевает загрузится, вы можете увеличить паузу, до начала сбора данных. Шаблон открыт для редактирования, вы можете модифицировать его конкретно под ваши задачи!
 
Последнее редактирование:
  • Спасибо
Реакции: Sanekk

sniperok

Новичок
Регистрация
23.11.2019
Сообщения
8
Благодарностей
1
Баллы
3

Добрый

Client
Регистрация
08.01.2020
Сообщения
53
Благодарностей
7
Баллы
8
Отлично работает, спасибо
 

hackoff

Новичок
Регистрация
29.11.2019
Сообщения
3
Благодарностей
0
Баллы
1
Все супер! Отлично работает и в тоже время ... друзья поясните почему в таком виде (30,384447:59,950135) гео данные парсятся?
В YandexMap такое на стартует! На самих картах они выглядят координаты так: 59.935062, 30.411966
Поясните пожалуйста, что с этим делать?
 

finista

Client
Регистрация
10.10.2012
Сообщения
361
Благодарностей
57
Баллы
28
А как можно собрать еще ФИО руководителя и ИНН организации?
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Все супер! Отлично работает и в тоже время ... друзья поясните почему в таком виде (30,384447:59,950135) гео данные парсятся?
В YandexMap такое на стартует! На самих картах они выглядят координаты так: 59.935062, 30.411966
Поясните пожалуйста, что с этим делать?
Исправлен формат записи координат. Скачайте пожалуйста обновлённый шаблон
А как можно собрать еще ФИО руководителя и ИНН организации?
Можете попробовать собирать на специальных сайтах, которые предоставляют эту информацию, например по названию организации
 

Добрый

Client
Регистрация
08.01.2020
Сообщения
53
Благодарностей
7
Баллы
8
Можете попробовать собирать на специальных сайтах, которые предоставляют эту информацию, например по названию организации
[/QUOTE]
Спарк, сбис, контур и т.п.
 

Ikigai

Client
Регистрация
13.12.2016
Сообщения
275
Благодарностей
27
Баллы
28
А бесплатны прокси не подходят ?
( в формате без логина и пароля )
и насчет капчи вопрос, она часто выскакивает? . Просто покупал раньше шаблон по парсингу яндекс карт ( не нужны были капчи )
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
А бесплатны прокси не подходят ?
( в формате без логина и пароля )
Можно настроить получение прокси из прокси-чекера


и насчет капчи вопрос, она часто выскакивает? . Просто покупал раньше шаблон по парсингу яндекс карт ( не нужны были капчи )
Не часто, но иногда появляется
 

Ikigai

Client
Регистрация
13.12.2016
Сообщения
275
Благодарностей
27
Баллы
28
Не хватает конечно списка локаций по которым необходимо осуществлять поиск ( города или области ) и реализации многопоточности.
 
Последнее редактирование:

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Не хватает конечно списка локаций по которым необходимо осуществлять поиск ( города или области ) и реализации многопоточности.
Шаблон обновлён! Добавлена мультипоточность и возможность указать гео поиска
 
Регистрация
20.02.2019
Сообщения
289
Благодарностей
34
Баллы
28
А можно ли в один файл экселя собрать выдачу всех запросов из файла?
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Регистрация
20.02.2019
Сообщения
289
Благодарностей
34
Баллы
28
Такое ощущение что по ключевому запросу собираются не все компании с яндекс карт, есть какие-то решения может быть, чтобы собрать все фирмы по запросу?
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Такое ощущение что по ключевому запросу собираются не все компании с яндекс карт, есть какие-то решения может быть, чтобы собрать все фирмы по запросу?
Собираются все, которые есть в выдаче по запросу и гео
 

mr.wolf

Client
Регистрация
07.09.2019
Сообщения
99
Благодарностей
12
Баллы
8

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
  • Спасибо
Реакции: mr.wolf

mr.wolf

Client
Регистрация
07.09.2019
Сообщения
99
Благодарностей
12
Баллы
8
  • Спасибо
Реакции: Santorini

Добрый

Client
Регистрация
08.01.2020
Сообщения
53
Благодарностей
7
Баллы
8
Пользуюсь долгое время без нареканий, а есть возможность добавить парсинг рейтинга компании на карте?
 
  • Спасибо
Реакции: Fakel577

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Пользуюсь долгое время без нареканий, а есть возможность добавить парсинг рейтинга компании на карте?
Добавлен парсинг рейтинга и количества отзывов. Скачайте обновлённый шаблон из главного поста
 
  • Спасибо
Реакции: Добрый

Добрый

Client
Регистрация
08.01.2020
Сообщения
53
Благодарностей
7
Баллы
8

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)