Парсинг организаций и мест с Google карт.

[Egor001]

Парсинг данных непосредственно из интерфейса карт. Данные собрать для г. Москва.
В каком виде собирать:
Собранные данные нужно будет загрузить непосредственно в таблицу БД. Структуру и пример данных предоставим.
Какие данные нужно собрать:
Данные организаций
Нужны данные организаций:
Название организации
Координаты
Тип организации (описание, например,
Является сетевой или нет (есть ли филиалы)
Категории, к которым относятся организация
Адрес
Контакты: телефоны, сайт, e-mail, соцсети, whatsapp/viber/telegram/skype и т.п.
График работы
Товары и услуги
Дополнительные сервисы и особенности: wifi, способы оплаты, доступ для людей с ограниченными возможностями,
Рейтинг
Отзывы:
Оценка
Дата отзыва
Фотографии
Источник данных (откуда спарсили)
Другие объекты
Объекты, не являющиеся организациями:
Сооружения (мосты, граффити/стрит-арт, декоративные сооружения, памятники и т.п,)
Остановки наземного транспорта, ЖД станции
Места (озеро, остров, сквер и т.п) пишите сюда или в telegram: @tel_Egora

 

[Egor001]

Разработать программу для парсинга Тиндер.

1.Программа должна собирать следующую информацию с профилей пользователей:

URL профиля
Имя
Пол
Аватар (сохранять фото на сервер - в БД ссылку, на расположение фото на сервере)
Описание профиля (о себе)
Дата рождения
Город проживания (Страна)
Ссылки на другие соцсети., сайты, каналы
Интересы
Образование
Расстояние от вас
Поле Регион (перед началом парсинга можно задать в ручную и указанный регион, он должен присваиваться всем спаршенным аккаунтам по заданным гео координатам)

2.Программа должна работать многопоточно , поддерживать работу с прокси

При отсутсвии страниц или перевыре в показе, поарсер должен работать до появления страниц.

Программа должна автоматически заливать данные в БД.

Не должно быть дублей в БД .

Результат парсинга сохраняется локально в файл txt,xlsx

При многопоточном парсинге должна быть возможность органиции планировщика заданий , переключение настроек и параметров.

Обеспечить бесперебойную работу парсера, предоставить и проверить продоваемые в сети аккаунты. Проверить работу парсера на нескольких аккаунтах.

Проект считается выполненным если весь перечисленный функционал выше работает, для проверки спарсить город милионник, предоставить результаты парсинга а так же, подключить многопоточность.

Необходимо передать иходный код, по завершению работ, возможен вариант потдержки проекта с помощью в поиске и регистрации аккаунтов.

Пишите сюда или в телеграм @tel_Egora