1.Программа должна собирать следующую информацию с профилей пользователей:
URL профиля
Имя
Пол
Аватар (сохранять фото на сервер - в БД ссылку, на расположение фото на сервере)
Описание профиля (о себе)
Дата рождения
Город проживания (Страна)
Ссылки на другие соцсети., сайты, каналы
Интересы
Образование
Расстояние от вас
Поле Регион (перед началом парсинга можно задать в ручную и указанный регион, он должен присваиваться всем спаршенным аккаунтам по заданным гео координатам)
2.Программа должна работать многопоточно , поддерживать работу с прокси
При отсутсвии страниц или перевыре в показе, поарсер должен работать до появления страниц.
Программа должна автоматически заливать данные в БД.
Не должно быть дублей в БД .
Результат парсинга сохраняется локально в файл txt,xlsx
При многопоточном парсинге должна быть возможность органиции планировщика заданий , переключение настроек и параметров.
Обеспечить бесперебойную работу парсера, предоставить и проверить продоваемые в сети аккаунты. Проверить работу парсера на нескольких аккаунтах.
Проект считается выполненным если весь перечисленный функционал выше работает, для проверки спарсить город милионник, предоставить результаты парсинга а так же, подключить многопоточность.
Необходимо передать иходный код, по завершению работ, возможен вариант потдержки проекта с помощью в поиске и регистрации аккаунтов.
Пишите сюда или в телеграм @tel_Egora
URL профиля
Имя
Пол
Аватар (сохранять фото на сервер - в БД ссылку, на расположение фото на сервере)
Описание профиля (о себе)
Дата рождения
Город проживания (Страна)
Ссылки на другие соцсети., сайты, каналы
Интересы
Образование
Расстояние от вас
Поле Регион (перед началом парсинга можно задать в ручную и указанный регион, он должен присваиваться всем спаршенным аккаунтам по заданным гео координатам)
2.Программа должна работать многопоточно , поддерживать работу с прокси
При отсутсвии страниц или перевыре в показе, поарсер должен работать до появления страниц.
Программа должна автоматически заливать данные в БД.
Не должно быть дублей в БД .
Результат парсинга сохраняется локально в файл txt,xlsx
При многопоточном парсинге должна быть возможность органиции планировщика заданий , переключение настроек и параметров.
Обеспечить бесперебойную работу парсера, предоставить и проверить продоваемые в сети аккаунты. Проверить работу парсера на нескольких аккаунтах.
Проект считается выполненным если весь перечисленный функционал выше работает, для проверки спарсить город милионник, предоставить результаты парсинга а так же, подключить многопоточность.
Необходимо передать иходный код, по завершению работ, возможен вариант потдержки проекта с помощью в поиске и регистрации аккаунтов.
Пишите сюда или в телеграм @tel_Egora
