- Регистрация
- 23.05.2014
- Сообщения
- 1 500
- Благодарностей
- 1 263
- Баллы
- 113
ВСЕ ВОПРОСЫ В СКАЙП vasyaslot. Меня попросили создать тему.
1. Необходимо парсить пользователей групп – mail.ru, как полностью всю группу так и только тех кто в данный момент времени находится онлайн. Парсер должен быть многопоточен, с возможностью использования прокси и возможностью задавать количество потоков на количество прокси, также это должно авто регулироваться
Требуется сделать возможность создавать несколько заданий а т.е парсить несколько групп одновременно и для каждой группы чтобы создавать отдельный файл для спарсенных ящиков. Для каждого задания должны быть свои прокси и настройки потоков.
Возможность ставить парсинг по таймеру. Допустим парсим одну группу, спарсили тех кто в данный момент находился онлайн и ставить задачу, проверять онлайн каждые 3 часа ( или любой другой промежуток времени, какой я захочу и заносить их в список). Пример задачи, выставляем так. Проверка и парсинг онлайна, с чеком каждые 3 часа в течении 2 суток, т.е любые значения, и чтобы почты сохранялись в файл без дублей.
Также возможность парсить Имя, пол, возраст, город проживания.
Все эти параметры должны задавать не зависимо друг от друга, и как использоваться все вместе так и частично. Спарсенные почты должны сохраняться в файл – txt, slx.
Если я задаю параметр возраст, пол, или отдельно. Почты должны сохраняться в разные файлы а т.е Женщины в один файл, мужчины в другой. По возрасту делаем так. Допустим я задаю возраст от 18 до 30 в один файл, от 30 до 50 в другой как пример.
Теперь общая картина: 1 файл женщины от 18 до 25, в другой женщины от 25 до 50, в третий файл мужины от 21 до 29, в четвёртый файл мужчины от 40 до 60 ( образные примеры) и это всё в рамках 1 задания, в зависимости от включенных параметров.
По именам никаких разделений.
1. Необходимо парсить пользователей групп – mail.ru, как полностью всю группу так и только тех кто в данный момент времени находится онлайн. Парсер должен быть многопоточен, с возможностью использования прокси и возможностью задавать количество потоков на количество прокси, также это должно авто регулироваться
Требуется сделать возможность создавать несколько заданий а т.е парсить несколько групп одновременно и для каждой группы чтобы создавать отдельный файл для спарсенных ящиков. Для каждого задания должны быть свои прокси и настройки потоков.
Возможность ставить парсинг по таймеру. Допустим парсим одну группу, спарсили тех кто в данный момент находился онлайн и ставить задачу, проверять онлайн каждые 3 часа ( или любой другой промежуток времени, какой я захочу и заносить их в список). Пример задачи, выставляем так. Проверка и парсинг онлайна, с чеком каждые 3 часа в течении 2 суток, т.е любые значения, и чтобы почты сохранялись в файл без дублей.
Также возможность парсить Имя, пол, возраст, город проживания.
Все эти параметры должны задавать не зависимо друг от друга, и как использоваться все вместе так и частично. Спарсенные почты должны сохраняться в файл – txt, slx.
Если я задаю параметр возраст, пол, или отдельно. Почты должны сохраняться в разные файлы а т.е Женщины в один файл, мужчины в другой. По возрасту делаем так. Допустим я задаю возраст от 18 до 30 в один файл, от 30 до 50 в другой как пример.
Теперь общая картина: 1 файл женщины от 18 до 25, в другой женщины от 25 до 50, в третий файл мужины от 21 до 29, в четвёртый файл мужчины от 40 до 60 ( образные примеры) и это всё в рамках 1 задания, в зависимости от включенных параметров.
По именам никаких разделений.