Парсер анкет Мой Мир Mail.Ru

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 524
Благодарностей
1 211
Баллы
113
upload_2019-2-26_14-52-56.png


Приветствую участников форума и новичков в области веб-автоматизации.

Представляю вашему вниманию простенький парсер анкет социальной сети Мой Мир Mail.Ru.

upload_2019-2-26_15-50-30.png


Шаблон, в первую очередь, выступает в качестве доказательства того, что даже сейчас возможно создание шаблонов, практически, без использования C#. Именно поэтому пришлось отказаться от автоматического добавления количества попыток выполнения шаблона и автоматического запуска в многопотоке, поскольку на данный момент без C# мне не удалось отловить, что глобальная переменная не инициализирована. В данном случае всё реализовано стандартными экшенами, за исключением обработки дат для добавления в БД MySQL.

Давно известно, что таргетированная рассылка дает более высокий конверт. А в этих анкетах, порой встречаются весьма интересные подробности:

upload_2019-2-26_14-48-17.png upload_2019-2-26_14-49-15.png upload_2019-2-26_14-55-30.png

Использование базы данных дает возможность хранить полные варианты анкет и обрабатывать их с высокой скоростью, для создания узкоцелевой выборки из собранной базы пользователей.

В качестве пространства для развития, в данной версии шаблона, парсятся группы только с первой страницы выдачи. Желающие могут это легко доработать.

Шаблон может работать в многопотоке, для этого, полученные, по запросу, группы складываются в файл. Далее они берутся оттуда с удалением, а это значит, что каждый поток обрабатывает участников только одной группы. В случае, если файл пуст, необходимо дать время первому потоку заполнить его группами.

Как известно, с некоторых пор, Мой Мир отдает только 500 участников группы. Чтобы исправить это досадное недоразумение, в шаблон добавлена возможность использования словаря. Например, с именами и фамилиями, для того чтобы расширить выдачу. Архив с именами и фамилиями прилагается.

Парсинг анкеты производится при помощи стандартного HTTP-GET запроса, с использованием относительно новой функции CookieContainer.

Входные настройки
upload_2019-2-26_14-30-22.png

При выводе данных в файлы полный слепок анкеты не сохраняется.

В качестве СУБД я использую портированный MySQL 5.5.25, который входит в состав AMP пакета Denwer, чего и вам советую.

CREATE TABLE IF NOT EXISTS `mymailru` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`mailurl` text NOT NULL,
`email` text NOT NULL,
`inviz` tinyint(1) NOT NULL,
`bdate` date NOT NULL,
`age` tinyint(3) NOT NULL,
`from` text NOT NULL,
`livenow` text NOT NULL,
`lastseen` date NOT NULL,
`info` text NOT NULL,
`keyword` text NOT NULL,
`groupname` text NOT NULL,
PRIMARY KEY (`id`),
KEY `id` (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

P.S.: Для тех кому нужен парсинг только почтовых адресов - из шаблона легко выпилить ненужные запчасти. Также, хочу заметить, что мобильная версия Моего Мира, на момент написания данного поста, отдает 2020 участников. А в приложении под Android возможно также осуществлять поиск по участникам, как в настольной версии :-)
 
Номер конкурса шаблонов
Третий конкурс шаблонов

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Rimon

Client
Регистрация
22.12.2017
Сообщения
15
Благодарностей
7
Баллы
3
Добрый день! Спасибо за Вашу работу. Подскажите, что за файл со словарем? Как я это понял, это типа если у меня ключей для поиска много, то я подключаю файл в котором список этих самых ключей. Ну ок, если не так. То наверно тот zip архив с именами и фамилиями, но там же 2 файла, их нельзя объединить?
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 524
Благодарностей
1 211
Баллы
113
Добрый день! Спасибо за Вашу работу. Подскажите, что за файл со словарем? Как я это понял, это типа если у меня ключей для поиска много, то я подключаю файл в котором список этих самых ключей. Ну ок, если не так. То наверно тот zip архив с именами и фамилиями, но там же 2 файла, их нельзя объединить?
Можно и объединить.

Как сказано выше:
для того чтобы расширить выдачу
Суть в том, что, если в поиске по участникам группы запросить, к примеру, "Андрей", то mail.ru покажет вам преимущественно тех участников, у кого данное слово в том или ином виде присутствует в профиле.

upload_2019-3-5_20-27-7.png
 

Rimon

Client
Регистрация
22.12.2017
Сообщения
15
Благодарностей
7
Баллы
3
Спасибо!
 

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 391
Благодарностей
1 967
Баллы
113
прикольно, а чёт темка слабовата для такого проф )
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 524
Благодарностей
1 211
Баллы
113

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 524
Благодарностей
1 211
Баллы
113
ты наверно увидел что шнягу принимают и решил поучавствовать )) ну примерно так ведь
Ты чего хочешь, ssXXXss?
Парсер легко модифицируется. От многопоточного парсера почтовых ящиков с встроенным чекером и плюшками, за который просят порядка 2500 рублей за копию, этот шаблон отделяет пара экшенов на шарпе :-)
 
Последнее редактирование:

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 391
Благодарностей
1 967
Баллы
113
Ты чего хочешь, Сань?
Парсер легко модифицируется. От многопоточного парсера почтовых ящиков с встроенным чекером и плюшками, за который просят порядка 2500 рублей за копию, этот шаблон отделяет пара экшенов на шарпе :-)
я помню как ты мне говорил, не говори моё имя, я его и не пишу, я хочу бабла и побольше )))))))))
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 524
Благодарностей
1 211
Баллы
113

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 391
Благодарностей
1 967
Баллы
113
Работай. Лучше головой, чем руками.
Не рассчитывай, что тебе кто-то что-то даст просто так :-)

Завязывай оффтопить.
чтобы написать тоже голова нужна
эх как жаль что все мы растались
а столько сил было виесте
 

Zoolone

Banned
Регистрация
05.06.2019
Сообщения
142
Благодарностей
153
Баллы
43

Обращаем Ваше внимание на то, что данный пользователь заблокирован.
Не рекомендуем проводить с Zoolone какие-либо сделки.

Очень отличная тема, спасибо, плюсанул, знитиляйте что так поздно, но я новичек, которому статус клиент уже неделю не могут поставить :-)
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)