Парсер анкет Мой Мир Mail.Ru

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 280
Благодарностей
1 031
Баллы
113
upload_2019-2-26_14-52-56.png


Приветствую участников форума и новичков в области веб-автоматизации.

Представляю вашему вниманию простенький парсер анкет социальной сети Мой Мир Mail.Ru.

upload_2019-2-26_15-50-30.png


Шаблон, в первую очередь, выступает в качестве доказательства того, что даже сейчас возможно создание шаблонов, практически, без использования C#. Именно поэтому пришлось отказаться от автоматического добавления количества попыток выполнения шаблона и автоматического запуска в многопотоке, поскольку на данный момент без C# мне не удалось отловить, что глобальная переменная не инициализирована. В данном случае всё реализовано стандартными экшенами, за исключением обработки дат для добавления в БД MySQL.

Давно известно, что таргетированная рассылка дает более высокий конверт. А в этих анкетах, порой встречаются весьма интересные подробности:

upload_2019-2-26_14-48-17.png upload_2019-2-26_14-49-15.png upload_2019-2-26_14-55-30.png

Использование базы данных дает возможность хранить полные варианты анкет и обрабатывать их с высокой скоростью, для создания узкоцелевой выборки из собранной базы пользователей.

В качестве пространства для развития, в данной версии шаблона, парсятся группы только с первой страницы выдачи. Желающие могут это легко доработать.

Шаблон может работать в многопотоке, для этого, полученные, по запросу, группы складываются в файл. Далее они берутся оттуда с удалением, а это значит, что каждый поток обрабатывает участников только одной группы. В случае, если файл пуст, необходимо дать время первому потоку заполнить его группами.

Как известно, с некоторых пор, Мой Мир отдает только 500 участников группы. Чтобы исправить это досадное недоразумение, в шаблон добавлена возможность использования словаря. Например, с именами и фамилиями, для того чтобы расширить выдачу. Архив с именами и фамилиями прилагается.

Парсинг анкеты производится при помощи стандартного HTTP-GET запроса, с использованием относительно новой функции CookieContainer.

Входные настройки
upload_2019-2-26_14-30-22.png

При выводе данных в файлы полный слепок анкеты не сохраняется.

В качестве СУБД я использую портированный MySQL 5.5.25, который входит в состав AMP пакета Denwer, чего и вам советую.

CREATE TABLE IF NOT EXISTS `mymailru` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`mailurl` text NOT NULL,
`email` text NOT NULL,
`inviz` tinyint(1) NOT NULL,
`bdate` date NOT NULL,
`age` tinyint(3) NOT NULL,
`from` text NOT NULL,
`livenow` text NOT NULL,
`lastseen` date NOT NULL,
`info` text NOT NULL,
`keyword` text NOT NULL,
`groupname` text NOT NULL,
PRIMARY KEY (`id`),
KEY `id` (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

P.S.: Для тех кому нужен парсинг только почтовых адресов - из шаблона легко выпилить ненужные запчасти. Также, хочу заметить, что мобильная версия Моего Мира, на момент написания данного поста, отдает 2020 участников. А в приложении под Android возможно также осуществлять поиск по участникам, как в настольной версии :-)
 

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Rimon

Client
Регистрация
22.12.2017
Сообщения
14
Благодарностей
6
Баллы
3
Добрый день! Спасибо за Вашу работу. Подскажите, что за файл со словарем? Как я это понял, это типа если у меня ключей для поиска много, то я подключаю файл в котором список этих самых ключей. Ну ок, если не так. То наверно тот zip архив с именами и фамилиями, но там же 2 файла, их нельзя объединить?
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 280
Благодарностей
1 031
Баллы
113
Добрый день! Спасибо за Вашу работу. Подскажите, что за файл со словарем? Как я это понял, это типа если у меня ключей для поиска много, то я подключаю файл в котором список этих самых ключей. Ну ок, если не так. То наверно тот zip архив с именами и фамилиями, но там же 2 файла, их нельзя объединить?
Можно и объединить.

Как сказано выше:
для того чтобы расширить выдачу
Суть в том, что, если в поиске по участникам группы запросить, к примеру, "Андрей", то mail.ru покажет вам преимущественно тех участников, у кого данное слово в том или ином виде присутствует в профиле.

upload_2019-3-5_20-27-7.png
 

Rimon

Client
Регистрация
22.12.2017
Сообщения
14
Благодарностей
6
Баллы
3
Спасибо!
 

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 015
Благодарностей
1 816
Баллы
113
прикольно, а чёт темка слабовата для такого проф )
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 280
Благодарностей
1 031
Баллы
113

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 280
Благодарностей
1 031
Баллы
113
ты наверно увидел что шнягу принимают и решил поучавствовать )) ну примерно так ведь
Ты чего хочешь, ssXXXss?
Парсер легко модифицируется. От многопоточного парсера почтовых ящиков с встроенным чекером и плюшками, за который просят порядка 2500 рублей за копию, этот шаблон отделяет пара экшенов на шарпе :-)
 
Последнее редактирование:

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 015
Благодарностей
1 816
Баллы
113
Ты чего хочешь, Сань?
Парсер легко модифицируется. От многопоточного парсера почтовых ящиков с встроенным чекером и плюшками, за который просят порядка 2500 рублей за копию, этот шаблон отделяет пара экшенов на шарпе :-)
я помню как ты мне говорил, не говори моё имя, я его и не пишу, я хочу бабла и побольше )))))))))
 

zortexx

Client
Регистрация
19.09.2011
Сообщения
2 280
Благодарностей
1 031
Баллы
113

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 015
Благодарностей
1 816
Баллы
113
Работай. Лучше головой, чем руками.
Не рассчитывай, что тебе кто-то что-то даст просто так :-)

Завязывай оффтопить.
чтобы написать тоже голова нужна
эх как жаль что все мы растались
а столько сил было виесте
 

Zoolone

Banned
Регистрация
05.06.2019
Сообщения
143
Благодарностей
144
Баллы
43
Очень отличная тема, спасибо, плюсанул, знитиляйте что так поздно, но я новичек, которому статус клиент уже неделю не могут поставить :-)
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)