Парсер анкет Мой Мир Mail.Ru

Discussion in 'Третий конкурс шаблонов' started by zortexx, Feb 26, 2019.

  1. zortexx

    zortexx Client

    Joined:
    Sep 19, 2011
    Messages:
    2,115
    Likes Received:
    925
    upload_2019-2-26_14-52-56.png

    Приветствую участников форума и новичков в области веб-автоматизации.

    Представляю вашему вниманию простенький парсер анкет социальной сети Мой Мир Mail.Ru.

    upload_2019-2-26_15-50-30.png

    Шаблон, в первую очередь, выступает в качестве доказательства того, что даже сейчас возможно создание шаблонов, практически, без использования C#. Именно поэтому пришлось отказаться от автоматического добавления количества попыток выполнения шаблона и автоматического запуска в многопотоке, поскольку на данный момент без C# мне не удалось отловить, что глобальная переменная не инициализирована. В данном случае всё реализовано стандартными экшенами, за исключением обработки дат для добавления в БД MySQL.

    Давно известно, что таргетированная рассылка дает более высокий конверт. А в этих анкетах, порой встречаются весьма интересные подробности:

    upload_2019-2-26_14-48-17.png upload_2019-2-26_14-49-15.png upload_2019-2-26_14-55-30.png

    Использование базы данных дает возможность хранить полные варианты анкет и обрабатывать их с высокой скоростью, для создания узкоцелевой выборки из собранной базы пользователей.

    В качестве пространства для развития, в данной версии шаблона, парсятся группы только с первой страницы выдачи. Желающие могут это легко доработать.

    Шаблон может работать в многопотоке, для этого, полученные, по запросу, группы складываются в файл. Далее они берутся оттуда с удалением, а это значит, что каждый поток обрабатывает участников только одной группы. В случае, если файл пуст, необходимо дать время первому потоку заполнить его группами.

    Как известно, с некоторых пор, Мой Мир отдает только 500 участников группы. Чтобы исправить это досадное недоразумение, в шаблон добавлена возможность использования словаря. Например, с именами и фамилиями, для того чтобы расширить выдачу. Архив с именами и фамилиями прилагается.

    Парсинг анкеты производится при помощи стандартного HTTP-GET запроса, с использованием относительно новой функции CookieContainer.

    Входные настройки
    upload_2019-2-26_14-30-22.png

    При выводе данных в файлы полный слепок анкеты не сохраняется.

    В качестве СУБД я использую портированный MySQL 5.5.25, который входит в состав AMP пакета Denwer, чего и вам советую.

    CREATE TABLE IF NOT EXISTS `mymailru` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `mailurl` text NOT NULL,
    `email` text NOT NULL,
    `inviz` tinyint(1) NOT NULL,
    `bdate` date NOT NULL,
    `age` tinyint(3) NOT NULL,
    `from` text NOT NULL,
    `livenow` text NOT NULL,
    `lastseen` date NOT NULL,
    `info` text NOT NULL,
    `keyword` text NOT NULL,
    `groupname` text NOT NULL,
    PRIMARY KEY (`id`),
    KEY `id` (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

    P.S.: Для тех кому нужен парсинг только почтовых адресов - из шаблона легко выпилить ненужные запчасти. Также, хочу заметить, что мобильная версия Моего Мира, на момент написания данного поста, отдает 2020 участников. А в приложении под Android возможно также осуществлять поиск по участникам, как в настольной версии :-)
     

    Attached Files:

  2. Rimon

    Rimon Client

    Joined:
    Dec 22, 2017
    Messages:
    14
    Likes Received:
    6
    Добрый день! Спасибо за Вашу работу. Подскажите, что за файл со словарем? Как я это понял, это типа если у меня ключей для поиска много, то я подключаю файл в котором список этих самых ключей. Ну ок, если не так. То наверно тот zip архив с именами и фамилиями, но там же 2 файла, их нельзя объединить?
     
  3. zortexx

    zortexx Client

    Joined:
    Sep 19, 2011
    Messages:
    2,115
    Likes Received:
    925
    Можно и объединить.

    Как сказано выше:
    Суть в том, что, если в поиске по участникам группы запросить, к примеру, "Андрей", то mail.ru покажет вам преимущественно тех участников, у кого данное слово в том или ином виде присутствует в профиле.

    upload_2019-3-5_20-27-7.png
     
  4. Rimon

    Rimon Client

    Joined:
    Dec 22, 2017
    Messages:
    14
    Likes Received:
    6
    Спасибо!
     
  5. ssXXXss

    ssXXXss Client

    Joined:
    Dec 23, 2014
    Messages:
    6,918
    Likes Received:
    1,751
    прикольно, а чёт темка слабовата для такого проф )
     
  6. zortexx

    zortexx Client

    Joined:
    Sep 19, 2011
    Messages:
    2,115
    Likes Received:
    925
    Всем не угодишь :-)
     
  7. ssXXXss

    ssXXXss Client

    Joined:
    Dec 23, 2014
    Messages:
    6,918
    Likes Received:
    1,751
    ты наверно увидел что шнягу принимают и решил поучавствовать )) ну примерно так ведь
     
  8. zortexx

    zortexx Client

    Joined:
    Sep 19, 2011
    Messages:
    2,115
    Likes Received:
    925
    Ты чего хочешь, ssXXXss?
    Парсер легко модифицируется. От многопоточного парсера почтовых ящиков с встроенным чекером и плюшками, за который просят порядка 2500 рублей за копию, этот шаблон отделяет пара экшенов на шарпе :-)
     
    Last edited: Mar 5, 2019
  9. ssXXXss

    ssXXXss Client

    Joined:
    Dec 23, 2014
    Messages:
    6,918
    Likes Received:
    1,751
    я помню как ты мне говорил, не говори моё имя, я его и не пишу, я хочу бабла и побольше )))))))))
     
  10. zortexx

    zortexx Client

    Joined:
    Sep 19, 2011
    Messages:
    2,115
    Likes Received:
    925
    Работай. Лучше головой, чем руками.
    Не рассчитывай, что тебе кто-то что-то даст просто так :-)

    Завязывай оффтопить.
     
  11. ssXXXss

    ssXXXss Client

    Joined:
    Dec 23, 2014
    Messages:
    6,918
    Likes Received:
    1,751
    чтобы написать тоже голова нужна
    эх как жаль что все мы растались
    а столько сил было виесте
     
  12. Zoolone

    Zoolone Client

    Joined:
    Jun 5, 2019
    Messages:
    122
    Likes Received:
    125
    Очень отличная тема, спасибо, плюсанул, знитиляйте что так поздно, но я новичек, которому статус клиент уже неделю не могут поставить :-)
     

Пользователи просматривающие тему (Пользователей: 0, Гостей: 0)