Парсер женских фото с dating-сайта с автосортировкой

AZANIR

Client
Регистрация
09.06.2014
Сообщения
376
Благодарностей
171
Баллы
43


Появилась необходимость создать шаблон по парсер женских фото с их анкетами с dating-сайта. Ну и просмотрев спрос на данную тематику, ниже будет скриншот из поиска , я пришел к выводу, что такой шаблон не помешает никому. Представляю небольшой шаблон по парсингу женских фотографий с одного сайта знакомств. Сразу отпишусь, что идею я взял с сайта складчин , и автор уже заработал денюжку поэтому я сей шаблон выложу бесплатно! тем более что взята за основу только идея , остальное написанно самолично, ну и + доработки по мелочи.

Функции шаблона:
1. Автоматический сбор ссылок на женские анкеты
2. Авто сбор ссылок на фотографии с собранных анкет
3. Авто скачивание фотографий по собранным ссылкам
4. Авто сортировка фотографий по уникальным папкам (в каждой папке фото только одной конкретной девушки)
5. Авто скачивание анкеты девушки (кладется в текстовый файл вместе с её фото)

Поиск
О надобности такого шаблона я подумывал давно , как-то даже писал на python подобное , но всё таки сотворил на zennoposter. А подтолкнуло меня вот что я немного работал в dating сфере и просто написал такого рода запрос «dating страницы» и вот что выдал google.



И в основном все ответы были с сайтов со складчинами где люди покупали шаблоны для этого , вот я и решил к чему платить деньги за то что можно сделать самому!

Создание
И так сам шаблон и его настройки настройки очень даже простенькие. Количество запросов при пустой странице, бывает что сайт не отдает с первого раза страничку. Задержка в секундах, ну чтоб нас не забанил сайт за частые запросы. И сколько страниц парсить, учтите что на каждой странице 20 анкет девушек.



вот пример странички с девушками



Данные по шаблону:
Писался и проверялся в работе на ZP 5.9.9.5+
Шаблон работает без использования браузера — только GET-запросы и регулярки (минимальный расход трафика и высокая скорость работы)
Шаблон работает только в 1 поток, а больше и не нужно.
Основные подсказки по шаблону прописаны во входных настройках (на скрине часть видна). Настроек минимум.
Также необходима библиотека HtmlAgilityPack.dll она присутствует в шаблоне в папке. Её нужно забросить в папку ExternalAssemblies где установлен ваш Zennoposter.

Вопросы — Ответы
Будет ли работать на демо-версии — да, должен, но не проверял.
Будет ли поддержка шаблона — да, правки вносится будут, если будет необходимость
Будет ли развитие шаблона — глобальных изменений пока не планирую
Нужны ли доп. затраты — нет, кроме наличия ZennoPoster больше ничего не надо
Что за сайт, откуда парсим — https://bridesbay.com/
Много ли фотографий, анкет — около 6 000 анкет, около 66 000 фотографий +
Какого качества фото — хорошего качества
Есть ли ню-фото — не нашел таких, все в одежде, хотя одежда разной длины, открытости и откровенности

Кому пригодится шаблон — многим, кто занимается как dating-направлением в соц. сетях, так и просто работает с женскими аккаунтами, кому необходима именно серия фотографий одной девушки
Возраст, ГЕО девушек — 20-40 лет, РФ, Украина (может СНГ)
Сколько фотографий в анкете — по разному, у кого-то 5-10 шт, а есть и по 35 фотографий на анкете.

Вот как выглядит готовый материал


Важный момент , при повторном парсинге шаблон проверяет наличие папок с анкетами , и пропускает уже спаршенные профили и парсит только новые. Поэтому достаточно поставить его на парсинг по расписанию и он будет парсить только новые анкеты , так как на сайте они автоматом перемешиваются.



Шаблон в 1 кубике так что допилив можно использовать как блок в своем шаблоне) Удачных парсингов.
 
Категория
Парсинг

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

kagorec

Client
Регистрация
24.08.2013
Сообщения
617
Благодарностей
281
Баллы
63
Спасибо!
Очень модельной внешности все профили как на выставке (свет софитов, поза и т.д.). Что вызывает больше подозрения чем профита. Заезжанные фоточки получаются:D
п.с. Если не ошибаюсь то закрытый шаблон парсинга фото с этого сайта продавался на складчике.
 

kapelan28

Client
Регистрация
22.09.2015
Сообщения
467
Благодарностей
173
Баллы
43
Все бы ничего, только шаблон я такой с описанием, один в один как у меня, я продаю уже почти год на складчике + ссылка у меня в подписи. За это время его успели купить почти 90 человек.
Стыдно копипастить описание с продажника
 

kapelan28

Client
Регистрация
22.09.2015
Сообщения
467
Благодарностей
173
Баллы
43
Посмотрел шаблон внутри, вздохнул с облегчением) до моего ему далеко.
 

serjik777

Client
Регистрация
18.10.2015
Сообщения
16
Благодарностей
9
Баллы
3
Посмотрел шаблон внутри, вздохнул с облегчением) до моего ему далеко.
В чем разница? А то смахивает на завуалированный крик души))) мол убили источник дохода выложили бесплатно но кому нужен все же купите у меня.
Посмотрел опись в маркете ну да функционал побольше и входных настроек но в принципе те же яйца...
 
  • Спасибо
Реакции: vertigo141 и kagorec

kapelan28

Client
Регистрация
22.09.2015
Сообщения
467
Благодарностей
173
Баллы
43
В чем разница? А то смахивает на завуалированный крик души))) мол убили источник дохода выложили бесплатно но кому нужен все же купите у меня.
Посмотрел опись в маркете ну да функционал побольше и входных настроек но в принципе те же яйца...
я так скажу - кому надо, тот уже давно купил. Так что особых потерь в продажах от этого шаблона я точно уже не получу.
А по теме - автор красавчик - скопировал часть функционала шаблона за 10 баксов, а за участие в конкурсе получит 40 баксов. Молодец!
 

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 403
Благодарностей
1 935
Баллы
113
тут все темы с чего то но скопированы, в этом конкурсе нет шаблона с нуля )))
 

limoshkaa

Client
Регистрация
18.09.2013
Сообщения
7
Благодарностей
3
Баллы
3
Что-то прошелся по всем страницам сайта ,спарсил 20 папок с картинами и по новой ходит по страницам , и больше не парсит
 

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
17 389
Благодарностей
4 279
Баллы
113
@kapelan28, конкуренция - двигатель прогресса, её бояться ненужно. Поливать чужой шаблон и расхваливать свой тоже.
И уберите пожалуста выделение красным из подписи, правилами форума запрещено.
 

VladZen

Administrator
Команда форума
Регистрация
05.11.2014
Сообщения
17 389
Благодарностей
4 279
Баллы
113
Поглазел на девочек с удовольствием) :D
 

AZANIR

Client
Регистрация
09.06.2014
Сообщения
376
Благодарностей
171
Баллы
43
Что-то прошелся по всем страницам сайта ,спарсил 20 папок с картинами и по новой ходит по страницам , и больше не парсит
поставте 200 страниц в том и простота шаблона , минимум критериев максимум отдачи.

Я же написал что идея не моя, а взята со складчика.

Посмотрел шаблон внутри, вздохнул с облегчением) до моего ему далеко.
С облегчением Вас , нет проблем сделать лучше, просто не вижу смысла заморачиваться с 1 сайтом, увидел, сделал, пользуюсь.
Если будет необходимость сделаю то что мне нужно будет и выложу сюда , но пока сделал так мне удобно для моих целей и почему бы не поделиться ) .

Все бы ничего, только шаблон я такой с описанием, один в один как у меня, я продаю уже почти год на складчике + ссылка у меня в подписи. За это время его успели купить почти 90 человек.
Стыдно копипастить описание с продажника
Честно не стыдно (facepalm) , тем более вам за него платят и то это прекрасно, значит я Ваш хлеб не забираю) .
 
  • Спасибо
Реакции: Slava

kapelan28

Client
Регистрация
22.09.2015
Сообщения
467
Благодарностей
173
Баллы
43

AZANIR

Client
Регистрация
09.06.2014
Сообщения
376
Благодарностей
171
Баллы
43
Привет автор!!! что то не работает ваш шаблончик у меня. пишет
у 136 скачавших работает а у вас нет )

ну возможно у вас старая версия зенно, или вы не подключили длл .
 

Bas

Client
Регистрация
15.12.2013
Сообщения
360
Благодарностей
123
Баллы
43
тут все темы с чего то но скопированы, в этом конкурсе нет шаблона с нуля )))
Да ладно? И где же здесь (на форуме, в сторе) шаблоны по крипте? Посмотрел бы с радостью на другие, может почерпнул бы какой инфы, а не сидел и все с нуля придумывал вот уже пол года как...
 

AZANIR

Client
Регистрация
09.06.2014
Сообщения
376
Благодарностей
171
Баллы
43
Да ладно? И где же здесь (на форуме, в сторе) шаблоны по крипте? Посмотрел бы с радостью на другие, может почерпнул бы какой инфы, а не сидел и все с нуля придумывал вот уже пол года как...
думаю простоне выкладывали так как им эти шаблоны еще приносят нормально денег ), но всё новое это хорошо забытое старое.
 

sasha2476

Client
Регистрация
09.06.2017
Сообщения
35
Благодарностей
9
Баллы
8
у 136 скачавших работает а у вас нет )

ну возможно у вас старая версия зенно, или вы не подключили длл .
Привет, а как подключить dll ?я папку видел а что делать с файлами не знаю.
 

AZANIR

Client
Регистрация
09.06.2014
Сообщения
376
Благодарностей
171
Баллы
43

kse

Новичок
Регистрация
31.01.2018
Сообщения
13
Благодарностей
3
Баллы
3
AZANIR Большое спасибо автору. Запустил на демо версии. Работает отлично. То что было нужно для работы с фейками.
 

S-Max

Client
Регистрация
28.12.2016
Сообщения
7
Благодарностей
0
Баллы
1
Шаб работает отлично. Спасибо, собрал базу.
 

Viktoriya

Client
Регистрация
28.09.2016
Сообщения
4
Благодарностей
1
Баллы
3
Спасибо!
Пригодилось для дополнения своих шаблонов
 

ksander

Client
Регистрация
17.06.2016
Сообщения
262
Благодарностей
28
Баллы
28
А фото каких размеров?
 

ksander

Client
Регистрация
17.06.2016
Сообщения
262
Благодарностей
28
Баллы
28
Почемуто мне кажется что шаблон парсит только 1 страницу и все. Какие либо настройки не делал
 

eagleowl

Client
Регистрация
03.11.2012
Сообщения
257
Благодарностей
29
Баллы
28
При Get запросе на страницу с любым номером возвращается первая, точнее сказать запросы даже не уходят.
Короче тут проблема оказалась в конструкции while(resultGet=="")
Получается что уходит только один запрос и все. Убрал конструкцию и все заработало.
 
Последнее редактирование:

AZANIR

Client
Регистрация
09.06.2014
Сообщения
376
Благодарностей
171
Баллы
43
походу сайт стал банить частые запросы , к нему , нужно добавить паузу или исправить все пути в самом коде с https:// на http://





вот только что проверил все работает.
 

AZANIR

Client
Регистрация
09.06.2014
Сообщения
376
Благодарностей
171
Баллы
43
При Get запросе на страницу с любым номером возвращается первая, точнее сказать запросы даже не уходят.
Короче тут проблема оказалась в конструкции while(resultGet=="")
Получается что уходит только один запрос и все. Убрал конструкцию и все заработало.
тут проблема не в конструкции )
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)