Однопоточный парсер профилей OnlyFans

Регистрация
03.12.2020
Сообщения
146
Благодарностей
100
Баллы
43
73617


Всем привет. Я новичек. Шаблон создан, чтобы набраться опыта и накопить на лицензию ZennoPoster.

Я не особый мастер витиеватого слога, поэтому начну сразу с сути.

Этот шаблон собирает анкеты участниц (участников) социальной сети https://onlyfans.com используя бесплатный сервис https://onlyfinder.com. Сервис позволяет собирать анкеты по определенному запросу, что дает нам возможность собирать данные в общую таблицу и в дальнейшем делать выборки наиболее популярных участников, или выгружать тех, у кого есть бесплатная подписка.

Данный шаблон может очень пригодиться в дейтинге для сбора фото и видеоматериала реально существующих людей. Это даёт возможность создавать долгоживущие профили в других соцсетях, поскольку, контент регулярно обновляется и дополняется.

Входные параметры лаконичны - название запроса, по которому будет делаться выборка, пауза в секундах между прокрутками экрана, конечный .csv файл для складывания полученных данных, и через сколько прокруток производить парсинг.

73620


Карта шаблона выглядит следующим образом:

73619


Шаблон браузерный и начинается с привязки конечного файла и чистки кук и кэша, далее происходит загрузка сервиса и заполнение поля запроса через эмуляцию клавиатуры. С прокруткой тоже ничего о сверхъестественного, разве что мы считаем скроллы, для того чтобы по достижении значения, заданного во входных параметрах сделать выгрузку. Поскольку страница может оказаться бесконечной, то надо было предусмотреть вариант сохранения промежуточных данных. В процессе родилось такое решение. Мы скроллим, например, 20 раз. Далее сбрасываем данные в файл, при этом, чтобы не напрягать дисковую подсистему мы проверяем список на существование спаршенных данных. Таким образом решается проблема дублей. И именно поэтому для записи результата используется список, а не таблица. При отсутствии записи сам кубик дает ошибку и это позволяет не создавать дополнительных проверочных блоков, хотя, более чем уверен, что это можно решить как то иначе :-)
После того, как временный список со спаршенными блоками опустеет, мы выполняем еще одну проверку на изменение высоты дивов, и если высота до и после скролла не совпадают, - продолжаем прокрутку. И так до тех пор, пока это условие не будет соблюдено. Тогда парсинг в этом инстансе прекратится.

На выходе мы получаем вот такую табличку:
"Ссылка на профиль";"Лайки";"Подписчики";"Количество фото";"Количество видео";"Цена за подписку"

73623


.csv с разделителем ";" - прекрасно открывается экселем и готов к выборке без лишних телодвижений.

В принципе, возможен многопоточный парсинг, при использовании прокси и подхода 1 поток 1 запрос.

Шаблон открытый и, насколько, я понимаю, его потенциал далёк от полного раскрытия :-)

Спасибо за ваше время и удачи!
 
Категория
Парсинг
Номер конкурса шаблонов
Седьмой конкурс шаблонов
Уровень сложности
Средний

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

radv

Client
Регистрация
11.05.2015
Сообщения
3 673
Благодарностей
1 855
Баллы
113

DenisK

Client
Регистрация
28.06.2016
Сообщения
591
Благодарностей
288
Баллы
63

imap

Client
Регистрация
12.07.2020
Сообщения
55
Благодарностей
3
Баллы
8

У меня версия 7.3.0.0 не 5 версия, есть возможность запустить на этой версии?
 
Регистрация
03.12.2020
Сообщения
146
Благодарностей
100
Баллы
43

Вложения

  • Спасибо
Реакции: gelu4 и imap

udder

Client
Регистрация
28.03.2017
Сообщения
595
Благодарностей
118
Баллы
43
@Antonio Banderas интересный шаблон, для чего нужно использовать кубик привязка к файлу result?
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 683
Баллы
113
  • Спасибо
Реакции: udder и Antonio Banderas

udder

Client
Регистрация
28.03.2017
Сообщения
595
Благодарностей
118
Баллы
43
там же путь указывается во входных настройках. вот и привязка поэтому.
Я просто с привязкой туплю, я в своих шабах тоже использую путь до файлов во входных настройках, но без привязки, переменная из входных настроек указываю в списке или таблице.
74509


74510


Проясните, почему так делать нельзя?)
@Antonio Banderas @Phoenix78


И еще вопрос по шабу, для чего макрос {Save}

74511
 
Регистрация
03.12.2020
Сообщения
146
Благодарностей
100
Баллы
43
Я просто с привязкой туплю, я в своих шабах тоже использую путь до файлов во входных настройках, но без привязки, переменная из входных настроек указываю в списке или таблице.
Посмотреть вложение 74509

Посмотреть вложение 74510

Проясните, почему так делать нельзя?)
@Antonio Banderas @Phoenix78
Не то чтобы совсем нельзя, - не рекомендуется. Подобные решения входят в привычку и могут сыграть злую шутку.

И еще вопрос по шабу, для чего макрос {Save}

Посмотреть вложение 74511
С этим макросом диалоговое окно выбора файла даёт возможность сохранить файл. Без него - только открыть/выбрать.
 
  • Спасибо
Реакции: udder

udder

Client
Регистрация
28.03.2017
Сообщения
595
Благодарностей
118
Баллы
43
@Antonio Banderas Спасибо, возьму на вооружение правильную практику!
 

mbertoni

Пользователь
Регистрация
01.04.2018
Сообщения
88
Благодарностей
8
Баллы
8
Ищу софт для работы на Онлифансе, рассмотрю все варианты.
Спам, сообщения. Что угодно из существуещего
 

booms1

Client
Регистрация
20.08.2019
Сообщения
134
Благодарностей
18
Баллы
18
Присоединюсь к сообщению выше, тоже куплю, любые оповещения для юзера
 

avalon2022

Новичок
Регистрация
06.10.2022
Сообщения
2
Благодарностей
0
Баллы
1

avalon2022

Новичок
Регистрация
06.10.2022
Сообщения
2
Благодарностей
0
Баллы
1
Посмотреть вложение 73617

Всем привет. Я новичек. Шаблон создан, чтобы набраться опыта и накопить на лицензию ZennoPoster.

Я не особый мастер витиеватого слога, поэтому начну сразу с сути.

Этот шаблон собирает анкеты участниц (участников) социальной сети https://onlyfans.com используя бесплатный сервис https://onlyfinder.com. Сервис позволяет собирать анкеты по определенному запросу, что дает нам возможность собирать данные в общую таблицу и в дальнейшем делать выборки наиболее популярных участников, или выгружать тех, у кого есть бесплатная подписка.

Данный шаблон может очень пригодиться в дейтинге для сбора фото и видеоматериала реально существующих людей. Это даёт возможность создавать долгоживущие профили в других соцсетях, поскольку, контент регулярно обновляется и дополняется.

Входные параметры лаконичны - название запроса, по которому будет делаться выборка, пауза в секундах между прокрутками экрана, конечный .csv файл для складывания полученных данных, и через сколько прокруток производить парсинг.

Посмотреть вложение 73620

Карта шаблона выглядит следующим образом:

Посмотреть вложение 73619

Шаблон браузерный и начинается с привязки конечного файла и чистки кук и кэша, далее происходит загрузка сервиса и заполнение поля запроса через эмуляцию клавиатуры. С прокруткой тоже ничего о сверхъестественного, разве что мы считаем скроллы, для того чтобы по достижении значения, заданного во входных параметрах сделать выгрузку. Поскольку страница может оказаться бесконечной, то надо было предусмотреть вариант сохранения промежуточных данных. В процессе родилось такое решение. Мы скроллим, например, 20 раз. Далее сбрасываем данные в файл, при этом, чтобы не напрягать дисковую подсистему мы проверяем список на существование спаршенных данных. Таким образом решается проблема дублей. И именно поэтому для записи результата используется список, а не таблица. При отсутствии записи сам кубик дает ошибку и это позволяет не создавать дополнительных проверочных блоков, хотя, более чем уверен, что это можно решить как то иначе :-)
После того, как временный список со спаршенными блоками опустеет, мы выполняем еще одну проверку на изменение высоты дивов, и если высота до и после скролла не совпадают, - продолжаем прокрутку. И так до тех пор, пока это условие не будет соблюдено. Тогда парсинг в этом инстансе прекратится.

На выходе мы получаем вот такую табличку:
"Ссылка на профиль";"Лайки";"Подписчики";"Количество фото";"Количество видео";"Цена за подписку"

Посмотреть вложение 73623

.csv с разделителем ";" - прекрасно открывается экселем и готов к выборке без лишних телодвижений.

В принципе, возможен многопоточный парсинг, при использовании прокси и подхода 1 поток 1 запрос.

Шаблон открытый и, насколько, я понимаю, его потенциал далёк от полного раскрытия :-)

Спасибо за ваше время и удачи!
Респект вам за такой труд! Подскажите пожалуйста, какую скорость парсинга вам удалось достичь? OF не блокал акк, которым вы парсили?
 

ens75

Client
Регистрация
30.03.2012
Сообщения
6
Благодарностей
1
Баллы
3
Писал тебе в личку, что-то ответ не получил. Посмотри пожалуйста
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)