Генератор профилей zpprofile с правильными UserAgent-ами

Статус
Закрыто для дальнейших ответов.

Voronin

Client
Регистрация
30.09.2019
Сообщения
76
Благодарностей
54
Баллы
18
Всем привет!

Предлагаю свой шаблон по генерации профилей zpprofile.
Точнее говоря набор из двух шаблонов - первый шаблон заточен под генерацию профилей Desktop устройств, второй для профилей мобильных устройств.

В шаблонах "допилены" многие нюансы уникализации создаваемых профилей, на основе информации из разных веток этого форума. А именно:

- С интернета подтягивается база актуальных UserAgent-ов, которые рандомно подставляется в профиль. При этом учитывается ОС и Браузер созданного шаблона. Т.е. если Зеннопостер сгенерировал шаблон для Windows-Chrome, то будет подставлен актуальный UserAgent для Windows-Chrome, если сгенерирован шаблон для MacOS-Safari, то подставляется UserAgent для MacOS-Safari. База обновляется ежедневно и содержит ~ 7000 строк актуальных UserAgent-ов.

- Уникализуется локальный адрес для WebRTC

- Уникализуется набор плагинов браузера.

- Рандомно включается DoNotTrack.

Настройки шаблонов:

2020-01-31_17-45-58.jpg


Папка сохранения файлов - если не задана, то в папке, где расположен шаблон будет создана папка Profiles, и профили будут сохраняться в неё.
В папке Profiles создаются 2 подпапки Desktop и Mobile, для разных профилей соответственно.
На выходе получаем файлы вида (подпапка Desktop):

2020-01-31_17-50-13.jpg


Процент смены UserAgent - Задается с какой вероятностью в создаваемых шаблонах будет меняться UserAgent. 100% - будет меняться всегда. 0% - никогда.

Учитывать статистику UserAgent - В базе UserAgent некоторые строки попадаются чаще (популярный UserAgent), некоторые реже. Если включена опция Учитывать статистику UserAgent, то при случайном выборе популярные UserAgentы будут выпадать чаще, при отключенной опции всем строкам устанавливается одинаковый приоритет. Другими словами на момент написания текста самый частый браузер Windows Chrome 79. При включенной опции он будет выпадать чаще. Плюсы - статистика более правдоподобна, минусы - могут выпадать одинаковые версии несколько раз подряд. При отключенной опции Windows Chrome 79 будет выпадать подряд реже, но статистика менее правдоподобна.

Процент включения DoNotTrack - По тому включать или не включать в браузере параметр DoNotTrack есть много споров. С одной стороны если его включать это повышает анонимность, с другой стороны если у 100% включен DoNotTrack, то это подозрительно. Поэтому вероятность включения DoNotTrack вынесена в настройки. 100% - будет включен всегда. 0% - никогда. 50% будет включен 50/50.

Процент перегенерации плагинов - Несмотря, на то что в настройка ZP включена опция эмуляции плагинов. Плагины в браузере всегда создаются одни и те же.
2020-02-01_0-18-10.png

Шаблон генерирует свои плагины случайным образом. 100% - плагины будет перегенироваться всегда. 0% - никогда.
Пример плагин сгенерированных шаблоном:
49415


Как их видит whoer.net:
49416


Логи выполнения шаблона в ZP:
2020-01-31_17-45-17.jpg 2020-01-31_17-47-30.jpg

Строки Юзер-агентов из базы:
2020-01-31_17-07-26.jpg 2020-01-31_17-06-11.jpg

Стоимость: 1000р
Версия 1 более не продается. Актуальная версия 2, описание ниже.

Контакты

1. В приват на форуме
2. Телеграм https://t.me/senior_voronin
(это рабочий контакт, поэтому отвечаю в рабочие часы, ну и иногда вне рабочих часов)

Технические особенности:
Шаблон закрытый - права только на запуск.
 
Последнее редактирование:
  • Спасибо
Реакции: Андрейка2020

Oleg1987

Client
Регистрация
11.08.2014
Сообщения
1 161
Благодарностей
743
Баллы
113
Семь версий ZP, десять лет разработки, а шаблоны по генерации UA все еще актуальны((
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 683
Баллы
113

Voronin

Client
Регистрация
30.09.2019
Сообщения
76
Благодарностей
54
Баллы
18
Семь версий ZP, десять лет разработки, а шаблоны по генерации UA все еще актуальны((
В плане эмуляции свойств браузера ZP за долгие годы неплохо продвинулся, но вот многие параметры у него генерятся рандомно и в результате браузер становится слишком "уникальным".
UserAgent также генерится на основе паттернов, в итоге он вроде получается и уникальный, и в то же время такого билда браузера может и в природе не существовать. Некоторые антифрод системы на это обращают внимание, поэтому для лучшей эмуляции UA тянуть из статистики какого-нибудь сайта.
 

Voronin

Client
Регистрация
30.09.2019
Сообщения
76
Благодарностей
54
Баллы
18
под хром нормально уникализуется локальный адрес для WebRTC ?
У меня так:
1. Браузер Chrome, не Зеннопостер: Прокси не используется, WebRTC походу отключен.
2020-01-31_23-19-44.png


2. Зеннопостер. Движок Хром, Профиль 1 сгенерирован шаблоном:
2020-01-31_23-36-56.png


2. Зеннопостер. Движок Хром, Профиль 2 сгенерирован шаблоном:
2020-01-31_23-38-41.png
 

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 868
Благодарностей
1 114
Баллы
113
Норм, а ниче что в хроме в браузере у вас локального ip нет?
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 790
Благодарностей
5 683
Баллы
113

Oleg1987

Client
Регистрация
11.08.2014
Сообщения
1 161
Благодарностей
743
Баллы
113

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 868
Благодарностей
1 114
Баллы
113

Oleg1987

Client
Регистрация
11.08.2014
Сообщения
1 161
Благодарностей
743
Баллы
113
А вообще по поводу всеми любимого WebRTC - когда пилил свой регер гугла на реальном на реальном Chrome, по началу знаний не хватило как программно отключить его. Забил на это. На всех машинах был одинаковый ip, т.к. стоял VPN. Нарегал ~ 100 к. акков. И не чего, многие до сих пор живы
 

Voronin

Client
Регистрация
30.09.2019
Сообщения
76
Благодарностей
54
Баллы
18
Норм, а ниче что в хроме в браузере у вас локального ip нет?
В зеннопостере если включать эмуляцию WebRTC, то эмулируется несуществующая подстеть.
В случае моей реальной подсети Chrome может локальный IP не определить, у меня подсеть провайдера, а за ней подсеть wi-fi. Либо Chtome этих данных сайту browserleaks.com не передает. Поэтому n/a стоит.
Если в зеннопостере локальный IP в WebRTC не назначать будет та же картина:

49417
 
Последнее редактирование:

Sandman_89

Client
Регистрация
29.09.2016
Сообщения
10
Благодарностей
0
Баллы
1
Регистрация
26.05.2020
Сообщения
459
Благодарностей
163
Баллы
43
ТС, актуальна ли тема?
 
Регистрация
26.05.2020
Сообщения
459
Благодарностей
163
Баллы
43

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 304
Благодарностей
5 421
Баллы
113
@Voronin проявите активность в теме.
 

Voronin

Client
Регистрация
30.09.2019
Сообщения
76
Благодарностей
54
Баллы
18
ТС, актуальна ли тема?
Да, сделал обновление шаблона, под новый источник данных

Нет, шаблон закрытый, с правами на выполнение.

Отсутствовал здесь некоторое время. Всем кто писал в приват - отвечу.
 

antyspama

Client
Регистрация
13.07.2019
Сообщения
282
Благодарностей
111
Баллы
43
судя по весу профилей генератор не более чем генератор)
 

Voronin

Client
Регистрация
30.09.2019
Сообщения
76
Благодарностей
54
Баллы
18
судя по весу профилей генератор не более чем генератор)
Вес определятся данными, что ЗП пишет в профиль, у создаваемых профилей этот объем примерно одинаков всегда 10-15КБ. Профиль растет когда куки начинают нагуливать, но это уже совсем другая история©
 

Voronin

Client
Регистрация
30.09.2019
Сообщения
76
Благодарностей
54
Баллы
18
Шаблон обновился. Актуальная версия шаблона 2.0. Старая версия более не продается.

Что нового?

1. Обновилась концепция шаблона, теперь шаблон поставляется со своей базой UserAgent-ов. В базе только актуальные версии юзерагентов (данные за полгода). Текущий размер базы 209 876 строк. База будет регулярно обновляться раз в месяц. Обновления бесплатны.

В настройках шаблона теперь можно выбирать какой тип браузера и ОС генерировать. Проделана большая работа, чтобы всё это корректно работало - меняются не только значения юзерагента, но и остальные свойства Навигатора:

61019


Также можно указать свой файл со списком юзерагентов. Важно! В этом случае строка UserAgent будет выбираться рандомно из файла, выбор Браузеров/ОС не будут учитываться.

2. Добавлена возможность выбора языка (давно просили), в отличии от стандартного списка ZP - тут около 200 языков на выбор, включая экзотику

3. Переделана схема выбора IP в WebRTC, можно выбирать какой IP подставлять внешний, нулевой, или частная подсеть.

4. Набор шрифтов для каждого профиля уникализируется, чтобы менялся Fonts Fingerprint

5. Размер экрана подбирается под тип устройства/ОС. Была собрана своя база разрешений экрана, под популярные устройства для десктопа, планшетов и телефонов.

6. Плагины браузера в первой версии генерировались рандомно, сейчас алгоритм доработан: как показывает статистика у большинства реальных пользователей включен стандартный набор плагин. Поэтому он выбирается чаще. Для хрома Plugin Fingerprint подогнан под настоящий: Идея взята отсюда (https://zennolab.com/discussion/threads/uluchshaem-ehmuljaciju-profilej-zennoposter.79074/). Для тех типов браузеров, где плагинов нет, шаблон плагины не создает.

Окно настроек:

61020


Если коротко, то такие свойства браузера как эмуляция WebRTC, DoNotTrack и UseAddBlock будут выбираться рандомно с долей вероятности указанной в настройках. 100% означает что данный параметр будет активирован всегда, 0% никогда. 50% - означает 50/50.

В поле основной язык указывается – приоритетный язык. Если это не English, то к основному как правило добавляется English в качестве дополнительного.

IP в WebRTC можно выбирать какой IP подставлять внешний, нулевой, или частная подсеть.

Важно! В публичный IP подставляется текущий внешний IP, естественно его в дальнейшем при использовании профиля в своих шаблонах нужно будет менять на актуальный внешний адрес (ну вряд ли вы в своей работе всегда работаете под одним и тем же IP). Схема как менять прилагается. Хотя там без хитростей.

Многопоточный режим – добавляет рассинхронизацию в работу, чтобы шаблон стабильнее работал в многопотоке. Настройка экспериментальная, сделана как есть.

Цена шаблона изменилась: 2000р за безвременную лицензию. Но те, кто брал первую версию – обновление бесплатно. Забота о клиентах)) Напишите мне в ЛС, за обновлениями.

Технические особенности:

- шаблон закрытый, права только на запуск
- база тоже закрыта/зашифрована, увидеть внутренности не получится
- можно подключать свои файлы с юзерагентами
- тестировалось под 5.41.1.0 и под 7.1.4.0. Под остальными версиями тоже должно работать, если не очень древними.

Контакты:
1. ЛС на форуме
2. Телеграм https://t.me/senior_voronin
(это рабочий контакт, поэтому отвечаю в рабочие часы, ну и иногда вне рабочих часов)
 
Последнее редактирование:

Voronin

Client
Регистрация
30.09.2019
Сообщения
76
Благодарностей
54
Баллы
18
Дабы уменьшить число типовых вопросов в ЛС, собрал список часто задаваемых вопросов, здесь:

Для чего этот шаблон? Что он делает?

В первую очередь шаблон подменяет свойство UserAgent на значение от реального браузера/устройства. В стандартной Зенке, это свойство генериться по шаблону, поэтому результат может дать несуществующую версию браузера, плюс нередки случаи, когда вместо одного вида устройства получается совсем другое. На форуме есть ряд постов на эту тему:

https://zennolab.com/discussion/threads/generacija-levyx-ua-vmesto-mobilnyx.79880/
https://zennolab.com/discussion/threads/snova-pro-generaciju-profilja-useragent-v-zp.79299/
https://zennolab.com/discussion/threads/ne-nastraivaetsja-useragent.78787/
https://zennolab.com/discussion/threads/yabrowser-v-rezultatax-generacii-useragent-chrome.78790/
https://zennolab.com/discussion/threads/user-agent-posle-sutok-vypolnenija-sypetsja-vse-podrjad.81298/

Нужно ли его вообще менять?

Тут вопрос в том с какими сайтами в дальнейшем приходится работать. Если вы парсите каталог сделанный какими-нибудь любителями, то тогда всё равно насколько у вас ровный UserAgent. У владельцев такого сайта вряд ли есть ресурсы для анализа вашего юзерагента, и вас там не забанят.
Другое дело если вы работаете с такими монстрами как Яндекс, Гугл, ФБ или Инста. У них есть ресурсы анализировать всё и вся, и они всегда могут спалить вас на этом.

Если менять UA даст ли это гарантии, что теперь меня нигде не спалят?

Это всего лишь одно из свойств которое улучшает анонимность в глазах детект-систем. В конечном итоге немаловажно использование качественных прокси и то насколько анонимен ЗенноПостер в целом. Если в ЗП возникают/возникли дыры по которым его можно массово вычислять, то смена юзерагента уже не поможет. Аналогично сидеть за проксями, которые есть во всех спам-базах, даст отрицательный эффект, который правильным UA не исправить.

Также такие монстры как Яндекс и Гугл анализируют историю просмотров по наличию файлов куки. Для этого создаваемые профили нужно нагулять – прогнать по ряду сайтов, где есть счетчики Я.Метрики или Гугл.Аналитики. Например, если работать с накруткой ПФ, профили нужно обязательно нагулять. В функционал данного шаблона это не входит. Для нагуливания можете воспользоваться бесплатным шаблоном от Santorini:

https://zennolab.com/discussion/threads/sozdanie-i-progrevanie-profilej-nagulivanie-kuki-dlja-dalnejshix-registracij.70865/

Для накрутки ПФ у меня есть свой шаблон, в который входит нагуливатель.

Зачем этот шаблон, если актуальных юзерагентов можно нарыть в Интернете самому и менять их рандомно из списка? Да там 2 строчки кода!

Всё не так просто. У любого Браузера есть интерфейс Navigator, в котором есть ряд свойств (такие как Platform, AppName, Vendor, BuildID), которые отличаются в зависимости от типа Браузера. Их тоже нужно менять. Шаблон учитывает все эти зависимости, и строк кода становиться довольно много.

Подробно что такое интерфейс Navigator в официальной справке:

https://developer.mozilla.org/ru/docs/Web/API/Navigator

О том какие значения нужно брать в зависимости от браузера можно почитать здесь

https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-2.44575/

Скажу что там далеко не всё, много информации пришлось собирать на просторах Интернета.

И всё же, можно ли менять юзерагентов самому без вашего шаблона?

Да, даю бесплатный лайвхак:

Создаете свой шаблон, в котором заранее указываете ограничение на тип Браузера/ОС/Платформа. Например, Chrome/Windows/Desktop:

61025



ЗенноПостер заполняет свойства Navigator вполне правильно, во всяком случае в версиях 5.x. Далее вставляем кубик на c#:

C#:
project.Profile.UserAgent = [сюда ставить ваш UA]
для ФФ UserAgentAppVersion менять не нужно, для остальных браузеров также меняем следующим кодом:

C#:
project.Profile.UserAgentAppVersion = project.Profile.UserAgent.Replace("Mozilla/","");
Моя первая версия шаблона работала по похожему принципу, однако на каждую комбинацию Браузера/ОС/Платформа нужно пилить свой шаблон.

Что ещё умеет делать шаблон?

При разработке шаблона учитывались данные из этих тем:

https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-1.37703/
https://zennolab.com/discussion/threads/anonimnost-v-kazhdyj-zennoposter-ot-useragenta-do-shriftov-chast-2.44575/
https://zennolab.com/discussion/threads/uluchshaem-ehmuljaciju-profilej-zennoposter.79074/

Однако, первые две уже довольно устарели (2017 год), поскольку многое из того, что описано в этих темах уже есть в стандартной версии ЗенноПостер. Из третей позаимствована идея Plugin Fingerprint для Chrome и Fonts Fingerprint.

Нужен ли мне шаблон?

Решать вам. Все подробности описаны.

Можно ли взять на тест?

Тест пока не предусмотрен. Цена и так не велика.



Далее в рубрике “Лучшие вопросы от потенциальных клиентов” собрал самые любимые)):

Шаблон открытый?

Нет.

Я хочу допилить шаблон для себя, можно ли всё-таки взять в открытом виде?

Нет.
Результат работы шаблона – генерируемый профиль. Если хотите этот профиль улучшить, просто пишите свой шаблон для этого.

И всё же можно ли его получить в открытом виде?

Нет.
Если код шаблона открыт, то его можно скопипастить и сделать свой шаблон аналог. И продавать здесь же. По сути для автора открытый код шаблона - это забыть о продаже шаблона.

Да не буду я копипастить шаблон. Просто мне так удобнее.

Охотно верю, но нет.


По мере новых вопросов буду топик дополнять…
 
Последнее редактирование:

bekas

Client
Регистрация
08.04.2011
Сообщения
93
Благодарностей
6
Баллы
8
Огромное спасибо за версию 2.0. Проделана большая работа от первой версии. Чего стоит включение и отключение плагинов в профиле браузера когда это нужно или нет, полное совпадение размеров экранов и активной области браузера с эмулируемым устройством, теперь полный набор языков (accept_languages) для буржа. Вобщем, ботоводам must have!
 
  • Спасибо
Реакции: antyspama

antyspama

Client
Регистрация
13.07.2019
Сообщения
282
Благодарностей
111
Баллы
43
а версия 2 тоже цена 1000р чето не увидел???
 

andropovleva

Client
Регистрация
23.11.2019
Сообщения
545
Благодарностей
35
Баллы
28
Всем привет!

Предлагаю свой шаблон по генерации профилей zpprofile.
Точнее говоря набор из двух шаблонов - первый шаблон заточен под генерацию профилей Desktop устройств, второй для профилей мобильных устройств.

В шаблонах "допилены" многие нюансы уникализации создаваемых профилей, на основе информации из разных веток этого форума. А именно:

- С интернета подтягивается база актуальных UserAgent-ов, которые рандомно подставляется в профиль. При этом учитывается ОС и Браузер созданного шаблона. Т.е. если Зеннопостер сгенерировал шаблон для Windows-Chrome, то будет подставлен актуальный UserAgent для Windows-Chrome, если сгенерирован шаблон для MacOS-Safari, то подставляется UserAgent для MacOS-Safari. База обновляется ежедневно и содержит ~ 7000 строк актуальных UserAgent-ов.

- Уникализуется локальный адрес для WebRTC

- Уникализуется набор плагинов браузера.

- Рандомно включается DoNotTrack.

Настройки шаблонов:

Посмотреть вложение 49394

Папка сохранения файлов - если не задана, то в папке, где расположен шаблон будет создана папка Profiles, и профили будут сохраняться в неё.
В папке Profiles создаются 2 подпапки Desktop и Mobile, для разных профилей соответственно.
На выходе получаем файлы вида (подпапка Desktop):

Посмотреть вложение 49395

Процент смены UserAgent - Задается с какой вероятностью в создаваемых шаблонах будет меняться UserAgent. 100% - будет меняться всегда. 0% - никогда.

Учитывать статистику UserAgent - В базе UserAgent некоторые строки попадаются чаще (популярный UserAgent), некоторые реже. Если включена опция Учитывать статистику UserAgent, то при случайном выборе популярные UserAgentы будут выпадать чаще, при отключенной опции всем строкам устанавливается одинаковый приоритет. Другими словами на момент написания текста самый частый браузер Windows Chrome 79. При включенной опции он будет выпадать чаще. Плюсы - статистика более правдоподобна, минусы - могут выпадать одинаковые версии несколько раз подряд. При отключенной опции Windows Chrome 79 будет выпадать подряд реже, но статистика менее правдоподобна.

Процент включения DoNotTrack - По тому включать или не включать в браузере параметр DoNotTrack есть много споров. С одной стороны если его включать это повышает анонимность, с другой стороны если у 100% включен DoNotTrack, то это подозрительно. Поэтому вероятность включения DoNotTrack вынесена в настройки. 100% - будет включен всегда. 0% - никогда. 50% будет включен 50/50.

Процент перегенерации плагинов - Несмотря, на то что в настройка ZP включена опция эмуляции плагинов. Плагины в браузере всегда создаются одни и те же.
Посмотреть вложение 49414
Шаблон генерирует свои плагины случайным образом. 100% - плагины будет перегенироваться всегда. 0% - никогда.
Пример плагин сгенерированных шаблоном:
Посмотреть вложение 49415

Как их видит whoer.net:
Посмотреть вложение 49416

Логи выполнения шаблона в ZP:
Посмотреть вложение 49396 Посмотреть вложение 49397

Строки Юзер-агентов из базы:
Посмотреть вложение 49398 Посмотреть вложение 49399

Стоимость: 1000р
Версия 1 более не продается. Актуальная версия 2, описание ниже.

Контакты

1. В приват на форуме
2. Телеграм https://t.me/senior_voronin
(это рабочий контакт, поэтому отвечаю в рабочие часы, ну и иногда вне рабочих часов)

Технические особенности:
Шаблон закрытый - права только на запуск.
Автор отзовись, хочу купить))
 
  • Спасибо
Реакции: antyspama

andropovleva

Client
Регистрация
23.11.2019
Сообщения
545
Благодарностей
35
Баллы
28
Кто автору писал? Он отвечает?
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 304
Благодарностей
5 421
Баллы
113

andropovleva

Client
Регистрация
23.11.2019
Сообщения
545
Благодарностей
35
Баллы
28
Всё ок! Продавец вышел на связь, шаблон купил. Шаб работает хорошо, со своими задачами справляется.
 

antyspama

Client
Регистрация
13.07.2019
Сообщения
282
Благодарностей
111
Баллы
43

Voronin

Client
Регистрация
30.09.2019
Сообщения
76
Благодарностей
54
Баллы
18
Отвечаю) Иногда даже быстро.
Но сейчас много задач на основной работе, до форума руки не доходят, как ни крути шаблоны это хобби.

а версия 2 тоже цена 1000р чето не увидел???
Про стоимость писал в теме об обновлении:

Цена шаблона изменилась: 2000р за безвременную лицензию. Но те, кто брал первую версию – обновление бесплатно. Забота о клиентах)) Напишите мне в ЛС, за обновлениями.
 
  • Спасибо
Реакции: lbvf65

Vegetable

Client
Регистрация
03.03.2011
Сообщения
9
Благодарностей
39
Баллы
13
Voronin Добрый день, написал вам в телеграм, но вы не выходите на связь. Подскажите софт еще актуальный, продается?
 

Enrof

Client
Регистрация
09.06.2020
Сообщения
29
Благодарностей
4
Баллы
3
Voronin Добрый день, написал вам в телеграм, но вы не выходите на связь. Подскажите софт еще актуальный, продается?
Он уже с октября на форуме не появляется, шаб то работает то нет, сегодня вообще перестал работать, пишет ошибка - проверки лицензии.

И судя по всему, не предвидится обновлений)))
 
  • Спасибо
Реакции: jekyll1911 и antyspama
Статус
Закрыто для дальнейших ответов.

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)