Заходим на сайт максимально безопасно + Бонус x2

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
Не для кого не секрет, что заход на сайт любого сервиса, тем более, имеющего ИИ и не просто отслеживающего ваши входные параметры (страна, юзерагент и т.д), но и принимающие решения дать вам на нем что-то делать или нет, представляет некоторые сложности.

На форуме уже было размещено несколько статей по данной тематике, но не было единого рецепта. Я предлагаю вам готовый кейс, с помощью которого вы будете входить на большинство сайтов как обычный пользователь, вне зависимости от расположения вас и вашего прокси (ну если он не совсем гаVно, а это случается к сожалению очень часто).

В процесе эволюции, даное решение из монстрообразного превратилось в компактное и понятное, которое легко интегрируется в любой шаблон, достаточно перетащить кубики и импортировать входящие настройки. Понятное дело, что его полностью можно реализовать одним кубиком, но это цель ближайшего будущего.






Скрин Настроек




Итак, давайте по порядку, что же делает наш шаблон

0. Закрывает вкладки, очищает куки и кэш. Я эти параметры отключил, т.к. при загрузки нового инстанса он все это делает по умолчанию. Но я оставлю это здесь, мало ли, вдруг кто то совсем захочет попараноить.​


C#:
//instance.CloseAllTabs(); // Закрываем все вкладки браузера
//instance.ClearCache(); // Очищаем кэш
//instance.ClearCookie(); // Очищаем куки
1. Выбирает источник прокси из необходимых параметров и установка его. С помощью данного пункта я устанавливаю источник прокси, просто выбирая из выпадающего списка, откуда мне необходимо их брать,​
(Строка прокси для одиночных проксей или программ типа проксификатора)​



C#:
//switch
if (project.Variables["proxy_doo"].Value == "Без прокси") {return "true";}
if (project.Variables["proxy_doo"].Value == "Файл прокси") {
IZennoList list = project.Lists["proxy_file"];
int rnd = new Random().Next(0, list.Count);
project.Variables["proxy"].Value = list.ElementAt(rnd);
}
if (project.Variables["proxy_doo"].Value == "Строка прокси") {
    project.Variables["proxy"].Value = project.Variables["proxy_string"].Value;
}
if (project.Variables["proxy_doo"].Value == "Из проксичекера") {
    project.Variables["proxy"].Value = ZennoPoster.GetProxy(project.Variables["proxy_cheker_rule"].Value, true);
}

//else {return null;}

//Установить прокси
instance.SetProxy(project.Variables["proxy"].Value);

instance.UsePlugins = false; //Выключить Flash
instance.SetBrowserPreference("network.proxy.socks_remote_dns", true); // Скрытие DNS

// Установка локального IP в WebRTC
string ipLocal = "192.168.{0}.{1}";
ipLocal = String.Format(ipLocal, Global.Classes.rnd.Next(2), Global.Classes.rnd.Next(2, 255));
// 1-й параметр - локальный IPv4, 2-й - IPv6, 3-й - внешний IPv4, 4-й - режим работы WebRTC
instance.SetWebRTCAdresses(ipLocal, null, project.Variables["IP"].Value, ZennoLab.InterfacesLibrary.Enums.Browser.WebRTCMode.Emulate);
Пункты выключения Flash, Скрытие DNS и эмуляция WebRTC дают нам плюс к безопасности, не пренебрегайти этими пунктами. Так же можете добавить сюда то, что считаете нужным спрятать, либо сэмулировать.

2. Чекаем прокси на валидность. В этом нам помогают сервера зеннолаба: http://check.zennolab.com/proxy.php Можно использовать любой сервис на ваше усмотрение, главное. чтобы в теле GET ответа был IP прокси (первый), он будет спаршен регулярным выражением. Если IP не найден, то скорее всего качество прокси оставляет желать лучшего и по красной ветке вы будите снова перекинуты на пункт 1. И так, пока не будет найден по настоящему рабочий прокси.​
Кстати, IP адрес вам может пригодиться где нибудь в теле вашего будущего шаблона.​


C#:
//Чекаем прокси

//Get на URL
var content = ZennoPoster.HttpGet(project.Variables["proxy_ip_service"].Value,project.Variables["proxy"].Value,"UTF-8",ZennoLab.InterfacesLibrary.Enums.Http.ResponceType.HeaderAndBody,3000);
project.Variables["IP"].Value = content;

// парсим IP
string text = project.ExecuteMacro(project.Variables["IP"].Value);
project.Variables["IP"].Value = Macros.TextProcessing.Regex(text, @"([0-9]{1,3}[\.]){3}[0-9]{1,3}", "0")[0].FirstOrDefault();

//Проверяем на отсутствие пустой переменной
if (project.Variables["IP"].Value != "") {return "true";}
else {return null;}

3. Получаем SCORE от сервиса www.ipqualityscore.com (не реклама). Как получить API ключ читайте в бонусной части № 1. Я зарегистрировал их сразу 30 штук и выбираю рандомный из списка, т.к. бесплатно дают юзать всего 5000 запросов в месяц, а нам нужно их мульён! Можно конечно купить один и не париться, но это не наш метод.​

C#:
IZennoList list = project.Lists["ipqualityscoreApiKey"];
int rnd = new Random().Next(0, list.Count);
project.Variables["ipqualityscoreApiKey"].Value =  list.ElementAt(rnd);

//Получить SCORE
var content = ZennoPoster.HttpGet("https://www.ipqualityscore.com/api/xml/ip/" + project.Variables["ipqualityscoreApiKey"].Value + "/" + project.Variables["IP"].Value,project.Variables["proxy"].Value,"UTF-8",ZennoLab.InterfacesLibrary.Enums.Http.ResponceType.BodyOnly,5000);
project.Variables["xml"].Value = content;

// Текст для обработки
string text = project.ExecuteMacro(project.Variables["xml"].Value);
project.Variables["xml"].Value = Macros.TextProcessing.Replace(text, "\t", "", "Text", "All");
project.Variables["xml"].Value = Macros.TextProcessing.Replace(text, "\n", "", "Regex", "All");

string test = project.Variables["xml"].Value; //данные в xml, например: {"message":8,"contact":1}
project.Xml.FromString(test); //Распаршивание данных xml в переменные зеннопостера (вкладка Xml)

// Установка timezone
instance.SetIanaTimezone(project.Xml.result.timezone.Value);

Фишка данного сервиса в том, что он отдает максимальное количество данных о загруженном прокси, которые можно использовать в работе. Лично для меня важны три параметра:

  • result.timezone
  • result.fraud_score
  • result.proxy (в данном шаблоне не используется)

Если в настройках было выбрано чекать SCORE прокси, то путем сравнения параметров из выпаршеного с заданными вы пойдете по зеленой ветке в случае соответствия, либо по красной, в случае, если данные не совпадают и вы снова попадете на пункт 1, пока не будет выбран по настоящему качественный прокси.


Пример 1: result.fraud_score = ‘85’ (это достаточно большой SCORE, скорее всего IP уже засветился во многих Fraud базах), в настройка стоит 15 = кубик IF отрабатывает по красной ветке к пункту 1.

Пример 2: result.fraud_score = ‘’ (сайт глюканул или API ключ не валиден и соответственно не отдал нам данные xml), в настройка стоит 15 = кубик IF отрабатывает по красной ветке к пункту 1.

Пример 3: result.fraud_score = ‘0’ (это максимально низкий показатель прокси SCORE), в настройка стоит 15 = кубик IF отрабатывает по зеленой ветке.


Ну и конечно же, устанавливаем TimeZone, иначе будет конкретная лажа.


Скрин спаршеного ответа сервиса в xml




Параметров сервис отдает достаточно для максимальной сверки и выборки, можно все их проверять на соответствие но это будет уже избыточно, даже при таком раскладе тот же вхоер падает на две лопатки. Все остальное упирается в качество эмуляции самой зенки.





ИТОГ: Всего три основных кубика с кодом, вперемешку с IF’ами дадут нам точку входа, после которых многие сервисы начнут нас пропускать как родных. Ну дальше уже дело за вами и тем, как вы эмулируете свой ПФ на конкретном сайте. А это уже тема отдельной статьи



БОНУС № 1 Как получить API ключ сервиса https://ipqualityscore.com
  1. Идем на старницу регистрации https://www.ipqualityscore.com/create-account
  2. Заполняем емаил и пароль (емаил rambler.ru прекрасно подходят) -> Далее
  3. Заполняем Имя, Фамилию, вымышленный телефон, откуда вы узнали о сервисе, и какую нибудь белиберду -> Далее
  4. Идем на страницу https://www.ipqualityscore.com/documentation/proxy-detection/overview и получаем ваш API ключ, использование которого вам позволит сделать до 5000 запросов в месяц.
  5. Повторяем пункты 1-4 до достижения необходимого количества API ключей.
  6. Складываем их в файлик: одна строка - один ключ


БОНУС № 2 Делюсь рецептом, как в кратчайший срок прокачать скилл написания шаблонов на Zennoposter

Идете на любой сайт фриланса, регистрируетесь, ищите все задачи по запросам:
  • zennoposter
  • Ссылки
  • Трафик
  • Парсер
  • Базы данных и клиентов
  • Доски объявлений
  • Скрипты и боты
...и начинаете набрасывать шаблоны. Не для предоставления своих услуг, а для того, чтобы набить руку. Качество шаблонов, элегантность кода и другие нюансы отбрасываете на второй план, главное, результат, который ставит заказчик.

Все равно вам на первых порах не переплюнуть качество исполнения профессиональных фрилансеров, которые делают шаблоны уже несколько лет, вам это не нужно, вам нужно набить руку! Занимаетесь этим делом, пока не придете к пониманию того, что теперь и вы можете составить конкуренцию и предложить конкурентную цену, либо, пока не найдете свою тему. А на сайтах фриланса эти темы заказчики и выкладывают как говорится в паблик, описывая все по шагам в техническом задании, вам останется только взять ее и воплотить в жизнь, а Zennoposter вам в этом поможет.

PS: Некоторые вещи в данном шаблоне уже многим известны и по честному взяты из тем с данного форума, однако я не полениялся и собрал это все воедино для своего и теперь вашего удобства.

Во вложении шаблон с входящими настройками.
 
Тема статьи
Другое
Номер конкурса статей
Двенадцатый конкурс статей

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

deskuznetsov

Client
Регистрация
29.08.2019
Сообщения
520
Благодарностей
356
Баллы
63
Спасибо, у меня подобный шаблон есть (на проверку и включение прокси) и всегда когда пишу новый шаблон, начинаю именно с подобного шаблона и дальше уже пишу что надо. Теперь буду твой использовать шаблон в качестве стартового листа.
 
  • Спасибо
Реакции: Gooldbee и zarufakis

Sanekk

Client
Регистрация
24.06.2016
Сообщения
987
Благодарностей
388
Баллы
63
тоже подобную заготовку юзаю тоько без сервиса score)
пробивал параметр score на мобильных проксях, что показывает , часто зашкаливает? Щас нет под рукой мобильных
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
пробивал параметр score на мобильных проксях, что показывает , часто зашкаливает?
Пару раз пробивал, вроде нормально.
Скорее всего хостуру прокси нужно чаще симки менять))
 

Шива

Client
Регистрация
05.02.2018
Сообщения
1 084
Благодарностей
339
Баллы
83
Какая роботность в яндекс метрике с таким подходом?
 

pars

Пользователь
Регистрация
10.12.2016
Сообщения
78
Благодарностей
41
Баллы
18
  • Спасибо
Реакции: specialist и zarufakis

semafor

Client
Регистрация
27.12.2016
Сообщения
289
Благодарностей
399
Баллы
63
Теперь без чего-то подобного и в инет вылазить смысла нет ))
А вот за https://ipqualityscore.com спасибо! Инфа для размышлений, она лишней не бывает...
 

Шива

Client
Регистрация
05.02.2018
Сообщения
1 084
Благодарностей
339
Баллы
83
практика показывает что метрике важнее пф чем прокси
Я вас о чем то спрашивал?
Зачем вы отвечаете на мое сообщение?
Если сообщение без конкретного цитирования то оно адресовано автору темы, а не вам.
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
Какая роботность в яндекс метрике с таким подходом?
Роботность не тестил, но логика подсказывает, что на нее в большей мере влияет действия, алгоритм поведения на сайте, а не качество эмуляции того. либо иного параметра.
 

seregakot

Client
Регистрация
19.03.2016
Сообщения
126
Благодарностей
62
Баллы
28
@zarufakis
Спасибо за шаблон
У меня что то прокси ставятся , но Ip отдает домашний
И почему то когда тестировал на домашнем такая картина
2019-12-09_20-18-55.png


Что делаю не так ?
 

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 868
Благодарностей
1 112
Баллы
113
@zarufakis
Спасибо за шаблон
У меня что то прокси ставятся , но Ip отдает домашний
И почему то когда тестировал на домашнем такая картина
Посмотреть вложение 45618

Что делаю не так ?
С генерацией языков есть проблема, можете свои подставлять, днс в хроме полностью не скрывается
 

DenisK

Client
Регистрация
28.06.2016
Сообщения
591
Благодарностей
288
Баллы
63

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
У меня что то прокси ставятся , но Ip отдает домашний
Что бы не вылезал домашний, нужно делать сверку переменной "IP" с локальным айпишником и если совпадают - снова к пункту 1.
 

dimafatality

Client
Регистрация
19.01.2014
Сообщения
266
Благодарностей
254
Баллы
63
  • Спасибо
Реакции: zarufakis

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113

mrtvvister

Client
Регистрация
19.05.2019
Сообщения
5
Благодарностей
2
Баллы
3
Круто, благодарю! думал как раз писать:-)
 
  • Спасибо
Реакции: zarufakis
Регистрация
13.04.2016
Сообщения
650
Благодарностей
52
Баллы
28
спасибо! но как это прикрутить к моему проекту?
как импортировать настройки в мои настройки?
можно сделать шаб без настроек??? зачем они нужны? положить пару файлов с прокси http,socks и упростить всё это...
я к примеру не соображаю в коде, НО ООООЧЕНЬ ИНТЕРЕСНО))))))
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
спасибо! но как это прикрутить к моему проекту?
как импортировать настройки в мои настройки?
1. В настройках моего шаблона делаете экспорт настроек
2. В настройках вашего делаете импорт.
3. PROFIT!

46264
 
  • Спасибо
Реакции: Анатолий
Регистрация
13.04.2016
Сообщения
650
Благодарностей
52
Баллы
28
1. В настройках моего шаблона делаете экспорт настроек
2. В настройках вашего делаете импорт.
3. PROFIT!
поставил 1 выполнение без прокси - шаблон просто зациклился...
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
Регистрация
13.04.2016
Сообщения
650
Благодарностей
52
Баллы
28
Последнее редактирование:
Регистрация
13.04.2016
Сообщения
650
Благодарностей
52
Баллы
28

Babulia

Client
Регистрация
18.11.2018
Сообщения
14
Благодарностей
6
Баллы
3
Делал подобный шаблон под 1 сайтец. При выводе битка постоянно акки лочили. Попробую твоим)) но делал все как показывает 100% после входил на сайт прокатывало 1 из 5 после что-то опять они поменяли на сайте теперь прокатывает 1 из 30. Попробую на твоём если получится с меня причитается).
 
  • Спасибо
Реакции: zarufakis

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 868
Благодарностей
1 112
Баллы
113
прочекал пачку загаженных приватов, часто такая ошибка:
Это баг последней версии, используйте C# для навигации по сайтам
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
Делал подобный шаблон под 1 сайтец. При выводе битка постоянно акки лочили. Попробую твоим)) но делал все как показывает 100% после входил на сайт прокатывало 1 из 5 после что-то опять они поменяли на сайте теперь прокатывает 1 из 30. Попробую на твоём если получится с меня причитается).
Если сайт читает твой ПФ, то мое решение может не спасти, нужны радикальные меры
 

awm

Client
Регистрация
02.11.2011
Сообщения
159
Благодарностей
43
Баллы
28
Спасибо, отличный шаблон все в одном. Самое интересное обнаружилось что FraudScore очень высокий и на покупных проксях, а уж в паблик проксях и подавно. У меня покупные прокси из двух разных сервисов fraudscore 80-90%, чекнул несколько айпи из nordvpn тоже оказалось все печально. Получается относительно чистые прокси найти не просто.
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 511
Благодарностей
873
Баллы
113
Спасибо, отличный шаблон все в одном. Самое интересное обнаружилось что FraudScore очень высокий и на покупных проксях, а уж в паблик проксях и подавно. У меня покупные прокси из двух разных сервисов fraudscore 80-90%, чекнул несколько айпи из nordvpn тоже оказалось все печально. Получается относительно чистые прокси найти не просто.
За относительно чистые прокси нужно платить относительно большие деньги, а это не тема данной статьи ))
 

gomoney

Client
Регистрация
27.09.2009
Сообщения
124
Благодарностей
36
Баллы
28
нормальная тема, только по пункту 2.
Чекаем прокси на валидность. В этом нам помогают сервера зеннолаба: http://check.zennolab.com/proxy.php Можно использовать любой сервис на ваше усмотрение
при использовании любого сервиса вас как раз и палят системы антифрода.
не стоит с новой прокси бежать на тот же хуер на перерез.
 
  • Спасибо
Реакции: Valandersi

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 868
Благодарностей
1 112
Баллы
113
нормальная тема, только по пункту 2.

при использовании любого сервиса вас как раз и палят системы антифрода.
не стоит с новой прокси бежать на тот же хуер на перерез.
Дело говоришь надо после чека проксей куки и кэш очищать
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)