крайне мало живых соксов

gamepad

Новичок
Регистрация
09.10.2015
Сообщения
20
Благодарностей
22
Баллы
3
Добрый день
делал тикет вам, но он уже сутки висит, без ответа.... надеюсь тут побыстрее будет

скачал демку, тестирую, но не совсем понятны некоторые моменты. Ниже я привожу конкретные цифры, и буду вам признателен, если вы мне ответите исходя из моих цифр, т.к. это важно. Меня интересуют только соксы, и речь о них в первую очередь

Чекер скачивает соксы с моего подписного платного листа, а так же ищет в интернете, составляет базу проксей - это всё хорошо. Далее эта база дополняется новыми найденными проксями и ВНОВЬ скаченными соксами с подписного листа. Затем идёт проверка по этой ДОПОЛНЕННОЙ и ОБНОВЛЁННОЙ базе. За несколько часов база разрослась до размера 160к проксей и видимо, это далеко не предел...
Я устанавливаю время обновления базы свежими соксами из моего платного листа - каждые 10 минут. И из найденных в инете листов, например 60 минут.

вопрос первый
мне нужно чтобы чекалось только на принадлежность к соксам, т.к. прокси меня не интересуют. В свойствах источника я могу выбрать - автоматом, хттп, сокс4 или сокс5. Почему нельзя сделать так, чтобы у меня чекалось сразу на сокс4 и на сокс5??
Иначе вся эта огромная база чекается либо автоматом и проверяет все три протокола, либо только сокс4 либо 5 и времени тратиться много и бессмысленно....

Второй вопрос - каждый раз, когда находятся новые прокси, удаляются ли дубли в обновлённой базе? Удаляются ли они только по ИП или по порту тоже? Т.е. прокся вида 1.1.1.1:1111 и 1.1.1.1:2222 будет ли считаться дублем или нет - ИП одинаковый, а порты разные.
насколько я мог заметить, ваша программка дубли не удаляет, т.к. в выдаче живых проксей есть повторения по ИП. И почему у вас порт в выдаче не виден??

Третий вопрос
заметил такое - в уже проверенном живом списке например есть 800 соксов, внимание - именно соксы, а не прокси. Живой список собирается 2-3 часа. Я активировал "Очищать список" и поставил время жизни 20 минут. У меня автоапдейт с платного листа стоит 10 минут, в этом листе гарантированно 300-400 живых СОКСОВ абсолютно точно есть, и остальные 400-500 соксы это насканированные с интернета. Тогда по идее, у меня живой лист должен раз в 20 минут проверяться и его объём должен быть 300-500 соксов постоянно. Но такой объём никогда не бывает, в основном размер всего лишь 50-100 соксов, чего быть ну никак не может....Почему так?
я правильно понимаю алгорим работы - есть база живых проксей, она раз в 20 минут ОЧЕНЬ БЫСТРО и в ПЕРВУЮ очередь перепроверяется, а затем проверяются все остальные прокси из базы. так ли это? Если так, то такое крайне малое количество живых соксов на выходе оооочень удивляет.
чекаю другими чекерами свой платный лист - всё отлично, там заявленное количество живых 300-400 есть всегда. использую для проверки четыре!! разных чекера, три онлайн-чекера - все показывают примерно один и тот же результат 300-400 штук. Ваш показывает 40-60 штук.

Четвёртый вопрос.
вот есть уже собранная база из 160к проксей, она тоже постоянно проверяется? раз в час или два часа? как это время установить?

Пятый вопрос.
Работает чекер допустим, неделю, за это время может насобираться база в 4-5 миллионов проксей, и эта база будет так же постоянно проверяться? сколько времени будет требоваться на проверку такой базы, учитывая что сервер, где установлен чекер мощный с отличным каналом. Примерно плюс-минус

тесты проводил на трёх различных серверах, на двух локальных компах, с разными конфигами и системами в разных локациях. Системы - виндос сервер 2012 либо виндос-7. Железо везде мощное, памяти от 10Гб, канал 100-1Гб. Везде последние обновления, NET4.5 и т.п. присутствует.
Зеночекер переуставлял, сносил, чистил реестр - картина везде одна и та же

Спасибо за ответы
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
Сорь, приболел я. Вчера не на все тикеты меня хватило)
мне нужно чтобы чекалось только на принадлежность к соксам, т.к. прокси меня не интересуют. В свойствах источника я могу выбрать - автоматом, хттп, сокс4 или сокс5. Почему нельзя сделать так, чтобы у меня чекалось сразу на сокс4 и на сокс5??
Оставьте "Все". Это не сильно увеличивает время проверок, потому что проверке подвергаются только те прокси, корторые на первичный сокет коннект ответили положительно. То есть сначала мы выяснили что прокся живая, потом проверяем ее на http? если она http то дальше проверка не идет и она попадает в список живых как http. если не http, то начинается проверка на socks4 и тд.
Второй вопрос - каждый раз, когда находятся новые прокси, удаляются ли дубли в обновлённой базе? Удаляются ли они только по ИП или по порту тоже? Т.е. прокся вида 1.1.1.1:1111 и 1.1.1.1:2222 будет ли считаться дублем или нет - ИП одинаковый, а порты разные.
насколько я мог заметить, ваша программка дубли не удаляет, т.к. в выдаче живых проксей есть повторения по ИП. И почему у вас порт в выдаче не виден??
это только в демке так. в лицензии порты видны. прокси с одним ip, но разными портами считаются разными.
Третий вопрос
заметил такое - в уже проверенном живом списке например есть 800 соксов, внимание - именно соксы, а не прокси. Живой список собирается 2-3 часа. Я активировал "Очищать список" и поставил время жизни 20 минут. У меня автоапдейт с платного листа стоит 10 минут, в этом листе гарантированно 300-400 живых СОКСОВ абсолютно точно есть, и остальные 400-500 соксы это насканированные с интернета. Тогда по идее, у меня живой лист должен раз в 20 минут проверяться и его объём должен быть 300-500 соксов постоянно. Но такой объём никогда не бывает, в основном размер всего лишь 50-100 соксов, чего быть ну никак не может....Почему так?
я правильно понимаю алгорим работы - есть база живых проксей, она раз в 20 минут ОЧЕНЬ БЫСТРО и в ПЕРВУЮ очередь перепроверяется, а затем проверяются все остальные прокси из базы. так ли это? Если так, то такое крайне малое количество живых соксов на выходе оооочень удивляет.
чекаю другими чекерами свой платный лист - всё отлично, там заявленное количество живых 300-400 есть всегда. использую для проверки четыре!! разных чекера, три онлайн-чекера - все показывают примерно один и тот же результат 300-400 штук. Ваш показывает 40-60 штук.
Обратите внимание на эти таймауты
1) https://i.gyazo.com/eef08de5e444408354093f0eb5b9f18b.png через этот интервал времени прокси удалится из живого списка и перейдет ко второму пункту
2) https://i.gyazo.com/6f760b8bccd2d467662652acdb66065f.png - затем удаленные прокси будут проверяться исходя из интервала повторной проверки (5 мин на скрине). то есть после шага 1 проверяется шаг 2 и вычисляется когда эту проксю надо перепроверить.

Теперь об очереди проверки прокси: у всех прокси есть свой внутренний рейтинг. Если прокся была уже живой, то у нее рейтинг выше чем у новых непроверенных проксей и мертвых.
Сначала будут проверяться они, потом, если у чекера есть свободные потоки. будут проверяться новые (непроверенные), потом, если у екера есть потоки будут перепроверятся мертвые.
То есть чек при большой базе работает постоянно.
Четвёртый вопрос.
вот есть уже собранная база из 160к проксей, она тоже постоянно проверяется? раз в час или два часа? как это время установить?
см пункт 2
 

gamepad

Новичок
Регистрация
09.10.2015
Сообщения
20
Благодарностей
22
Баллы
3
спасибо за ответы!
по всем понятно, кроме третьего
Обратите внимание на эти таймауты
1) https://i.gyazo.com/eef08de5e444408354093f0eb5b9f18b.png через этот интервал времени прокси удалится из живого списка и перейдет ко второму пункту
2) https://i.gyazo.com/6f760b8bccd2d467662652acdb66065f.png - затем удаленные прокси будут проверяться исходя из интервала повторной проверки (5 мин на скрине). то есть после шага 1 проверяется шаг 2 и вычисляется когда эту проксю надо перепроверить.

Теперь об очереди проверки прокси: у всех прокси есть свой внутренний рейтинг. Если прокся была уже живой, то у нее рейтинг выше чем у новых непроверенных проксей и мертвых.
Сначала будут проверяться они, потом, если у чекера есть свободные потоки. будут проверяться новые (непроверенные), потом, если у екера есть потоки будут перепроверятся мертвые.
То есть чек при большой базе работает постоянно.
см пункт 2
по первому скрину, у меня стоит 20 минут, т.к. соксы дохнут быстро и нужно ставить время минимальное, чтобы живой лист был более менее реально живым.
по второму скрину, стоят такие же цифры.
т.е. по настройкам у меня всё как у вас, и в действительности у меня живых соксов намного меньше, чем у других прокси-чекеров. использую для проверки четыре!! разных чекера и три онлайн-чекера - все показывают примерно один и тот же результат 300-400 штук. Ваш показывает 40-60 штук.
вот почему так?
 

gamepad

Новичок
Регистрация
09.10.2015
Сообщения
20
Благодарностей
22
Баллы
3

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
А как часто прокси меняются в списке платном?
 

gamepad

Новичок
Регистрация
09.10.2015
Сообщения
20
Благодарностей
22
Баллы
3
раз в 10 минут чекаются на стороне продавца и выдаются мне уже рабочие
в вашем чекере стоит автообновление 10 минут, ставил 20 минут так же...
в других чекерах, в которых проверяю этот же платный лист, так же ставил автообновление 10 минут.
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
Если на стороне продавца выдаются новые прокси, то они ничем не отличаются от новых непроверенных из паблик источников. Поэтому они не начинают проверяться быстрее чем новые из паблика. Поэтому я так понимаю вы видите просадку в количестве
 

gamepad

Новичок
Регистрация
09.10.2015
Сообщения
20
Благодарностей
22
Баллы
3
к сожалению, нет, не поэтому
я пробовал загрузить в чекер только свой лист без автопоиска, пробовал разные таймауты автозагрузки, проверки, всё равно, из 500-600 соксов живыми показываются только 40-50
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
Пришлите нам ваш список, посмотрим.
 

gamepad

Новичок
Регистрация
09.10.2015
Сообщения
20
Благодарностей
22
Баллы
3
отправил на rostonix==gmail.com
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)