проксичекер

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
хорошо бы было усовершенствовать алгоритм авто-поиска источников, а именно:
1. добавить возможность автонахождения и автодобавления рсс-лент форумов, рсс отдельных постов, отдельных категорий форумов, рсс блогов, где публикуются прокси;
2. добавить возможность выгрузки прокси в файл;
3. добавить возможность подстановки в урл списка прокси регулярок и дат. многие ресурсы выдают свежие списки прокси в урл которых меняется только дата, если подставлять каждый день текущую дату будет то, что надо
4. добавить возможность обработки контента на странице для получения списка прокси, в частности, нажатие определенной кнопки, кнопок, желательно было бы также возможность разгадывания капи перед нажатием кнопки. многие ресурсы выдают прокси только после ввода капчи, или нажатия на кнопку, или переход по страницам происходит только после нажатия, при этом урл не меняется.
5. сделать более адекватный и прозрачный рейтинг источников прокси. в нынешнем виде я абсолютно не понимаю принципов формирования рейтинга. так, четыре звезды получают многие ресурсы, на которых нет ни одного живого прокси, три и две звезды получают ресурсы, на которых есть живые прокси. вообще может уйти от звездности? это только запутывает при таком подходе. лучше сделать в цифрах соотношение полученных/живых прокси, чтобы сразу было видно цифры через дробь - очень наглядно. При это при хорошем соотношении они д.б. в зеленом цвете, при плохом в красном, в при среднем в желтом.
 

wizard

Client
Регистрация
04.10.2011
Сообщения
990
Благодарностей
585
Баллы
93
пункты 1,2,3,4 - все это делается средствами ZP, делайте проект и там все это реализуйте.
потом результаты через фаил в проксичекер
 
  • Спасибо
Реакции: konfuciy

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
1) находятся через поисковую выдачу те же сайты, если нужно чисто rss - добавить можно вручную.
2) для этого есть отдельный ZennoproxyChecker
3 - 4 для этого можно написать шаблоны. не планируется такого
5 - не планируется тоже, так как дубли прокси не загружаются из новых источников. поэтому статистика не будет корректной по источникам с точки зрения всего/живых
 

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
пункты 1,2,3,4 - все это делается средствами ZP, делайте проект и там все это реализуйте.
потом результаты через фаил в проксичекер
спасибо, как вариант.
однако не хотелось бы приделывать костыли к чекеру...
 

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
1) находятся через поисковую выдачу те же сайты, если нужно чисто rss - добавить можно вручную.
2) для этого есть отдельный ZennoproxyChecker
3 - 4 для этого можно написать шаблоны. не планируется такого
5 - не планируется тоже, так как дубли прокси не загружаются из новых источников. поэтому статистика не будет корректной по источникам с точки зрения всего/живых
1. ну как бы смысл программы в автоматизации. как добавить вручную я естественно знаю)
2. а если я не хочу покупать отдельный прокси чекер, мне удобно все в одной программе, и совершенно неудобно держать две идентичных программы на компе (место, использование ресурсов, время и ресурсы на лишние переключения между прогами и т.д.). сделайте возможность такую хотя бы за отдельную доплату.
3-4. понятно
5. а сейчас она корректна что ли получается? сейчас на этот рейтинг со звездочками вообще ориентироваться невозможно, я выше написал почему. я его не использую, приходится вручную вбивать в метках реальный рейтинг источников. даже без загрузки дублей это будет точнее.
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
1) источники берутся из выдачи поисковых систем. просто ссылками
2) планируется но пока не знаю когда сделать возможность сохранения листов из ZP для юзеров, у кого есть лицензия на отдельный чекер
5) http://zennolab.com/discussion/threads/neskolko-pozhelanij-i-voprosov.14553/
 

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
1) источники берутся из выдачи поисковых систем. просто ссылками
2) планируется но пока не знаю когда сделать возможность сохранения листов из ZP для юзеров, у кого есть лицензия на отдельный чекер
5) http://zennolab.com/discussion/threads/neskolko-pozhelanij-i-voprosov.14553/
1) это тоже понятно)) но я то предлагаю пойти дальше) искать РСС на страницах, где найдены прокси в автоматическом режиме, как это делает, например, опера, или гугл хром. или еще дальше - ходить по ссылкам, как это делают проги типа proxyfire
2) спасибо, это то, что нужно.
5) прочитал, понял, что не я один с такой проблемой, и некоторые, видимо, просто молчат. из дискуссии там также видно, что рейтинг в текущем виде ничего не отражает.
Очень нужно - для каждого прокси -
первое - показатель максимум живых прокси, которые были на нем когда-либо в какой-то пиковый момент и общее количество проксей, скачанных с него в тот же момент - именно в таком виде через дробь.
второе - общее число живых прокси с источника за все время.
- вот эти два столбца уже дадут реальную возможность оценивать источник.
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
дубли проксей не грузятся из источников сейчас, они отсеиваются на стадии загрузки. поэтому нельзя подсчитать где сколько живых на самом деле.
 

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
дубли проксей не грузятся из источников сейчас, они отсеиваются на стадии загрузки. поэтому нельзя подсчитать где сколько живых на самом деле.
и это понятно. и все равно то, что я предлагаю, будет информативно. несравнимо информативнее звездного рейтинга. на это реально можно будет ориентироваться, несмотря на удаление дублей
 

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
будут ли какие-то подвижки?
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
пока не планируется
 

vasik

Client
Регистрация
01.07.2015
Сообщения
24
Благодарностей
4
Баллы
3
Искал на форуме ответ но не смог найти, .. как исключить добавление живых прокси в пулл по правилу ?

Допустим мне в пуле живых прокси не нужны НЕ-анонимные прокси... я хочу их исключить чтобы они вообще не добавлялись в пул, потому что я не собираюсь их использовать...

как добтся такого эффекта ?
 
  • Спасибо
Реакции: konfuciy

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
Искал на форуме ответ но не смог найти, .. как исключить добавление живых прокси в пулл по правилу ?

Допустим мне в пуле живых прокси не нужны НЕ-анонимные прокси... я хочу их исключить чтобы они вообще не добавлялись в пул, потому что я не собираюсь их использовать...

как добтся такого эффекта ?
Вроде очевидная вещь, но в проксичекере её НЕТ, полностью поддерживаю предложение.
На сегодня единственная возможность писать проект под ЗП, который будет убивать не анонимные прокси
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
Зачем? Просто берите по правилу - только анонимные
Я ОЧЕНЬ сильно сомневаюсь что у вас в пуле живых 20000 неанонимных прокси, чтобы считать их тратой ресурсов
 

vasik

Client
Регистрация
01.07.2015
Сообщения
24
Благодарностей
4
Баллы
3
У меня сейчас в пуле 9 000 проксей и из них тех которые удовлетворяют моим правилам 700 штук.
Зачем мне там 8300 лишних прокси которые мне не нужны ?
На мой взгляд - функция "исключения по правилу" была бы полезна.
Тем более - что ресурсоёмкие проверки прокси на большенство критеритериев (анонимность/доступ к сайту/POST, и тд) происходит всеравно проиходит перед добавлением в пулл.
 
  • Спасибо
Реакции: konfuciy

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
У меня сейчас в пуле 9 000 проксей и из них тех которые удовлетворяют моим правилам 700 штук.
Зачем мне там 8300 лишних прокси которые мне не нужны ?
На мой взгляд - функция "исключения по правилу" была бы полезна.
Тем более - что ресурсоёмкие проверки прокси на большенство критеритериев (анонимность/доступ к сайту/POST, и тд) происходит всеравно проиходит перед добавлением в пулл.
у меня примерно такая же картина по соотношению, процентов 70-80 неанонимные = бесполезные
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 707
Баллы
113
Передал фидбек автору чекера
 
  • Спасибо
Реакции: konfuciy

vasik

Client
Регистрация
01.07.2015
Сообщения
24
Благодарностей
4
Баллы
3
:ay:
 
  • Спасибо
Реакции: konfuciy

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)