Большая часть проксей не работает, хотя проксичекер показывает обратное

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
Давно уже мучает такая проблема. Собираю чекером встроенным прокси из соксы из паблика.
Источники дают примерно 40т. всего проксей, из них отбираются соксы, начиналось с 200 штук, сейчас набралось где-то 2000 и их число продолжает расти.
Прокси проходят проверку на пост и на произвольный урл (главная страница яндекса).
Однако по факту процентов 90 это просто мусор, при попытке через браузер или ПМ перейти на сайт яндекса перехода через них не происходит.
Отсюда вопросы:
1. как такой мусор попадает в списки хороших прокси, прошедших проверку?
2. почему они остаются там навсегда, не выпадают при повторных проверках, количество мусора постоянно растет?
3. можно ли сразу отсеять, чтобы в список прокси попадали только прокси по правилу пост/яндекс, а все остальные сразу удалялись из списка?
 

Chick80

Client
Регистрация
04.12.2014
Сообщения
298
Благодарностей
82
Баллы
28
1. Фри прокси быстро дохнут. Они могут пройти проверку и сдохнуть до того, как ими начали пользоваться.
2. Нужно включить опцию "Очищать список" (см. скриншот)
3. См. п.1
окно.jpg
 

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
1. Фри прокси быстро дохнут. Они могут пройти проверку и сдохнуть до того, как ими начали пользоваться.
2. Нужно включить опцию "Очищать список" (см. скриншот)
3. См. п.1
Посмотреть вложение 17216
1. возможно
2. ?????? зачем, я не хочу очищать хорошие прокси - эта опция удаляет все без разбора - и работающие и не работающие. работающих итак немного с паблика, а так я и собранные крохи удалю...
3. это же не ответ на мой вопрос, п.1 никак не отвечает на п.3


прошу все-таки ответить модераторов
 
Последнее редактирование:

konfuciy

Client
Регистрация
07.05.2014
Сообщения
1 402
Благодарностей
131
Баллы
63
и вот это как бы тоже актуально

_________________________________________________
Сделайте хотя бы это:

"6. База прокси, насколько я понимаю, хранит все скачанные когда-либо со всех источников прокси и живые и мертвые.
Не совсем понятен смысл хранения изначально мертвых прокси и их многократной проверки по кругу. Нужно сделать хотя бы опционально - "Добавлять в базу только когда-либо живые прокси""

и сделайте опцию - удалять из базы прокси, которые мертвы на протяжении ХХХ времени.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)