Про чек источников

Duser

Client
Регистрация
11.08.2013
Сообщения
202
Благодарностей
141
Баллы
43
Напарсил ~160к паблик источников прокси. Сам не ожидал, что их столько напарсится. Оказалось, что прочекать их не так-то просто. Нельзя ли сделать какой-то упрощёный режим, который оставил бы только источники в которых есть хотя бы один живой прокси и без проверки живых на уникальность. Сейчас приходится практически руками это делать и очень долго. И при том, что время жизни проси в настройках, невозможно выставить более 9999 сек, а при достижении количества прокси в базе к ляму, программа начинает сильно тормозить.

P/S Да, и разбивать на части по 5 кило, я пробовал. Гемарой тоже ещё тот.
 

rostonix

Administrator
Команда форума
Регистрация
23.12.2011
Сообщения
29 085
Благодарностей
5 585
Баллы
113
Такой функции нет)

Практика показывает что такой список источников кроме как словом мусор назвать нельзя(
Причем столетней давности.
Найдите 20 сайтов, обновляющихся ежедневно и вы получите в пуле живых проксей в N раз больше при гораздо меньшей нагрузке на оборудование, чем от использования таких чудо листов.
 

Duser

Client
Регистрация
11.08.2013
Сообщения
202
Благодарностей
141
Баллы
43
Так а я так и делаю. Прогоняю их чекером по 1 килу. Оставляю самые жирные. У меня уже сейчас хороший такой список набрался. Но медленно это всё и ручной работы много.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)