Про чек источников

[Duser]

Напарсил ~160к паблик источников прокси. Сам не ожидал, что их столько напарсится. Оказалось, что прочекать их не так-то просто. Нельзя ли сделать какой-то упрощёный режим, который оставил бы только источники в которых есть хотя бы один живой прокси и без проверки живых на уникальность. Сейчас приходится практически руками это делать и очень долго. И при том, что время жизни проси в настройках, невозможно выставить более 9999 сек, а при достижении количества прокси в базе к ляму, программа начинает сильно тормозить.

P/S Да, и разбивать на части по 5 кило, я пробовал. Гемарой тоже ещё тот.

 

[rostonix]

Такой функции нет)

Практика показывает что такой список источников кроме как словом мусор назвать нельзя(
Причем столетней давности.
Найдите 20 сайтов, обновляющихся ежедневно и вы получите в пуле живых проксей в N раз больше при гораздо меньшей нагрузке на оборудование, чем от использования таких чудо листов.

 

[Duser]

Так а я так и делаю. Прогоняю их чекером по 1 килу. Оставляю самые жирные. У меня уже сейчас хороший такой список набрался. Но медленно это всё и ручной работы много.