Бывают моменты, когда разные прокси(сочетание ip:port), или прокси с разных источников отличаются, но внешние узлы у них одинаковые, то есть они выдают одинаковые внешние ip. Очень не хватает функции, чтобы во время проверки прокси весь имеющийся список проходил фильтрацию на дубликаты именно по параметру "Реальный Адрес". И чтобы далее когда делаем Выдачу, генерируемые списки учитывали этот фактор относительно общего списка, а не в пределах указанного диапазона сохранения. Приведу пример:
1)НЕ правильный фильтр дубликатов
В общем списке прочеканных имеются дубликаты "Реальных адресов", а при Выдаче только в пределах выгруженного списка оставлены прокси где нету дублей "Реальных адресов".
2) ПРАВИЛЬНЫЙ фильтр дубликатов, который хотелось бы увидеть
Общий список Прокси составляется сразу же с учетом отсутствия прокси с дублирующими "Реальными адресами". Таким образом Все списки, сформированные после Выдачи будут иметь прокси, в которых нету дубликатов по внешним ip адресам прокси.
Возможно я чего то упустил, и уже можно реализовать как то зачистку дубликатов "Реальных адресов". Если такое возможно, подскажите пожалуйста, как это осуществить. Если же такого нет, то очень хотелось бы увидеть такой функционал, т.к. он бы решил многие проблемы при работе с прокси, когда необходимо, чтобы не было дубликатов внешних айпи.
1)НЕ правильный фильтр дубликатов
В общем списке прочеканных имеются дубликаты "Реальных адресов", а при Выдаче только в пределах выгруженного списка оставлены прокси где нету дублей "Реальных адресов".
2) ПРАВИЛЬНЫЙ фильтр дубликатов, который хотелось бы увидеть
Общий список Прокси составляется сразу же с учетом отсутствия прокси с дублирующими "Реальными адресами". Таким образом Все списки, сформированные после Выдачи будут иметь прокси, в которых нету дубликатов по внешним ip адресам прокси.
Возможно я чего то упустил, и уже можно реализовать как то зачистку дубликатов "Реальных адресов". Если такое возможно, подскажите пожалуйста, как это осуществить. Если же такого нет, то очень хотелось бы увидеть такой функционал, т.к. он бы решил многие проблемы при работе с прокси, когда необходимо, чтобы не было дубликатов внешних айпи.