Как сделать проверку на спаршенные URL?

[moRL]

Есть надобность парсить последние посты на сайте, посты добавляются в разное время и разным количеством. Как проверить на уникальность URL, т.е. этот урл еще не был спаршен?

Ссылки на посты хранятся в списке, к-рый очищается каждый раз на этапе вытаскивания данных из поста. Думаю надо завести отдельный список куда будет кидаться отработанный URL и уже из этого списка проверяться на уникальность. Как можно осуществить такую операцию и насколько такая проверка будет тормозить работу зенно при 100-1000 урлов в этом списке?

PS: Не откажусь от советов по самой логике проверки и уменьшения количества кубиков)

 

[Ribas]

Гуглим по форуму "сравнение списков"

 

[moRL]

Гуглим по форуму "сравнение списков"

Спасибо за подсказку. Нашел решение у Rostonix'a