- Регистрация
- 18.07.2016
- Сообщения
- 101
- Благодарностей
- 70
- Баллы
- 28
Есть надобность парсить последние посты на сайте, посты добавляются в разное время и разным количеством. Как проверить на уникальность URL, т.е. этот урл еще не был спаршен?
Ссылки на посты хранятся в списке, к-рый очищается каждый раз на этапе вытаскивания данных из поста. Думаю надо завести отдельный список куда будет кидаться отработанный URL и уже из этого списка проверяться на уникальность. Как можно осуществить такую операцию и насколько такая проверка будет тормозить работу зенно при 100-1000 урлов в этом списке?
PS: Не откажусь от советов по самой логике проверки и уменьшения количества кубиков)
Ссылки на посты хранятся в списке, к-рый очищается каждый раз на этапе вытаскивания данных из поста. Думаю надо завести отдельный список куда будет кидаться отработанный URL и уже из этого списка проверяться на уникальность. Как можно осуществить такую операцию и насколько такая проверка будет тормозить работу зенно при 100-1000 урлов в этом списке?
PS: Не откажусь от советов по самой логике проверки и уменьшения количества кубиков)