Как при парсинге, не допустить дубли?

[Roman48]

Нужно пару сайтов спарсить, вот как не допустить дубли новостей?
Собираю новости с сайта в список, чтобы каждый раз сайт заново не парсить, а со временем просто добавлять, в готовый список. Как это сделать лучше всего, как вариант ссылки записывать в список, именно то что уже спарсил, и от этого уже строить логику. Подскажите пожалуйста, какие еще есть варианты?

 

[ZULI]

как по мне так или ссылки или id новостей (для DLE) сохранять в список и при проходе сравнивать была такая страница или нет

 

[Roman48]

Но этот вариант, буду делать, если других вариантов не будет.

 

[Alexmd]

я бы в таблицу собирал. в первой колонке все ссылки на новости, во второй напротив каждой спаршенной новости какое-то значение(будь то + или url опубликованной на своем сайте новости - не важно - "маркер")
так вот при парсинге ссылок с доноров, проверять url по первому столбцу и добавлять/не добавлять в него, а при дальнейшей обработке брать по порядку из первого столбца ячейки под тем номером, где нет значения во втором столбце и соответственно записывать во второй столбец "маркер".
как-то так. накидаю сниппет, если надо.

 

[Roman48]

я бы в таблицу собирал. в первой колонке все ссылки на новости, во второй напротив каждой спаршенной новости какое-то значение(будь то + или url опубликованной на своем сайте новости - не важно - "маркер")
так вот при парсинге ссылок с доноров, проверять url по первому столбцу и добавлять/не добавлять в него, а при дальнейшей обработке брать по порядку из первого столбца ячейки под тем номером, где нет значения во втором столбце и соответственно записывать во второй столбец "маркер".
как-то так. накидаю сниппет, если надо.

Файл, я сайт спарсил, 36к новостей (он скоро закроется, контента будет ) вот он весит 70 мб, обычный файл txt, таблица Excel хороший вариант, но новостей будет много тысяч 40 примерно с сайта.
Можете накидать сниппет/пример

 

[radv]

Лучше использовать БД, так как при использовании списков или таблиц, они будут расти в размерах и скорость проверки будет падать. В конкурсных статьях были примеры по работе с БД.

 

[Sergodjan]

Нужно пару сайтов спарсить, вот как не допустить дубли новостей?

"Операции над списком - Удалить дубли" не подходит по каким то причинам?
Спарсил порцию статей, почистил на дубли, спарсил еще - еще раз почистил.
То есть каждый сеанс парсинга заканчивать удалением дублей.

 

[rpla]

Я так сделал.