Загадочный парсинг, как такое возможно?

[chazer24]

Привет господа, всех с праздником!
Суть проблемы: Собираю логины с сайта и кладу их в txt, с удалением дублей.. И так происходит что по мере процесса парсинга, колл-во спарсеных значений не увеличивается а наоборот уменьшается. Хочу понять с чем это может быть связано?

 

[Sergodjan]

Привет господа, всех с праздником!
Суть проблемы: Собираю логины с сайта и кладу их в txt, с удалением дублей.. И так происходит что по мере процесса парсинга, колл-во спарсеных значений не увеличивается а наоборот уменьшается. Хочу понять с чем это может быть связано?

видимо, если работа идет в несколько потоков, то подсчет строк идет иногда до удаления дублей, иногда после..

 

[chazer24]

видимо, если работа идет в несколько потоков, то подсчет строк идет иногда до удаления дублей, иногда после..

Исключено, 1 поток)

 

[Valiksim]

Значит,- пациента в студию. Сложно гадать

 

[arhip1985]

может удаляет не только дубли, но ещё и оригиналы, по-другому сложно представить

 

[ol1ver]

попробуйте сохранять с дублями и почистить под конец keywordkeeper'ом тем же (беспл.) - заодно и оптимизируете)

 

[Valiksim]

почистить под конец keywordkeeper'ом тем же (беспл.) - заодно и оптимизируете)

Или вручную. Тоже бесплатно