Не могу разобраться с многопотоком

[san_sanich]

Есть сайт, на котором есть список пользователей (user1, user2,user3,...,usern). Есть шаблон, который бежит по этим пользователям по порядку, заходит к каждому на страницу, берет нужную мне инфу и записывает ее в файл. Когда я запускаю этот шаблон в 1 потоке, то все нормально, бежит по всем пользователем, записывает инфу. Когда запускаю в 5 потоков, то, соответственно, он 5 раз заходит на этот сайт, 5 раз заходит к user1, user2 и т.д., логично вполне. Вопрос такой, можно ли сделать так, чтобы работая в 5 потоков, дабы было быстрее все, он не делал повторы? То есть 1 поток заходит к user1, второй к user2 сразу и т.д.
Пока что я решил эту задачу в лоб. Сделал просто 5 копий шаблона, которые различаются параметром, который отвечает за то, с какого места в списке пользователей начинать заходить к пользователям и запустил все эти шаблоны сразу. Но может есть более изящное решение?

 

[WebBot]

Если адреса страниц пользователей в списке лежат у вас, то берите их оттуда с удалением, тогда каждый поток будет брать своих юзеров.
Если юзеры на сайте, то делайте список обработанных юзеров и каждый поток прежде чем куда-то лезть пусть проверяет нет ли данный страницы в списке уже обработанных ... если есть, то пропуск соответственно

 

[san_sanich]

Если адреса страниц пользователей в списке лежат у вас, то берите их оттуда с удалением, тогда каждый поток будет брать своих юзеров.

Адреса страниц пока не в списке, но это то, что надо! Спасибо! Как я сам не додумался...

 

[san_sanich]

Если юзеры на сайте, то делайте список обработанных юзеров и каждый поток прежде чем куда-то лезть пусть проверяет нет ли данный страницы в списке уже обработанных ... если есть, то пропуск соответственно

Вот еще вопрос возник. Допустим мы обработали user1, записали его в файл, что он обработан уже. Соответсвено, список изменился. Зенка сама перезагрузит список или надо дополнительное действие какое-то создавать?

 

[san_sanich]

Решил вопрос, привязав список к файлу