Парсинг в многопотоке. Подскажите как правильно?

[mavar]

Задача: нужно быстро спарсить большой сайт.

Дано:
- Блокируют IP через 1000 запросов на некоторое время.
- у меня есть список 200 проксей.
- список урлов этого сайта в 500 000 строк

Вопрос: Как реализовать проект, чтобы запустить 100 потоков и каждый поток работал только со своим прокси и запросом из списка? Главное чтобы не пересекались потоки между собой, а работали как будто 100 разных проектов.

Не могу сообразить, как каждый поток будет работать с одним списком одновременно?

 

[4iloveg]

ну у тебя же поток в начале может удалить строку из файла. Т.е. он удаляет строку и заносит ее в переменную, после чего работает с ней. Другой поток уже с другой строкой будет работать.

 

[arhip1985]

список прокси в файле и берешь с удалением, когда файл заканчивается копируешь его из исходного (запасного, который спецом для копирования)

 

[doc]

список прокси в файле и берешь с удалением, когда файл заканчивается копируешь его из исходного (запасного, который спецом для копирования)

или просто берешь прокси с удалением и тут же записываешь его в конец списка

 

[mavar]

Спасибо парни, идея ясна. Пошел пилить