Получение списка файлов в многопотоке

[Geka1989]

Похожие темы находил, но ничего не подошло. Нужно на 20-50 потоках получить список файлов, затем из залить на сайт, пробовал привязать список к файлу, по старту шаблона проверять наличие файла, если файл есть, список файлов не получать и все ок, вроде бы как работает, но получается иногда что строки в файле закончились, файл удалился но некоторые потоки еще не отработали до конца, и при ошибке к примеру шаб начинает логику с начала и снова берет список файлов, в итоге получается что файлы грузятся не корректно, а на больших объемах вообще каша получается, подскажите, мож кто сталкивался и есть какое то более лучшее решение чем я описал

Пока разделил шаб через свич на две ветки, получить файлы и отработать шаблон, но запускать шаблон в два захода как то вообще не удобно