Пополнение списка во время работы шаблона

Midnight

Client
Регистрация
28.02.2016
Сообщения
236
Благодарностей
113
Баллы
43
Привет всем. Есть шаблон, который должен во много потоков работать со списком 50 млн строк (список привязан к файлу с сохранением на диск). Так как список очень большой и занимает много ОЗУ при работе в 500 - 1000 потоков, пришлось ограничить список 1 млн строк и добавлять в него данные вручную по мере надобности. Хочу автоматизировать этот процесс, но не могу понять как лучше

1. Хотел разбить большой txt файл на мелкие файлы по 1 млн с индексом base_1.txt, base_2.txt итд, и если кол-во строк в base_1.txt string_count == 0, то шаблон привязывает список к следующему файлу base_2.txt и так далее.

2. Написать отдельный шаб который проверяет количество строк в списке и добавляет по мере надобности. Но это уж совсем костыль.

Может есть какое-то более простое решение?
 

WebBot

Client
Регистрация
04.04.2015
Сообщения
1 713
Благодарностей
1 370
Баллы
113

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)