Подскажите, как решить проблему с размером файла

keltuzhaknut

Client
Регистрация
24.02.2016
Сообщения
221
Благодарностей
3
Баллы
18
Идет процесс парсинга, сохраняется результат в файл, процесс многопоточный, запуск идет до конца и запускается шаб по новой.
Если размер файла более 5 мб. То процесс парсинга - начинает выдавать ошибки из 10 1-5 раз(пишет в логах , как автоматизировать процесс. Чтобы работа была стабильной. без ошибок? Ошибка работы с файлом
 

sergej_g

Client
Регистрация
29.11.2011
Сообщения
151
Благодарностей
124
Баллы
43
Идет процесс парсинга, сохраняется результат в файл, процесс многопоточный, запуск идет до конца и запускается шаб по новой.
Если размер файла более 5 мб. То процесс парсинга - начинает выдавать ошибки из 10 1-5 раз(пишет в логах , как автоматизировать процесс. Чтобы работа была стабильной. без ошибок? Ошибка работы с файлом
Поставить паузу на пару секунд в нужном месте.
 

Nick

Client
Регистрация
22.07.2014
Сообщения
1 961
Благодарностей
796
Баллы
113
Может, ты слишком частишь с записью наперегонки? Пусть каждый поток какое-то время работает сам с собой и пополняет список в памяти, а потом это скидывает в файл и закрывается.

И ещё, в разных версиях есть разные глюки. Проверь, что именно в твоей версии с этим норм.
 

alekwuy

Client
Регистрация
06.04.2013
Сообщения
1 631
Благодарностей
461
Баллы
83
может у тебя нехватает оперативки для работы с файлом в многопотоке
 

keltuzhaknut

Client
Регистрация
24.02.2016
Сообщения
221
Благодарностей
3
Баллы
18
8 гб. озу, i7 - на 20 потоках, get запросы
 

alekwuy

Client
Регистрация
06.04.2013
Сообщения
1 631
Благодарностей
461
Баллы
83

keltuzhaknut

Client
Регистрация
24.02.2016
Сообщения
221
Благодарностей
3
Баллы
18

alekwuy

Client
Регистрация
06.04.2013
Сообщения
1 631
Благодарностей
461
Баллы
83

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)