- Регистрация
- 20.07.2013
- Сообщения
- 142
- Благодарностей
- 5
- Баллы
- 18
Есть проект, парсит сайты и сохраняет результат в txt фаилы.
До 10 потоков проект стабильно работает. Но нужно больше.
Взял сервак 14 ядер 16гигов RAM, канал 200мбит, запускаю на 20 потоков, проект начинает косячить, загруженность проца на 30-40%, оперативы 5гб.
Проблема в том что не всегда txt фаилы с результатом создаются, т.е. как бы файловая система несправляется чтоли.. в некоторых папках с результатом пусто, просто нет фаилов.. Таймауты тоже выставлял после сохранения результата.
Что то можно подкрутить? В винде может какие настройки нужны?
До 10 потоков проект стабильно работает. Но нужно больше.
Взял сервак 14 ядер 16гигов RAM, канал 200мбит, запускаю на 20 потоков, проект начинает косячить, загруженность проца на 30-40%, оперативы 5гб.
Проблема в том что не всегда txt фаилы с результатом создаются, т.е. как бы файловая система несправляется чтоли.. в некоторых папках с результатом пусто, просто нет фаилов.. Таймауты тоже выставлял после сохранения результата.
Что то можно подкрутить? В винде может какие настройки нужны?