Нагрузка на списки

Sefroz

Client
Регистрация
20.11.2017
Сообщения
54
Благодарностей
3
Баллы
8
Шаблон использует 2 списка из 1го берет данные, в другой складывает.

Проблема в следующем: увеличение потоков не дает увеличения результативности и даже результативность немного падает. Есть потолок в количестве взятий строк с 1го файла , и добавления во 2й, нагрузка на процессор 40-55% , использование оперативной памяти 35-40% , ssd диск. Проблема именно в списках. Из первого берет с удалением, во 2й кладет.


Ранее тоже замечал, что скорость часто ограничивается из-за этого. Списки привязаны к тхт файлам конечно же.

Вопрос: как оптимизировать настройки чтобы увеличить потоки ?
 

Sefroz

Client
Регистрация
20.11.2017
Сообщения
54
Благодарностей
3
Баллы
8
так же замечал что если сделать шаблон который только и делает , что работает со списками. Берет из 1го списка строку, делает некоторые логически действия с ним и перекладывает в другой. Нагрузки на сервер никакой, но не редко при увеличении потоков результаттивность не растет, все упирается в какой то потолок
 

Sefroz

Client
Регистрация
20.11.2017
Сообщения
54
Благодарностей
3
Баллы
8
замечал ранее, что если брать не 1 строчку , а брать из 1го списка сразу несколько через C# , то скорость выше работы со списком. Но проблема в том, что шаблон большой, куча возможностей вылета до того как будет исполнен весь лист Много будет путаницы со складыванием обратно не использованных строк.


Можно как то в настройках подкоректировать, так чтобы снизилась загруженность этих списков и можно было чтобы потоки с ними более интенсивно работали. 50% процессорной мощности сервера простаивает просто так.
 

ffeniks

Client
Регистрация
03.06.2016
Сообщения
308
Благодарностей
410
Баллы
63
Как вариант, заменить txt на nosql , к примеру redis
Это решит проблему
 

backoff

Client
Регистрация
20.04.2015
Сообщения
5 898
Благодарностей
6 376
Баллы
113
списки большие? обычно при больших размерах начинается тупилово.
простой вариант решения
разбить список на кучу файлов и чтоб они подгружались по очереди, 1 txt не более 20Мб тогда скорость норм

либо изучать вопрос работы с БД
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)