Строка из списка берется 40+ сек, в чем проблема?

[Tom Cruise]

Здравствуйте, столкнулся со следующей проблемой. Строка из виртуального списка (не привязан к файлу) берется 40+ секунд.

Логика работы шаблона следующая: есть файл 1млн строк, около 30мб, из него раз в 5-7 мин берется подсписок из 20 строк в "виртуальный" список, чтоб часто не обращаться к большому файлу.

Скрин:

Если работать до 100-150 потоков, то работает около дела, если больше - появляются такие паузы. Загрузка процессора 30-40%. Память - 20%. Последняя версия ZP. Стоит галка безопасного сохранения файлов в настройках, но вряд ли это влияет.

В чем может быть проблема?

 

[yriy158]

Здравствуйте, столкнулся со следующей проблемой. Строка из виртуального списка (не привязан к файлу) берется 40+ секунд.

Логика работы шаблона следующая: есть файл 1млн строк, около 30мб, из него раз в 5-7 мин берется подсписок из 20 строк в "виртуальный" список, чтоб часто не обращаться к большому файлу.

Скрин:

Если работать до 100-150 потоков, то работает около дела, если больше - появляются такие паузы. Загрузка процессора 30-40%. Память - 20%. Последняя версия ZP. Стоит галка безопасного сохранения файлов в настройках, но вряд ли это влияет.

В чем может быть проблема?

Переходи на работу с БД, было то же когда-то. Теперь постоянно если список больше 500к строк использую БД. Удивишься как все взлетит.
Никакие рам-диски не помогут особо, только БД.

 

[Tom Cruise]

Переходи на работу с БД, было то же когда-то. Теперь постоянно если список больше 500к строк использую БД. Удивишься как все взлетит.
Никакие рам-диски не помогут особо, только БД.

А что изменится? Я так же буду брать 20-50 значений из бд и класть их в список и оттуда опять будут строки по минуте браться)

Я не совсем понимаю откуда пауза, список же в оперативной памяти...

 

[Sergodjan]

А что изменится? Я так же буду брать 20-50 значений из бд и класть их в список и оттуда опять будут строки по минуте браться)

Я не совсем понимаю откуда пауза, список же в оперативной памяти...

Из маленького списка уже быстрее все будет браться.

 

[Tom Cruise]

Из маленького списка уже быстрее все будет браться.

У меня так и реализовано, из большого списка берется 20 строк и складывается в маленький (кстати быстро), но как раз из маленького списка берутся строки очень долго, почему-то

 

[orka13]

Просто скиньте сюда свой шаблон (в архиве вместе с файлами, с которых берутся строки). Если там есть что секретное, то удалите, оставив только этот проблемный участок, но чтобы оно все работало без вмешательства. Нам проще посмотреть под капот и прогнать у себя, чем строить теории.

 

[Tom Cruise]

Просто скиньте сюда свой шаблон (в архиве вместе с файлами, с которых берутся строки). Если там есть что секретное, то удалите, оставив только этот проблемный участок, но чтобы оно все работало без вмешательства. Нам проще посмотреть под капот и прогнать у себя, чем строить теории.

Расписал в отдельном шаблоне

 

[orka13]

Расписал в отдельном шаблоне

28-06-2018 05:33:07.6103|Info|---Trace Start---|
28-06-2018 05:32:58.5510|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:33:08.5926|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10041
28-06-2018 05:33:08.5946|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:33:08.5991|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|2
28-06-2018 05:33:08.5996|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:33:18.6335|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10033
28-06-2018 05:33:18.6340|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:33:18.6345|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:33:18.6350|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:33:28.6749|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10039
28-06-2018 05:33:28.6759|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:33:28.6779|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|1
28-06-2018 05:33:28.6784|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:33:38.7462|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10067
28-06-2018 05:33:38.7472|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:33:38.7532|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|4
28-06-2018 05:33:38.7537|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:33:48.8050|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10050
28-06-2018 05:33:48.8055|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:33:48.8130|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|6
28-06-2018 05:33:48.8130|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:33:58.8546|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10040
28-06-2018 05:33:58.8551|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:33:58.8561|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:33:58.8586|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:34:08.8956|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10036
28-06-2018 05:34:08.8961|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:34:08.8971|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:34:08.8976|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:34:18.9310|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10032
28-06-2018 05:34:18.9315|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:34:18.9315|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:34:18.9386|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:34:28.9744|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10035
28-06-2018 05:34:28.9749|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:34:28.9764|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:34:28.9764|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:34:39.0079|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10030
28-06-2018 05:34:39.0079|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:34:39.0084|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:34:39.0089|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:34:49.0434|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10033
28-06-2018 05:34:49.0434|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:34:49.0439|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:34:49.0444|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:34:59.0787|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10033
28-06-2018 05:34:59.0787|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:34:59.0792|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:34:59.0797|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:35:09.1165|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10036
28-06-2018 05:35:09.1165|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:35:09.1170|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:35:09.1175|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:35:19.1514|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10032
28-06-2018 05:35:19.1514|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:35:19.1519|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:35:19.1524|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:35:29.1847|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10031
28-06-2018 05:35:29.1847|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:35:29.1852|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:35:29.1857|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:35:39.2347|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10048
28-06-2018 05:35:39.2352|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:35:39.2357|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:35:39.2362|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:35:49.2800|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10042
28-06-2018 05:35:49.2810|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:35:49.2866|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|4
28-06-2018 05:35:49.2871|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:35:59.3281|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10040
28-06-2018 05:35:59.3291|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:35:59.3306|Bad |f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:35:59.3316|In |b940012f-fca9-4e63-86cc-50c228cdb554|
28-06-2018 05:35:59.3321|Good|b940012f-fca9-4e63-86cc-50c228cdb554|0
28-06-2018 05:35:59.3326|In |a4f4f58f-4164-4a59-8270-8368367f8e59|
28-06-2018 05:35:59.3331|Good|a4f4f58f-4164-4a59-8270-8368367f8e59|0
28-06-2018 05:35:59.3341|In |0ef4a18b-8bcb-42cc-95eb-ff58be877c17|
28-06-2018 05:35:59.3361|Good|0ef4a18b-8bcb-42cc-95eb-ff58be877c17|1
28-06-2018 05:35:59.3381|Info|---Project Executed---|

ZennoPoster RU 5.17.1.0, запустил в 200 потоков. Задержек на этом блоке не вижу. Пробуйте на другой машине запустить, может тормоза в настройках зенки, ОС, железа...

UPD: 400 потоков, CPU Intel i7-3770K, нагрузки почти нет:

28-06-2018 05:53:47.6919|Info|---Project Start Execute---|
28-06-2018 05:53:49.9792|In |b81d4a83-93bc-446e-927b-e7d4ea9970ed|
28-06-2018 05:53:49.9802|Good|b81d4a83-93bc-446e-927b-e7d4ea9970ed|0
28-06-2018 05:53:49.9802|In |09ecb011-0e2d-486e-8fe6-874d1d7d34f6|
28-06-2018 05:53:51.4669|Good|09ecb011-0e2d-486e-8fe6-874d1d7d34f6|1486
28-06-2018 05:53:51.4679|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:53:56.2417|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|4764
28-06-2018 05:53:56.2422|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:54:06.5298|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10287
28-06-2018 05:54:06.5303|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:54:07.5483|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|1017
28-06-2018 05:54:07.5488|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:54:17.6125|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10055
28-06-2018 05:54:17.6486|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:54:18.1208|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|433
28-06-2018 05:54:18.1213|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:54:28.1562|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10034
28-06-2018 05:54:28.1572|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:54:28.3051|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|144
28-06-2018 05:54:28.3056|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:54:38.3453|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10039
28-06-2018 05:54:38.3498|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:54:38.3723|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|19
28-06-2018 05:54:38.3728|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:54:48.4174|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10044
28-06-2018 05:54:48.4314|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:54:48.4555|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|19
28-06-2018 05:54:48.4560|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:54:58.5057|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10049
28-06-2018 05:54:58.5082|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:54:58.5724|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|63
28-06-2018 05:54:58.5729|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:55:08.6601|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10086
28-06-2018 05:55:08.6857|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:55:08.8802|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|119
28-06-2018 05:55:08.8812|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:55:18.9246|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10042
28-06-2018 05:55:18.9246|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:55:18.9256|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:55:18.9256|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:55:28.9650|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10038
28-06-2018 05:55:28.9665|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:55:28.9715|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|5
28-06-2018 05:55:28.9721|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:55:39.0359|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10063
28-06-2018 05:55:39.0369|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:55:39.0785|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|40
28-06-2018 05:55:39.0790|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:55:49.1503|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10070
28-06-2018 05:55:49.1503|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:55:49.2134|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|62
28-06-2018 05:55:49.2134|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:55:59.2606|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10046
28-06-2018 05:55:59.2777|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:55:59.3569|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|66
28-06-2018 05:55:59.3574|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:56:09.3929|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10034
28-06-2018 05:56:09.4005|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:56:09.4265|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|25
28-06-2018 05:56:09.4280|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:56:19.4738|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10045
28-06-2018 05:56:19.4748|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:56:19.4989|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|23
28-06-2018 05:56:19.4994|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:56:29.5609|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10061
28-06-2018 05:56:29.5695|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:56:29.5840|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|11
28-06-2018 05:56:29.5840|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:56:39.6452|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10060
28-06-2018 05:56:39.6462|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:56:39.6683|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|21
28-06-2018 05:56:39.6683|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:56:49.7439|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10074
28-06-2018 05:56:49.7444|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:56:49.7469|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|1
28-06-2018 05:56:49.7474|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:56:59.8005|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10052
28-06-2018 05:56:59.8010|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:56:59.8015|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:56:59.8020|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:57:09.8389|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10035
28-06-2018 05:57:09.8394|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:57:09.8399|Good|f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:57:09.8399|In |25c65860-ffd4-49df-b1b2-0936ea36fa65|
28-06-2018 05:57:19.8984|Good|25c65860-ffd4-49df-b1b2-0936ea36fa65|10057
28-06-2018 05:57:19.8989|In |f786bef3-e0b8-4a18-8e77-9755099e144a|
28-06-2018 05:57:19.8994|Bad |f786bef3-e0b8-4a18-8e77-9755099e144a|0
28-06-2018 05:57:19.8999|In |b940012f-fca9-4e63-86cc-50c228cdb554|
28-06-2018 05:57:19.9004|Good|b940012f-fca9-4e63-86cc-50c228cdb554|0
28-06-2018 05:57:19.9009|In |a4f4f58f-4164-4a59-8270-8368367f8e59|
28-06-2018 05:57:19.9014|Good|a4f4f58f-4164-4a59-8270-8368367f8e59|0
28-06-2018 05:57:19.9014|In |0ef4a18b-8bcb-42cc-95eb-ff58be877c17|
28-06-2018 05:57:19.9055|Good|0ef4a18b-8bcb-42cc-95eb-ff58be877c17|3
28-06-2018 05:57:19.9190|Info|---Project Executed---|

UPD: В настройках зенки количество потоков в 1 процессе у меня 1.