1 Список на все потоки, как?

Sergodjan · Jun 10, 2018

Iranec said:
Делаю шаблон и требуется брать данные из txt файла весом 100 мб.
Привязую txt файл к списку вроде бы все норм работает.
Но зеннопостер уже на 10 потоках начинает жрать 4-5 гб озу
Я так понял это через то что для каждого потока создается отдельный екземпляр списка

Как сделать чтоб 1 список был на все потоки?

знаю что можно работать с БД но для меня это не вариант так как прийдется каждые пол часа загружать данные из txt в БД

Странно, при правильно построенном проекте, такой утечки памяти не должно быть.
Копия списка в памяти одна для всех потоков, видимо дело не в этом списке, а в том, что именно проекты делают с данными из спсика.
Эффект оч. похож на то, что в каждом потоке потом поднимается свой список (другой) и там наращиваются данные,
не очищая предыдущие.

ssXXXss · Jun 10, 2018

как привязываешь ?
если к каждому потоку через кубик привязать то конечно будет жрать
тупо говоря ты к каждому потоку привязал например файл в 100Мб
100х100 = пожирание памяти

ssXXXss · Jun 10, 2018

вот шаб человека смотрю
это не правильно сделано
так же типо у него память жрёт, и он думает почему

Mikhail B. · Jun 12, 2018

Iranec said:
На 10 потоках шаблон жрет 4-5 гб озу

Если включена галка браузер, то это нормально.

Mikhail B. · Jun 12, 2018

Iranec said:
Браузер в шаблоне не используется и галка Не использувать браузер стоит.
Я же дал пример шаблона В предеущем посте.

Да так и есть оперативка грузится жестко и остается висеть. Хотя в настройках стоит время жизни неактивной базы 1 минута. А оперативка не сбрасывает. Сбросила только после закрытия.

ssXXXss · Jun 12, 2018

так а в чём смысл шаба который в посте ?
тупо крутишь в цикле в 10 потоков ?

ssXXXss · Jun 12, 2018

Iranec said:
Шаблон сделал для теста чтоб другие могли посмотреть проблему жора озу.
Не думаю что есть смысл кидать весь шаблон где более 50 кубиков.

так у тебя цикл бесконечный, тупо забил память, ты чего ожидал

ssXXXss · Jun 12, 2018

создай public список
и один раз загрузи
и пусть все +100500 потоков к нему обращаются
а так ты гиг завалил на зенку что она не любит и ещё плюс цикл

orka13 · Jun 12, 2018

ssXXXss said:
так у тебя цикл бесконечный, тупо забил память, ты чего ожидал

Ты вот только сейчас не злись (а то судя по форуму ты какой-то очень злой последние дни :-)

), но ты НЕ прав.
Цикл там не при чем вообще. Этот шаблон нормально работает в цикле, относительно маленькая дополнительная нагрузка на память из-за цикла там почти не играет роли. он так и должен жрать ~в четыре раза больше памяти RAM чем суммарный размер файлов списка на диске, даже без цикла. Это особенность почти всех программ.

А вся затычка в том, что автор не использует чекбокс в настройках списка «сохранять изменения списка в файл»:

И получается, что даже, если мы работаем со списком только в режиме «чтения», то отсутвие этой опции заставляет алгоритм зенки отдельно для каждого потока копировать содержимое списка в свой виртуальный список в зенке. Теоретически это ускоряет будущие операции по поиску нужных строк в списке, так как обращение идет не к накопителю, а к быстрой памяти RAM, но последняя не резиновая (каждый поток получается жрет в 4 раза больше памяти чем размер файла списка), и на крупных файлах мы видим такой косяк.

Лучше привязать жестко к файлу, а для быстродействия сам файл разместить на SSD или RAM-диске (подробная инструкция есть в "Spoiler: #3. Что такое RAM-диск и как его создать" этой темы.), что приблизит скорость обработки к максимуму, но не будет дублировать использование памяти в каждом потоке.

doc · Jun 12, 2018

orka13 said:
И получается, что даже, если мы работаем со списком только в режиме «чтения», то отсутвие этой опции заставляет алгоритм зенки отдельно для каждого потока копировать содержимое списка в свой виртуальный список в зенке. Теоретически это ускоряет будущие операции по поиску нужных строк в списке, так как обращение идет не к накопителю, а к быстрой памяти RAM, но последняя не резиновая, и на крупных файлах мы видим такой косяк.

Лучше привязать жестко к файлу, а для быстродействия сам файл разместить на SSD или RAM-диске (подробная инструкция есть в "Spoiler: #3. Что такое RAM-диск и как его создать" этой темы.), что приблизит скорость обработки к максимуму, но не будет дублировать использование памяти в каждом потоке.

немного поправлю. Списки всегда в рам. По идее, время от времени они обновляют файл, время от времени с файлами сверяются, но нет такого, что идёт постоянное обращение к диску

ssXXXss · Jun 12, 2018

да на что мне злиться, он его грузит при каждом цикле, и это что нормально ?
поэтому и говорю что самый оптимальный вариант создать public список для всех потоков, загрузив один раз и работая все потоки с ним

P.S. и это будет быстрее в +100500 раз быстрее не имея рам диска даже, для меня рам диск ни что

orka13 · Jun 12, 2018

ssXXXss said:
да на что мне злиться, он его грузит при каждом цикле, и это что нормально ?
поэтому и говорю что самый оптимальный вариант создать public список для всех потоков, загрузив один раз и работая все потоки с ним

По моему наблюдению он ее грузит 1 раз и держит в памяти независимо от того будут ли дальше в шаблоне шаги с обработкой списка или нет. То есть даже если там просто шаб как в автра на 2 кубика - обращение к списку и пауза 100 секунд ()без цикла), то он все эти 100 секунд будет держать память забитой, и очистит ее только после окончания работы шаблона, + еще задержка в пару минут из-за опции "Инстанс > Время жизни неактивной базы".

ssXXXss · Jun 12, 2018

orka13 said:
По моему наблюдению он ее грузит 1 раз и держит в памяти независимо от того будут ли дальше в шаблоне шаги с обработкой списка или нет. То есть даже если там просто шаб как в автра на 2 кубика - обращение к списку и пауза 100 секунд ()без цикла), то он все эти 100 секунд будет держать память забитой, и очистит ее только после окончания работы шаблона, + еще задержка в пару минут из-за опции "Инстанс > Время жизни неактивной базы".

грузит но не сохраняет, и получается в памяти не держит, у него получается каждый цикл с нуля список загружает

orka13 · Jun 12, 2018

ssXXXss said:
грузит но не сохраняет, и получается в памяти не держит, у него получается каждый цикл с нуля список загружает

Перечитай мой пост внимательнее первый. Вот его шаб без цикла с паузой в конце 70 секунд. Запусти, если не веришь, и наблюдай как забивает RAM на 10 потоках.
www.orka13.ru/fls/Zenno/test_shab_70_sec.zip

ssXXXss · Jun 12, 2018

чувак галку поставил и всё сработало, а тестировал я давно такое и знаю как зенка с этим справляется

1 Список на все потоки, как?

Новичок

Administrator

Client

Client

Новичок

Attachments

Новичок

Новичок

Moderator

Новичок

Moderator

Client

Новичок

Новичок

Client

Client

Client

Client

Client

Client

Client

Новичок

Client

Client

Users Who Are Viewing This Thread (Total: 1, Members: 0, Guests: 1)