Async в ParallelFor

Hartwell · 04.07.2021

C# и .NET | Создание потоков. Делегат ThreadStart

Создание и запуск новых потоков в языке программирования C# и .NET, метод Start класса Thread, применение делегата ThreadStart

metanit.com

Phoenix78 · 04.07.2021

лучше код скидывай. может ты неправильно там все сделал, а гадать, что не так у тебя в коде не очень охота.
есть подозрение что у тебя не так лок проставлен и поэтому все идет последовательно, так как ты спрашивал про лок для многопотока в другой теме... но это предположение :bk:

Hartwell · 04.07.2021

DevOps сказал(а):
Здравствуйте. Многопоток у меня работает нормально. То есть каждый из потоков работает как часы. Я просто хочу в рамках каждого потока сделать асинхронное выполнение кода. Каждый поток за итерацию выполняет 18 обращений, мне нужно чтобы эти 18 обращений в рамках потока шли параллельно, а не последовательно. В рамках КАЖДОГО потока.
А в случае с работой многопотока - нареканий нет, просто хочется "выжать" больше производительности из кода не за счет тупо увеличения количества потоков, а за счет оптимизации работы внутри каждого потока
Спасибо

Не факт что вы получите какой либо прирост по вашей задумке. Вполне возможно и наоборот.

По потокам приложил общий пример, ознакомитесь с принципом подходов.
dotnet run

По async, как вы хотите сделать (судя по всему), пример ниже

Async_Tasks | C# Online Compiler | .NET Fiddle

Async_Tasks | Test your C# code online with .NET Fiddle code editor.

dotnetfiddle.net

Phoenix78 · 04.07.2021

DevOps сказал(а):
Здравствуйте. Многопоток у меня работает нормально. То есть каждый из потоков работает как часы. Я просто хочу в рамках каждого потока сделать асинхронное выполнение кода. Каждый поток за итерацию выполняет 18 обращений, мне нужно чтобы эти 18 обращений в рамках потока шли параллельно, а не последовательно. В рамках КАЖДОГО потока.
А в случае с работой многопотока - нареканий нет, просто хочется "выжать" больше производительности из кода не за счет тупо увеличения количества потоков, а за счет оптимизации работы внутри каждого потока
Спасибо

какая разница где происходит многопоток ? принцип то один и тот же.
и чем плохо, тупо увеличить количество потоков у шаблона ? что 1 поток в зенке и 18 потоков внутри одного потока, что 18 потоков в зенке и 1 поток внутри, жрать ресурсы будет одинокого и скорость работы будет тоже одинаковой. А если накосячил с локом, то и "тупо увеличить количество потоков" не выйдет, так как лок все превратит в однопоток. Поэтому и пишу, скидывай код. сколько раз уже так было, да все у меня нормально, это зенка косячная, ля-ля тополя. скидывает код, а там косяк на косяке, либо вечный цикл, либо лок не так прописан, либо еще что.

Oleg1987 · 04.07.2021

DevOps сказал(а):
Мое понимание асинхронности - блоки программы отвечающие за направление обращений будут делать это одновременно, не ожидая завершения выполнения предыдущего запроса. Поправьте меня если я неправильно понял принцип асинхронного выполнения кода в С#

Это многопоточность, а не асинхронность

DevOps сказал(а):
Для реализации многопотока код был "обернут" в ParallelFor по всем необходимым инструкциям и прекрасно выполняет свое назначение.
Каждый поток отправляет по 18 запросов, но как писал ранее - последовательно. Можно ли его заставить работать асинхронно?

Zenno запускает свой поток. ParallelFor запускает свои потоки в нутри потока Zenno + еще вы хотите внутри потоков ParallelFor запускать еще потоки.... Какая то белеберда. Не проще контролировать ко-во потоков используя механизм многопоточности самого ZennoPoster?

Phoenix78 · 04.07.2021

Скорее всего вопрос стоит в "Lite" версии.... :bk:

У пользователей Про версии вообще не возникает проблем с поднятием потоков. Разбить рабочий процесс на обработку в несколько потоков , будь то парсинг или обработка текста или парсинг DNS записей не составляет большого труда. Все зависит от разработчика. Ну конечно если Lite версия, то еще и от ограничений лицензии :ca:

Oleg1987 · 04.07.2021

DevOps сказал(а):
Если честно, то после подсказок на форуме, в том числе и при помощи от Вас лично разобрался в легкости "оборачивания" в ParallelFor - вообще не вижу смысла в прошке ))

Это ток если шаблон без браузерный

Маломальский · 04.07.2021

C#:

Task[] tasks = new Task[10];

for (int i = 0; i < 10; i++)
{
    tasks[i] = Task.Run(() => project.SendInfoToLog("Поток №: " + i, true));
}

Task.WaitAll(tasks);

Пример

Dr.Pipetka · 04.07.2021

Дык параллельность это вообще миф :-)

Асинхронность ~~немного~~ разгрузит железо . (выделенный поток не будет занят бесполезной хренью и сможет заниматься чем то другим). Например Thread.Sleep(500) занял себе поток на 500мс, await Task.Delay(500) может в эти 500мс делать что то другое(типа ресурсы грамотно распределять).
ЗЫ сам далек от асинхронности.

palman67 · 04.07.2021

DevOps сказал(а):
Да и вообще у меня нет ни одного шаблона на каких то других кубиках кроме "Свой код",

Тогда может стоит перейти на чисты c#?

Phoenix78 · 04.07.2021

palman67 сказал(а):
Тогда может стоит перейти на чисты c#?

он скоро поймет, что работать с запросами удобнее без зенки, создавая обычные приложения в визуалке. зенка в лайте только ограничивает полет фантазии.
и совсем другая ситуация когда надо подымать больше чем 1 поток на браузере.
но зачем торопить события ? у каждого своя скорость и свой путь :-)

Hartwell · 06.07.2021

Л

DevOps сказал(а):
Спасибо. Похоже на то что нужно. Пока Вы здесь - подскажите - есть ли какие нибудь нюансы с LOCK файлов в таком решении? Или же все стандартно?
И еще - переменные в такой связке (паралел и асинк) будут ли также являться потокобезопасными?
PS ПОТОКОНЕЗАВИСИМЫМИ

Используем потокбезопасные методы. Листайте доку на майкрософте, там есть и списки специально для этого и другие методы.

Ну даже если не использовать их, вприцнипе будете получать эксепшен который очень сложно отловить. Но при этом выполнятся может вполне все нормально, и возвращять корректные результаты.

Ну и момент перыванием там довольно заковыристый. Мне нужно было запускать параллельные потоки с общим для всех условием, при достижении каким либо потоком выполнять завершение цикла for parallel. Смотрите так-же документацию, там довольно много моментов, в зависимости от того какой метод используется. Там либо передается сигнал завершения, после чего потоки в процессе должны по идеи завершить свой цикл, после чего будет выход. Для тасков юзают таймер или тип того. Найдете, обратите внимание главное на разницу между тасками и просто парралел for.
Да и я ни разу не гуру паралельного кодинга)) Не стоит все воспринимать за истину, я могу ошибаться,сам не разбирался от и до, но задачу решил все отлично работает.
З.ы. Долго не мог понять почему эксепшены возникали, оказалось что метод экранирования mysql.data похоже что не совсем потокобезопасный, вообщем пока не перебрал все строки по косточкам, потратив уйму времени, вынес эту операцию за цикл и все стало на свои места. Но в целом оно работало и так, просто раздрожали эксепшены, хотя они вообще не влияли на результат. К тому-же у меня там еще и простые операции File обычный с записью all text, и почему то мне я вполне уверен что и так сойдет, ибо по логике любая запись у меня будет всегда создавать новый файл с уник именем в каждом из потоков. Исключены по логике случая когда два потока могут обратится к одному имени. Но кто знает к чему это все может привести? Детонация ПК? Формат диска С? Установка фото генеталий в качестве фона рабочего стола

?... Нет ну а вдруг? :-)

Палка тоже вроде как раз в год выстреливает.

Phoenix78 · 06.07.2021

DevOps сказал(а):
По Эксепшенам. Работает код обернутый в Tru Catch - по результатам которого заполняется одна переменная. Так вот уже час бьюсь - не могу эту переменную дальше данного блока использовать - не существует в контексте. В самом блоке она записывается в лист на выходе и просматривается в логах - но использовать ее вне блока не получается. Читал что переменная в такой обертке существует только в в этой обертке - как сделать ее доступной для дальнейшего применения?
Спасибо

объявить выше блока.

doc · 06.07.2021

DevOps сказал(а):
По Эксепшенам. Работает код обернутый в Tru Catch - по результатам которого заполняется одна переменная. Так вот уже час бьюсь - не могу эту переменную дальше данного блока использовать - не существует в контексте. В самом блоке она записывается в лист на выходе и просматривается в логах - но использовать ее вне блока не получается. Читал что переменная в такой обертке существует только в в этой обертке - как сделать ее доступной для дальнейшего применения?
Спасибо

объявить до

Hartwell · 06.07.2021

DevOps сказал(а):
По Эксепшенам. Работает код обернутый в Tru Catch - по результатам которого заполняется одна переменная. Так вот уже час бьюсь - не могу эту переменную дальше данного блока использовать - не существует в контексте. В самом блоке она записывается в лист на выходе и просматривается в логах - но использовать ее вне блока не получается. Читал что переменная в такой обертке существует только в в этой обертке - как сделать ее доступной для дальнейшего применения?
Спасибо

так обьявите ее в начале цикла или же если она по условию может быть статична для всех процессов то выносим вообще за цикл вверх

Еще цикл не должен возвращять вроде как ничего. Максимум обозначить пустым return; Но это все в рамках синхронного подхода. В асинке же иной принцип в корне.

C#:

string staticValue = "статичная переменная для всех";

// Начало паралельного For(i, vlaue...

string dynamicValue = "что-то что нам нужно у каждого потока свое";

try {
.....
dynamicValue = "поменяем сожержимое";

}
catch {
dynamicValue = "пускай тут присвоитсч этот текст";
}

Console.WriteLine(dynamicValue);
Console.WriteLine(staticValue);

); // закрываем парралельный цикл

Hartwell · 06.07.2021

DevOps сказал(а):
По Return - если в Catch эксепшен поставить return - куда выкидывает поток после этого?
Суть такова - есть 2 последовательных tru /catch и очень нужно после первого исключения не использовать дальнейший код. Но если исключение во втором блоке - то передавать новые условия и продолжать отработку следующих участков кода
Спасибо
Пытался во вложенный - но там логика -мозг сломал

пишите ТГ в лс, а то уже вопросы за оффтоп выходят, да и слишком много их что-то.

Hartwell · 13.07.2021

Hartwell сказал(а):
Не факт что вы получите какой либо прирост по вашей задумке. Вполне возможно и наоборот.

По потокам приложил общий пример, ознакомитесь с принципом подходов.
dotnet run

По async, как вы хотите сделать (судя по всему), пример ниже

Async_Tasks | C# Online Compiler | .NET Fiddle

Async_Tasks | Test your C# code online with .NET Fiddle code editor.

dotnetfiddle.net

https://dotnetfiddle.net/rfI4Id

Интересный момент, при уменьшении Delay до 1, выполнение по очереди быстрее в 2 раза чем одновременно...

C#:

NotWhenAllOneAsync, total time 8
WithWhenAllAsync, total time 16

Hartwell · 14.07.2021

Async/await vs Parallel.For vs Task.Run
dotnet проект в архиве

Скомпилировать и запустить (требуется .net5.0). Распаковываем архив в папку, в ней компилируем (используйте Release, а не Debug)

C#:

dotnet restore
dotnet build -o Release
.\Release\_AsyncVsTask.exe

Источник: csharp-async-vs-task-and-parallel

Добавлю от-себятены:
Параллельность - «параллелизм/concurrency» как "многопоточность/multithreading" - запуск множество потоков, работающих одновременно, выполняется каждым потоком свою задачу.
Асинхронность - это означает одновременное выполнение нескольких действий (async/await поддерживается параллелизм) позволяя одному потоку запускать один процесс, а затем делать что-то еще вместо ожидания завершения первого процесса.

Parallel само по себе синхронная операция.
Async / await - это разновидности синтаксического сахара, которые обеспечивают потенциал "параллелизма/concurrency", но не обязательно означает "многопоточность/multithreading".

Где-то будет разумнее и более продуктивен один подход, в каких-то задачах другой. Остается найти лишь компромисс где что использовать. Как-то так.

Async в ParallelFor

Client

Client

Client

Client

Client

Client

Вложения

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Client

Вложения

Кто просматривает тему: (Всего: 3, Пользователи: 0, Гости: 3)