1. Через CancellationTokenSource, т.к. это многопоточный перебор, и надо дать всем потокам знать, что пора тормозить.
https://docs.microsoft.com/en-us/dotnet/standard/parallel-programming/how-to-cancel-a-parallel-for-or-foreach-loop
2. ParallelLoopState Break или Stop
Parallel.For(0, count, (x...