ASP.NET Core の ​ パフォーマンスを支える ​ I/O Pipeline と Channel

ASP.NET Core の ​ パフォーマンスを支える ​ I/O Pipeline と Channel

• 1. ASP.NET Core の パフォーマンスを 支える I/O Pipeline と Channel .NET Conf 2022 Recap Event 福岡 2022/11/25 株式会社オープンストリーム ジョニー @joni2nja
• 2. about:config ジョニー @joni2nja https://joni.carrd.co/ https://medium.com/@joni2nja https://github.com/jo-ninja
• 3. 今日お話しすること System.IO.Pipelines と System.Threading.Channels の紹介
• 4. .NET 7 でのパフォーマンス改善 https://devblogs.microsoft.com/dotnet/performance_improvements_in_net_7/ PDF版：https://aka.ms/net7-perf-pdf
• 5. ASP.NET Core の パフォーマンス
• 6. Do more with less より少ないリソース（資源や時間）で より多くのことを実現する
• 7. System.IO.Pipelines 高性能な I/O をより簡単に行えるように 設計されたライブラリ https://learn.microsoft.com/en-us/dotnet/standard/io/pipelines
• 8. どのような課題を解決するのか？(1/5) データプロトコルのパース処理で、ストリームから byte 列を 読み込む典型的な例：
• 9. どのような課題を解決するのか？(2/5) ほとんどのストリーム系 API は、データコピー 前提で設計されている。 例： https://github.com/dotnet/runtime/blob/5c420f1aa78455c803f6d6b17eb4543ad728461c/src/libraries/System.Private.CoreLib/src/System/IO/MemoryStream.cs#L337-L344
• 10. どのような課題を解決するのか？(3/5) ⚠️ 1回の呼び出しで対象のデータ（例：EOL）を受信／読み込み できない場合がある 💡EOLが見つかるまでバッファの確保・リサイズ等をする ⚠️ 1回の呼び出しで複数EOLが返ってくる場合もある 💡それぞれパース・処理する
• 11. どのような課題を解決するのか？(4/5) ⚠️ バッファ確保・リサイズ問題 ⚠️頻繁にデータのコピーが発生 ⚠️アロケート（割り当て）したメモリはコンパクト化されない ⚠️GCへの負担が増加 💡バッファの繰り返しアロケートを避ける ために ArrayPool<byte> を使用し、処理終了後は バッファをプールに返却する 💡一定サイズのバッファのリストを使用する
• 12. 改善された（不完全）例：👉 サンプルはこちら： https://learn.microsoft.com/en-us/dotnet/standard/io/pipelines
• 13. System.IO.Pipelines System.IO.Pipelinesの目標は、これらの課題を解決したい、かつ より簡単に書けるようにしたい ✅ストリーミングデータを高速にパースする。 ✅コードの複雑さを軽減する
• 14. System.IO.Pipelines の場合 ✅明示的にバッファをアロケート する必要がない ✅バッファの管理はすべて PipeReaderとPipeWriterに 任せる ✅ユーザコードは複雑な バッファ管理ではなく、 ビジネスロジックに集中する ことができる
• 15. Pipe • Pipe クラスを使用し、 PipeWriter と PipeReader のペアを 作成することができる • PipeWriter に書き込まれたすべてのデータは、PipeReader で利用できる
• 16. PipeWriterで 書き込み
• 17. Pipe覗き見 • 実際に「consume」することなく、Pipe内のデータを覗き見る ことができる
• 18. Pipe
• 33. 1GBのデータを読み込もうとしても～ Segment が増えるだけで、LOHに配置されないのが有り難い😉
• 34. つまり https://www.youtube.com/watch?v=1koWtKkKb_o - High performance IO with System.IO.Pipelines https://www.youtube.com/watch?v=tLnQsNTfl9Q - .NET Design Review: System.IO.Pipelines
• 35. System.Threading.Channels プロデューサーとコンシューマーの間で非同期に データを転送するためのデータ構造。 Channel を使えば、独自に同期やロックを実装 する必要がなくなる。 https://learn.microsoft.com/en-us/dotnet/core/extensions/channels
• 36. プロデューサー／コンシューマー？🤔 System.IO.Pipelines と何が違う？
• 37. Pipelines 🆚 Channels System.IO.Pipelines • API も実装も、 byte 例を処 理するのに最適化されている • １プロデューサー：１コン シューマー System.Threading.Channels • API も実装も、任意のデータ をスレッド間で転送するため に最適化されている • 1..nプロデューサー：1..nコン シューマー
• 39. BlockingCollectionと何が違う？ BlockingCollection involves blocking; there are no task-based APIs to perform work asynchronously. Channels is all about asynchrony; there are no synchronously-blocking APIs — Stephen Toub.
• 40. Channel ファクトリ作成 Channel.CreateBounded<T>() 最大容量を指定した Channel を作成する Channel.CreateUnbounded<T>() 任意の数のプロデューサー／コ ンシューマーが同時に使用でき るチャネルを作成する
• 41. 任意のデータ
• 43. 例：データ変換→アップロード
• 44. System.IO.Pipelines + System.Threading.Channels = ❓
• 45. 例：データ変換→アップロード
• 46. System.IO.Pipelines + System.Threading.Channels = 🚀
• 47. ご清聴ありがとうございました