並列対決 Elixir × Go × C# x Scala , Node.js

1. 並列対決 Elixir × Go × C# x Scala オマケでnode.js Created by Enpedasi/twinbee ( [@enpedasi] ) 2018/2/23 powered by Marp 2/25 Scala [@KugiyaJ]版追加

2. 自己紹介 @enpedasi (えんぺだーし） qiita : twinbee フリーランスエンジニア中２の時にZAT SOFT/大名マイコン学院より MZ-700向けゲームレフュージー発売 BGM : Lo hiphopがお気に入り

3. 概要 Elixir速いっていうけど、実際どうなの？ Go/Scala Akka等並列に強い処理系の中での優位点は？オープン系ばかり話題になるけど、Microsoftを見てみぬふりはダメだよね？初見でどこまで並行プログラミングができる？

4. ストリーム集計対決巨大CSVファイルを並列集計各言語のストリームを使用ストリームを制するものは、サービスを制する

5. - 登壇者のレベル言語経験 node.js 納品実績あり C# 納品実績あり/非同期開発経験なし Elixir 3年間Watch Scala ハンズオンでWebアプリ作った (Play/Skinny) Go 経験なしここから作っていくよ！ ※ 一応 C / C++ / アセンブラ 10年以上 Delphi 20年経験はあります

6. 基礎用語の確認

7. 並行・並列並行処理 (Concurrent) CPU数・コア数の限界を超えて複数の仕事を同時に行うこと。シングルスレッドでも該当する。並列処理 (Pallarel) 複数のプロセッサやコアを使って、仕事を同時に行うこと。参考 ASCII倶楽部 Go言語と並列処理

8. ノンブロッキング・非同期 nginxやnode.jsが話題になった時代のテーマノンブロッキングにくじゃがをつっつきながら完成を確かめる。つっつきながら別の料理を捌ける。非同期電子レンジに入れてチンと鳴るのを待つ。その間別の料理に取り掛かる。厳密に定義を追ってもしょうがないので、並行・並列と区別がつけばOK

9. ストリーム文字・画像・動画などが延々と流れていくイメージ。始まりと終わりがない。ストリームは加工部分のみを読み取り、処理するので最低限のメモリしか使わない。

10. ストリーム問題点サービスをストリームの加工機としてとらえると、入力をある大きさでぶった切って処理する必要がある（時間やサイズ）。ぶった切られたデータは、IOデバイスの都合で切られるので、加工しやすい型（行・画像）に持っていくには手間が必用流れ待ってくれないので、バッファリングや再送指示が必用 ⇒ 処理が複雑化

11. マルチタスクモデルとGC Elixir Go C# Scala(JVM) モデル軽量プロセス軽量スレッドスレッドプール? スレッドプール? GC 単位プロセス共有メモリ共有メモリ共有メモリ ※スレッドは共有メモリを使用するので、GCすると全体が止まる

12. 非同期ストリームのFramework Elixir Genstage/Flow Scala Akka C# TPL DataFlow Node.js Producer Source (ISoureBlock) reader Produce- Consumer Flow (IPropergatorBlock) (pipe) Consumer Sink (ITargetBlock) writer Scala Akka は ErlangのActor リスペクト GenStage は ScalaAkka Streams リスペクト C# TPLもActorモデル(上記の表は無理やり）

13. Elixirの非同期ストリーム GenStage FlowのベースになっているBehavior GenEventの改良版 Flow GenStageがコールバック主体で実装していくのに対し、より直観的に書ける。

14. Scala Akka Stream GenStageやFlowがインスパイアされたライブラリ Lightbend社（旧Typesafe社)提供 JVMで動作 Scala or Java対応豊富なドキュメント Pony langageの資料では Erlangと同等性能 twitterで#Akka what's wrong?って叫んだら中の人が１０分ぐらいでPR送ってくれた(Thak you for ktoso! )

15. Akka Streams

16. Akkaのドキュメントの一部

17. GOの並列実装のバリエーション Channel make時にBackpresure指定可 Select 調停複数のチャネルからの結果を判断 Goroutine 普通のファンクションの前にGOと書けば、非同期実行を行う

18. C#の並列実装のバリエーション Task async / Tasck await TPL DataFlow Actorモデルによる非同期ストリーム Parallel Linq コレクションの操作を並列で行う

19. コード実装

20. Elixirの実装（抜粋） Source Code on Github 上記SourceCodeのElixirFlowOrgはリファクタリング前の関数です

21. result = filename |> File.stream! # データクレンジング |> Flow.from_enumerable() |> Flow.map( &( String.replace( &1, ",", "t" ) ) ) # ①CSV→ |> String.replace( "rn", "n" ) # ②CRL |> String.replace( """, "" ) ) ) # ③ダブ # 集計 |> Flow.map( &( &1 |> String.split( "t" ) ) ) # ④タブで分割 |> Flow.map( &Enum.at( &1, 2 - 1 ) ) # ⑤2番目の項目を抽出 |> Flow.partition |> Flow.reduce( fn -> %{} end, fn( name, acc ) # ⑥同値の出現数を集計 -> Map.update( acc, name, 1, &( &1 + 1 ) ) end ) |> Enum.sort( &( elem( &1, 1 ) > elem( &2, 1 ) ) ) # ⑦多い順で

22. Goの実装（抜粋） Source Code on Github.

23. 最初に書いたコードでは1行リード毎にGo routine を起動していたさすがにそれはまずいので、Go Routineをワーカーとしてマネージできるライブラリを探したが、「公式」的なものはなかった。次の記事を参考に、ワーカーの実装を行った。参考 ⇒ golang の channel を使って Dispatcher- Worker を作り goroutine 爆発させないようにする

24. Goでの実行イメージ

25. チャネルによるディスパッチ func (w *worker) start() { go func() { for { // register the current worker into the dispatch pool w.dispatcher.pool <- w select { case v := <-w.data: if bulkstr, ok := v.([][]string); ok { wordMap := processData(bulkstr) w.dispatcher.sink <- wordMap } w.dispatcher.wg.Done() case <-w.quit: return } } }() }

26. バルクデータをマップ化 func processData(r [][]string) map[string]int { var m = map[string]int{} for _, rec := range r { m[ rec[aggColNo] ]++ } return m }

27. // チャネルからクラスタ化された集計結果を集める func waitAndSum(sumMap map[string]int, d *Dispatcher, quit for { select { case rec := <-d.sink: for mk, mv := range rec { sumMap[mk] += mv } case <-quit: fmt.Println("quit") return sumMap default: } } }

28. Scala Akka Streams 実装（抜粋） Source code on Github ↓ Tune up 注目！ Tuned up ver by @KugiyaJ on Github No Akka Source code by @KugiyaJ on Github

29. source .via(CsvParsing.lineScanner()) .via(CsvToMap.withHeaders("firstname", "lastname", "gender" .map(_.map(r => (r._1, r._2.utf8String))) // Map( birthday - .filter(rec => rec.get(grp_col) != None) .groupBy(30, r => r(grp_col)(0)) // 頭一文字でグループ分け .async .fold(acc_empty) { (acc: Map[String, Int], rec: Map[String val word = rec(grp_col) val cnt = acc.getOrElse(word, 0) acc.updated(word, cnt + 1) } .mergeSubstreams .via(Flow[Map[String, Int]].fold(acc_empty) { (acc: Map acc ++ rec.map { case (k, v) => k -> (v + acc.getOrElse(k, }) .runWith(Sink.foreach(e => {resultMap = e})) .onComplete(done ⇒ { val msec = (System.currentTimeMillis - start) println(done) resultMap.toSeq.sortWith(_._2 > _._2).take(10).foreach(pri

30. GroupByの第一引数には、サブストリームの数が入る。集計キーが多い場合はSQL的に使えない。ストリームをうまく分割するアイデアが見つからなかったので、集計キーの１文字目でグループ化効果がありそうな場所に.asyncを配置しても、1.5 倍遅い結果だった ※ 上記はLT時の内容です

31. Node.js（抜粋） SourceCode on Github const parser = csvParse({ delimiter: ',', relax_column_count: true }); parser.on('data', (data) => { const key = data[1] sumMap.set(key, sumMap.has(key) ? sumMap.get(key) + 1 : 1) }); ストリームをラップしたcsv-parserを使用 CSV parserが行ごとにdataイベントを返すので、都度集計処理

32. C# dotnet core 2.0 実装抜粋 SourceCode on Github static private async Task<ConcurrentDictionary<string, int>> Rea { using (FileStream sourceStream = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.Read, bufferSize: 4096 )) { StreamReader sr = new StreamReader(sourceStream) string text; while ((text = await sr.ReadLineAsync()) != { var wd = text.Replace(""", string.Empty).Spli wordMap.AddOrUpdate(wd, 1, (_key, val) => { } return wordMap; } }

33. ・async/awaitによる非同期タスク制御・StreamReader.readAsyncというぴったりの機能・CocurrencyDictionaryという、これまたぴったりなKVコレクション

34. 対決結果

35. Windows 10 Home Edition Corei5 7200U@2.5G Hz (Kabylake) 2コア4スレッド 16GMemory

36. Windows10 Home edition 単位（秒） Corei5 7200U@2.5G Hz 2コア4スレッド行数 Elixir Go C# Node.js 30 万 0.3 1.2 1.5 10.5 300万 19 12 15 107 1200万 86 50 47 433 Scala (@KugiyaJ 氏によるTune up) Scala NoAkka Akka ← (LT時) 30 万 1.2 3.7 300万 10.7 19.7 27 1200万 35.1 53.6 101

37. C#とGoが速い ※ScalaはIntelliJ環境下のスコア (2/25) Akkaを使用しないScalaが最速！

38. Windows 2008 Server Intel Xeon(R) CPU E31230 (32n 2011Q2)@ 3.2GHz 4コア8スレッド 8GMemory

39. Windows Server 2008 R2 8GB Intel Xeon(R) CPU E31230 (32n 2011Q2)@ 3.2GHz 4 コア8スレッド（On-premises） Elixir Go C# Scala Node.js 30万行 300万行 1200万行 49 43 35 コア数が増えたことで、85秒⇒49秒へ猛追 C#も速度上がる。Windows上ではC#最速 (2/25)諸事情により一部のみのベンチ

40. Google Compute Engine Debian 9 vCPUx8 16GByte

41. ここでLinuxでC#に問題発生 Unhandled Exception: System.ArgumantException The index is equal to or greater than the length of the array, or the number of elements in dictionnary is greater than the available space from idex to the end of destination array.

42. GCE Debian 9 vCPU 8 16GByte 単位(秒) 行数 Elixir Go C# Node.js 30万 0.09 1.2 Crush - 13 300万 9.6 11.4 Crush 137 1200万 40.1 44.8 Crush 549 Scala (@KugiyaJ 氏によるTune up) Scala NoAkka Akka ← (LT時) 30 万 1.2 300万 9.5 19.7 1200万 38.3 53.6 116

43. ElixirがGoを抜きさる C#は例外クラッシュ Node.jsはWindowsより１割ほど速度低下 ScalaはCPUあんまり使ってない。プログラムが問題かも。 ⇒ 2/25 ＠KugiyaJ氏の手により最速に

44. Docker 2GB/2Core Debian Microsoft公式 dotnetcoreコンテナ Elixir Go C# Scala Node.js 30万行 0.3 2.2 Crush 300万行 29 23 Crush 1200万行 118 Killed Crush C#は例外クラッシュ Goはメモリ不足でTask Kill

45. まとめ

46. Elixir/Go/C# ともにNode.jsの5 - 10倍の速度 Elixir Flow ⇒コア数が多いほど真価を発揮 ⇒コード量の少い！学習コスト少ない！性能高い！どの環境でも安定度が抜群 ⇒Shift-JIS対応や商用RDBとの接続に課題 GO ⇒並列入門用としては最適 ⇒GoroutineはGCされないので、メモリ管理が負担。1200万件では8GBのメモリを消費 ⇒コード量がかさむ。大規模PJでは辛そう ⇒VS CodeのIDE力が強力

47. Scala Akka ⇒InnteliJかしこい。型はあまり気にしなくてOK ⇒なにより実績がある。ドキュメントが手厚い ⇒環境構築が辛い。 ⇒IntelliJやDockerコンテナ使っている間はよいが、そこから外れるとコストが大きい ⇒コンパイル時のメモリ消費大。今回のPGでも 2.5Gほどメモリを消費する ⇒Oracle RDBを重用してる身としてはOracleの企業姿勢がリスク(JVM) C# ⇒Windowsでは最速。Dotnet core動向に注目 ⇒なんでも揃えます感 ⇒VisualStudio賢い。でも重い

48. Elixir Go C# Scala Node.js パフォーマンス B+ ～A A A A D ポーテーション〇〇 ? 〇〇安定度 S B A A A 環境構築コスト A S B C A 学習コスト B+ A B+ B- A 記述量 S C A S A メンテナンス性 A B A A A ドキュメント B+ A A S A Elixirの安定度がSなのはGCの仕組による（プロセス単位）

49. 2/25 追記アドバイスを頂きました ⇒『Akkaはローカルでの並列処理に特化したミドルウェアではないので、並列コレクションを使った方が早くなったのだと思われます』今回の企画は「Elixir Flowのコードを他の並行ライブラリでも試してみよう」というノリで始めたのですが、どうやら並行処理の性能比較には実は向いてない内容ということが判明しました。ふさわしい企画を考えて、またトライしたいです！

50. Enjoy Elixir Programming! ご清聴ありがとうございました

並列対決 Elixir × Go × C# x Scala , Node.js

Yoshiiro Ueno

並列対決 Elixir × Go × C# x Scala , Node.js