Pony concurrency built into the type system

Pony concurrency built into the type system

1. 1. Pony concurrency built into the type system @matsu_chara 2016/3/20 kbkz_tech#9
2. 2. スライドが81ページあるので
3. 3. 爆速でやります。
4. 4. 今日のスライド https://www.slideshare.net/matsu_chara/pony- concurrency-built-into-the-type-system-59778750
5. 5. タイトルはパクリ https://twitter.com/debasishg/status/701675442793615360
6. 6. 自己紹介 • @matsu_chara • ドワンゴ一年目 • 好きな言語：PHP • ブログ: http://matsu-chara.hatenablog.com/
7. 7. 今日は
8. 8. 最強言語PHPの話
9. 9. ではなく
10. 10. 超高速で型安全な アクターモデル言語Ponyの話をします
11. 11. Ponyとは • 2015年4月に0.1がリリースされた言語 • Causalityというロンドンの会社が開発。 • 元はImperial Collegeで研究されていた。 • 論文 A String of Ponies Transparent Distributed Programming with Actors s.blessing 2013
12. 12. 商用サポートあり http://www.causality.io/
13. 13. 気合入ってる
14. 14. で、一体どんな言語なんだ・・・
15. 15. Ponyとは • アクターモデルに特化 • 速さと（型による）安全性を追求 • pony philosophy • capability-secure
16. 16. さらに
17. 17. distributed pony http://www.doc.ic.ac.uk/teaching/distinguished-projects/2013/s.blessing.pdf論文での提案手法リスト • 真の狙いは並行処理ではなく分散システムの構築にある • まだ実装は未公開（論文はある）
18. 18. まだ出てないので今日は concurrent ponyの話に限定
19. 19. Ponyとは • アクターモデルに特化 • 速さと（型による）安全性を追求 • pony philosophy • capability-secure
20. 20. Pony哲学(抜粋) https://github.com/ponylang/ponyc/wiki/Philosophy • Fully type safe. There is no "trust me, I know what I'm doing" coercion. • 型安全！ • Fully memory safe. There is no "this random number is really a pointer, honest.” • 危険なポインタ操作とかは無し！ • No crashes. A program that compiles should never crash (although it may hang or do something unintended). • コンパイル通ったらクラッシュもハングもしない！
21. 21. コンパイルが通ったら絶対に クラッシュさせないという 熱い気持ち
22. 22. Ponyとは（再掲） • アクターモデルに特化 • 速さと（型による）安全性を追求 • pony philosophy • capability-secure
23. 23. capability secureの前に アクターモデルについて
24. 24. アクターモデル（かなり省略版） Actor Actor ActorActor Actorを用意
25. 25. 各アクターにメッセージを配信 Actor Actor ActorActor
26. 26. 各アクターにメッセージを配信 Actor Actor ActorActor
27. 27. 各アクターにメッセージを配信 Actor Actor ActorActor
28. 28. メッセージを処理 Actor Actor ActorActor 一つのアクターはシングルスレッドで メッセージを1つずつ処理
29. 29. メッセージドリブン Actor Actor ActorActor Actor 処理が終わったらまた別のアクターに メッセージを投げる
30. 30. メッセージドリブン Actor Actor ActorActor Actor 処理が終わったらまた別のアクターに メッセージを投げる
31. 31. メッセージドリブン Actor Actor ActorActor Actor 処理が終わったらまた別のアクターに メッセージを投げる
32. 32. shared nothing is 神 • 各アクターでデータを共有しないからデータ競合 しない！ • ロックも必要ないからデッドロックのリスクもない！
33. 33. アクターモデルで書ける言語 • 色々ある • Erlang/Elixir, Scala, C++,… • Erlangは神 • 軽量スレッドに最適化されたVM • ノンブロッキングな標準ライブラリ群
34. 34. 一方で
35. 35. shared nothing の課題 • Erlangなどの言語ではメッセージをコピーして渡 す必要がある。 • コピーしなくても良い物も含まれるので当然オー バーヘッドがある。
36. 36. • Scala/akkaではアクターで書きつつshared memoryっぽくデータを共有できる • しかしデータを共有したが最後、データ競合・デッ ドロックのリスクが発生してしまう • アクターモデルとは何だったのか・・・ shared nothing の課題
37. 37. 全部コンパイル時に保証して欲しい・・・ • 「shared memory方式の効率の良さ」と「shared nothingの安全性」を両立したい。 • data-raceとdead-lockが二大天敵 • shared memoryなんだけどコンパイル時にdata- raceとdead-lockが無いことを保証してくれる言 語があればできそう・・・
38. 38. というわけで Ponyの話に戻ります
39. 39. Ponyとは（再掲） • アクターモデルに特化 • 速さと（型による）安全性を追求 • pony philosophy • capability-secure
40. 40. capabilities-secure 以下の要素を満たす（という定義）http://tutorial.ponylang.org/ • 型安全 • メモリー安全 • 例外安全 • デッドロックなし • データ競合なし
41. 41. capabilities-secure 以下の要素を満たす（という定義）http://tutorial.ponylang.org/ • 型安全 • メモリー安全 • 例外安全 • デッドロックなし • データ競合なし ←コンパイル時に保障
42. 42. データ競合させないための 型修飾子
43. 43. object capabilities • オブジェクトへのアクセス権を細かく分割して型で 表現 • 全6種 • 例）複数アクターから同時にWriteできる参照が あったらコンパイルエラー 論文 http://www.ponylang.org/papers/fast-cheap.pdf
44. 44. Main Worker 例 object capabilities
45. 45. Main Worker 状態を初期化 例 object capabilities
46. 46. Main Worker 状態を初期化 初期化した状態を送信 例 object capabilities
47. 47. object capabilities
48. 48. 文字サイズが小さいので拡大 object capabilities
49. 49. new iso createという メソッド定義により 作成されたインスタンスに isoという型修飾子が ついて返ってくる isoについては後述 object capabilities
50. 50. fun refとすると 状態を変更するメソッドが 定義できる object capabilities
51. 51. refを忘れて 状態を変更すると コンパイルエラー object capabilities
52. 52. iso: read/writeユニークな参照
53. 53. iso: read/writeユニークな参照 isoを受け取るメソッド (正確にはbehavior)
54. 54. iso: read/writeユニークな参照 • 他の参照が無いので自由に書き換え可能 • 参照を破棄することで、他アクターに安全にread/ write権限を渡すことが出来る
55. 55. iso: read/writeユニークな参照
56. 56. iso: read/writeユニークな参照 isoな参照 型は推論されるので 書かなくてもOK
57. 57. iso: read/writeユニークな参照 consumeで参照を破棄 & 他アクターに渡す
58. 58. iso: read/writeユニークな参照 isoな参照を 増やそうとすると コンパイルエラー
59. 59. iso: read/writeユニークな参照 consume後の 参照は コンパイルエラー
60. 60. trn: writeユニーク • 他アクターからはreadできない • 自アクターからはreadできる • 権限を破棄すると、writeがもう存在しなくなるこ とを保証できる。=> (readする参照が別にあっても)他 アクターに安全に渡せる
61. 61. trn: writeユニーク
62. 62. trn: writeユニーク new isoからnew trn に書き換えただけなので略
63. 63. trn: writeユニーク
64. 64. trn: writeユニーク trnな変数
65. 65. trn: writeユニーク 参照を放棄 writeできる参照が なくなる
66. 66. trn: writeユニーク
67. 67. trn: writeユニーク val(定数)になる。
68. 68. • read専用（not ユニーク） • 自分のアクターでtrnが書き換えるかも • 他のアクター内にある定数かも • とりあえず値が読めれば気にしない box: read参照
69. 69. box: read参照
70. 70. box: read参照 trnと全く同じなので略
71. 71. box: read参照 trnを参照して 読み取りしてOK
72. 72. box: read参照 trn参照の末路を 気にせず読み取ってOK
73. 73. val, ref, tag (説明略) • val: immutable • ref: mutable • tag: 参照が同じかどうかの比較しかできない。 (read/writeどちらもNG)
74. 74. 型システムがアクターを前提とするメリット • data-race freeをコンパイル時に保障できるようになる • writeするなら他アクターはreadしちゃダメ。自アクターからはread OK • writeしないなら他アクターもreadしてOK。もちろん自分もread OK • write uniqueなら書き換え件を放棄したら他のアクターに定数として渡してOK • read/write uniqueなら権限放棄しつつ他アクターに渡せば、そっちでまたwriteできる • 別のアクターに渡す・自分のアクター内で処理するなど の情報が型システムで扱える。
75. 75. 型システムがアクターを前提とするメリット • zero-copyなので大きいデータをメッセージとして やり取りしてもオーバーヘットがない • 標準ライブラリがこの機能をガンガン使っているこ とによる恩恵も受けられる • 処理系がデータ競合のケアをしなくて良くなる。 GC での性能改善などに寄与している（らしい） https:// www.youtube.com/watch?v=KvLjy8w1G_U
76. 76. コンパイルが通ったら絶対に クラッシュさせないという 熱い気持ち安全な型システム
77. 77. パフォーマンス (付録) https://github.com/ponylang/ponylang.github.io/blob/master/benchmarks_all.pdf • それなりに速そう • スケジューラーとキュー も工夫あり pony
78. 78. GCもすごい (付録) • Pony-ORCA (Ownership and Reference Counting based gc for Actor?) • stop-the-world lessな並行GC • one Actor GC/cross Actor GC/Actor GC • data-race freeを前提に出来る強さ。 • 詳しくは論文(https://github.com/ponylang/ponylang.github.io/blob/master/papers/OGC.pdf)
79. 79. 他の言語との比較 (付録)
80. 80. Ponyお役立ち資料集 (付録) • とりあえず公式Tutorial & 発表 • http://tutorial.ponylang.org/ • https://www.youtube.com/watch?v=KvLjy8w1G_U • 論文 • http://www.doc.ic.ac.uk/teaching/distinguished-projects/2013/s.blessing.pdf • https://github.com/ponylang/ponylang.github.io/tree/master/papers
81. 81. まとめ • shared nothingとshared memoryを統合して高速化を図りつつ 安全に並行処理を記述できる • アクターを前提にした言語＆処理系のメリット • zero-copy & data-race free & dead-lock free • Pony-ORCA GC • 完全な研究用ではなく実用を目指している。 • 真の狙いは分散システムにある。(distributed ponyに期待)