不揮発メモリとOS研究にまつわる何か

1. 不不揮発メモリとOS研究にまつわる何か産業技術総合研究所情報技術研究部⾨門⾼高野了了成 1 2014/12/11 ビッグデータ基盤勉強会@NTT武蔵野研究開発センタ

2. ポジショントーク（１）計算機アーキテクチャの進化≒メモリ技術の進化 Ꮫ᣺165 @ᮾ኱ – 仮想記憶：メモリが沢⼭山欲しい – キャッシュ：メモリを早くしたい – ストレージクラスメモリ 2 SCMRequirement ExpectedFuture SRAM NANDFlash HDD 5ns 50ns 1ms 10ms DRAM SCM z SCMismainapplicationtechnologies z SCMRequirement z Performance BetweenDRAMandz Density(bitcost) BetweenDRAMandIn2015, bits 4G 128G メモリ階層の深化

3. ポジショントーク（２） • 次世代（不不揮発）メモリは計算機アーキテクチャ、特にシステムソフトウェアに変⾰革をもたらすか？ – 「Yes!!」（と思いたい） – 可能性は未知数 • 特性の異異なるメモリをどう使いこなすかが課題 – ユニバーサルメモリは幻想？ • 本研究会への期待 – ビッグデータ処理理系、アーキテクチャの研究者とのディスカッション・コラボレーション 3

4. 発表の流流れ • 産総研IMPULSEプロジェクトの紹介 • 不不揮発メモリを活⽤用したOS研究（始めました） 4

5. 5 Architecture Front-End Cluster Web 250 racks Ads 30 racks Cache (~144TB) Multifeed 9 racks Other small services Five Standard Servers Service Cluster Back-End Cluster Search Photos Msg Others UDB ADS-DB Tao Leader “Flash at Facebook”, Flash Summit 2013 Standard Systems I Web III Database IV Hadoop V Photos VI Feed CPU High 2&x&E5*2670 High 2&x&E5*2660 High Low High 2&x&E5*2660 2&x&E5*2660 Memory Low High 144GB Medium 64GB Low High 144GB Disk Low High&IOPS 3.2&TB&Flash High 15&x&4TB&SATA High 15&x&4TB&SATA Medium Services Web,&Chat Database Hadoop (big&data) Photos,&Video MulPfeed, Search,&Ads

6. Open Compute Project 6 • コモディティ製品の利利⽤用から、ユーザ主導の設計へ • 2011年年4⽉月に⽶米フェイスブックが、同社データセンターにおけるサーバや設備の仕様をオープンソース化 • ⼤大規模データセンターの集積度度や省省エネルギー性の向上 – Industry Standard: 1.9 PUE – Open Compute Project: 1.07 PUE • サーバ、ストレージ、ラック、ネットワークスイッチ、データセンター設計などに関する仕様が公開 • 製品化の開始：Quanta Rackgo X, GIGABYTE DataCenter Solution Open Compute Rack v2（右図）

8. HP “The Machine” 8 ⽤用途特化型コア＋（SoC）ユニバーサルフォトニクス＋メモリプール（＋ファブリック）

9. ここ⼀一年年近くの動向まとめ • 皆同じようなことを考えている – Open Compute Project (Facebookなど) – Rack Scale Computing (Intel) – Extremely Shrinking Computing (IBM) – The Machine (HP) – FireBox (UCB) – CTR Consortium (MIT) • 基本アイデアは３つの組み合わせ – パワフルなノード（計算機、メモリ、ストレージ） – 超広帯域光インターコネクト – 光スイッチによるネットワーク • ただし、コンセプト先⾏行行で、皆、絵に描いた餅の状態 9

10. ⾼高電⼒力力効率率率⼤大規模データ処理理イニシアチブ（IMPULSE）超省省電⼒力力で超⾼高性能な⾰革新的データ処理理により書き換え電⼒力力 1/1000 ・・・不不揮発メモリ・・・ Optical Network Future data center 省省電⼒力力ロジック・シミュレーション 0.4V動作三次元ロジック NVRAM 光ネットワーク Logic I/O NVRAM Logic I/O NVRAM Logic I/O ×

11. Separated packages 2.5D stacked package 3D stacked package データセンター㻻㻿データフロープランニング資源モニタリング・管理理 2014 2020 2030

12. 動作電⼒力力 1/000 ⼤大規模データ活⽤用技術開発を主導 10 アーキテクチャサーバモジュール光ネットワークストレージ

13. 11 㟁ᅽ㥑ືᆺ୙᥹Ⓨᛶ☢Ẽ䝯䝰䝸 ●電圧による新しい低消費電力スピン制御技術を開発 ●従来の電流駆動型と比較して1/100以下の低消費電力化が可能 ●超低消費電力駆動な不揮発性磁気メモリの実現に貢献電子が有する電荷とスピンの２つの自由度を同時に活用する新しいエレクトロニクスデバイスの創製応用デバイス例 MgO-MTJ MgO磁気トンネル接合(MTJ)素子 MgO-MTJ 高感度磁気ヘッド不揮発性固体磁気メモリ現状本プロジェクトのターゲットスピンの制御に大きな電流が必要電圧駆動型へスピントルク型 1996年～ Slonczewski, berger 電流磁界型 1820年～ Oersted 20 nm スピントロニクスの応⽤用電圧駆動型不不揮発性磁気メモリスピンの向きを電圧印加により操作

14. ḟୡ௦䝕䞊䝍䝉䞁䝍䞊ෆග䝛䝑䝖䝽䞊䜽 ●シリコンフォトニクスによる大規模クラスタースイッチを開発 ●波長多重・多値変調によるエラスティック光インターコネクト実証 ●3-4桁小さなエネルギーで動作するビッグデータ時代の光ネットワークを実現䝕䞊䝍䝉䞁䝍䞊䞉䝃䞊䝞䞊䝷䝑䜽䝅䝸䝁䞁䝣䜷䝖䝙䜽䝇䞉 Ἴ㛗ከ㔜䞉ከ್ኚㄪ䜽䝷䝇䝍䞊䝇䜲䝑䝏 ග䜲䞁䝍䞊䝁䝛䜽䝖 DSP Comb Tx Rx source Memory cube CPU /GPU 2.5D-CPU䜹䞊䝗変調器波長合波器 ග䝇䜲䝑䝏䞉䝏䝑䝥 ⌧≧㟁Ẽ䝇䜲䝑䝏ᐜ㔞䠖䡚㻝㻟㻜㼀㼎㼜㼟䊼䡚㻡㻜㻜㻼㼎㼜㼟䜈 Ἴ㛗ᩘ ከ್ᗘ ⥲ᖏᇦ 1 1 20 Gbps 4 8 640 Gbps 32 8 5.12 Tbps 波長分波器波長バンク（非線形光コム）・・・光ファイバシリコンフォトニクス集積 Ø Ἴ㛗䝞䞁䜽ከ㔜᪉ᘧ䛸ከ್ኚㄪ䛻䜘䜚䚸ᖏᇦ䛜ఙ⦰⮬ᅾ䚷 Ø 䝅䝸䝁䞁䝣䜷䝖䝙䜽䝇䛻䜘䜛㉸ ᑠᆺ໬䞉኱つᶍ㞟✚ Ø 䜰䝰䝹䝣䜯䝇䝅䝸䝁䞁䠏ḟඖග㓄⥺ Ø 䝃䞊䝞䜰䞊䜻䝔䜽䝏䝱 ⌧≧䛿䚸䝣䜯䜲䝞䛒䛯䜚㻝㻜㻜㻳㼎㼜㼟䊼䡚㻌㻡㻚㻝㻞㼀㼎㼜㼟䜈㻝㻞 ⌧ᅾ䚸FSᐇ᪋୰

15. 13 AISTʼ’s dataflow centric architecture DPC (GPU+ mem) Network Warehouse scale infrastructure DPC (Storage + proc) DPC (Storage + proc) DPC (Storage ) DPC (Storage) DPC (Storage) DPC (spec. HW +mem) DPC (spec. HW +mem) DPC (Proce ssor) DPC (Proce ssor) DFOS DPF 1 DPF 3 (Data archive) DPF 2 DPC: Data Processing Component DPF: Data Processing Function DFOS: Data Flow Operating System

16. シンポジウム開催予告 • 産総研STARシンポジウム「⼤大規模データ処理理を実現する超省省電⼒力力ハードウェアの将来像」 • 開催概要 – ⽇日時：2015年年1⽉月26⽇日（⽉月）10:00〜～17:30 – 場所：コクヨホール（品川） – 主催：（独）産業技術総合研究所／⽇日本を元気にする産業技術会議 – 後援：⽇日本経済新聞社 – 参加費：無料料 – 定員：300名 – URL：https://unit.aist.go.jp/raipl/star/impulse/sympo.html 14

17. （歴史的）不不揮発メモリ 15 A 32 x 32 core memory plane storing 1024 bits of data [Wikipedia] A drum memory of Polish ZAM-‐‑‒41 computer [Wikipedia] →コアダンプの由来 →/dev/drum （スワップデバイス）の由来

18. （次世代）不不揮発メモリ • 相変化メモリ（PCM） – 加熱によって結晶状態（低抵抗状態）と⾮非結晶状態（⾼高抵抗状態）を制御 • 抵抗変化メモリ（ReRAM） – 電圧パルスの印加によって電気抵抗を制御 • 磁気抵抗メモリ（MRAM） – 磁化⽅方向の違いを電気抵抗に変換 • スピン注⼊入メモリ（STT-‐‑‒MRAM） – MRAMの⼀一種。スピンにより磁化反転 16

19. 不不揮発メモリ 17 アモルファス⾼高抵抗 PCMSTT-‐‑‒MRAM 結晶低抵抗磁化が反平⾏行行⾼高抵抗磁化が平⾏行行低抵抗加熱 ReRAM 還元⾦金金属酸化物セット状態酸化リセット状態

20. “RRAM Opportunity for High density memory application”, S. Chung@SK hynix, Flash memory summit 2014. 2013 FMS, RRAM session 18 RRAM Potentials Requirements for SCM • Non-volatile, byte accessible • High capacity + Short latency + Wide B/W @ moderate power ReRAM is a good candidate • Smaller power consumption than PRAM (I_reset < 1/3) • Cross Point Array (XPA) + Multi-Level Stacking (MLS) Flash Memory Summit 2014 Santa Clara, CA 4

21. “Prospect for New Memory Technology”, S. W. Park@SK hynix, Flash memory summit 2012. Drop in Replacement ▶ Compatible Interface with Conventional Memory (DDRx / LPDDRx) Cost & Power (vs. DRAM) ▶ Cost Down & No Refresh-Power (Scalability & Non-Volatile) Reliability & Performance (vs. NAND) ▶ Implement Native High IOPS (Byte Operation, Better than NAND Reliability) 10 SCM DRAM (Cost, Power) *) New memory technology should meet at least one of requirements Reliability & Performance Density New Memory : Requirements DRAM (Cost, Power) NAND (Reliability) 19

22. 計算機アーキテクチャと不不揮発メモリ 20 CPU NVRAMDRAM CPU NVRAM DRAM CPU NVRAM (A) Replace disk(B) Shared address space(C) Entirely NVRAM ※EverspinのSTT-‐‑‒MRAMはDDR3互換インタフェースで接続

23. Storage Class Memory (1) Phillip Mills (IBM), “Storage Class Memory – the Future of Solid State Storage,” SNIA 2009 21 12 SCMRequirement Ꮫ᣺165 @ᮾ኱ ExpectedFuture SRAM NANDFlash HDD 5ns 50ns 1ms 10ms DRAM SCM z SCMismainapplicationforReRAM technologies z SCMRequirement z Performance BetweenDRAMandNAND z Density(bitcost) BetweenDRAMandNAND In2015, Keyaspectistorealizeatleast16Gbit astheproduct bits 4G 128G Memory positionApplication Usage byte addressing block addressing

24. Storage Class Memory (2) ※出典ストレージインタフェースを採⽤用する限り、不不揮発性メモリの⾼高速化のメリットは⼩小 → OpenNVM, Linux Persistent Memory (DAX, etc) 22 12 SCMRequirement Ꮫ᣺165 @ᮾ኱ ExpectedFuture SRAM NANDFlash HDD 5ns 50ns 1ms 10ms DRAM SCM z SCMismainapplicationforReRAM technologies z SCMRequirement z Performance BetweenDRAMandNAND z Density(bitcost) BetweenDRAMandNAND In2015, Keyaspectistorealizeatleast16Gbit astheproduct bits 4G 128G HardwareFile SystemSystem call HDD6900μs SSD100μs4μs1μs New NVMs<5μs ※筒井（ソニー）”⾼高速ReRAMの応⽤用技術,” 学振165, 2014

25. 不不揮発メモリとOS研究 • 夢の？単⼀一記憶（ワンレベルストア） – メモリ＝ストレージ – ページキャッシュは不不要 – ページングも不不要？保護はどうする？ • 不不揮発ならではの悩み – プログラムのライフサイクル管理理（起動、停⽌止、更更新）はどうする？ – セキュリティ的に明⽰示的に消去する必要があるかも 23 K. Bailey, L. Steven, D. Gribble, H. Levy, Operating System Implications of Fast, Cheap, Non-‐‑‒Volatile Memory [HotOS11]

26. 関連研究 • ファイルシステム – Unioning of the buffer cache and journaling layers [FAST13] – Byte addressable file system (BPFS) [SOSP09] • ストレージ – Whole-‐‑‒system persistence [ASPLOS12] – NV-‐‑‒Heap [ASPLOSS11] – Mnemosyne [ASPLOS11] • プロセスの永続化 – NV-‐‑‒Process [APSys12] • Linux kernel – Block I/F: NVMeドライバ – Memory I/F: PMFS、DAX 24

27. OS研究とDB研究 • 70〜～80年年代：UNIX – Ingres（PostreSQLの先祖） • double buffering問題 • “Operating System Support for Database Management,” M. Stonebraker, CACM, Vol.24, No.7, July 1981 • 90年年代：マイクロカーネル – ライブラリOS（e.g., exokernel） – 64ビット単⼀一アドレス空間OS（e.g., Opal） – オブジェクト指向DB • プログラミング⾔言語のオブジェクトの永続化 • データ間のリンクをポインタで表現（Pointer swizzling） • 2010年年代：仮想化、メニーコア化 – ビッグデータ処理理系（e.g., Hadoop） • スケーラビリティ、耐障害性 25

28. DB専⽤用OSの可能性 • ライブラリOSの利利⽤用 – OSはホワイトボックスに – c.f. データセンタ向けに特化した⾼高速I/Oを有するライブラリOS研究（Arrakis、IX、etc） – ⾼高い抽象度度のOS・VM間I/F • OSはファイルシステムもネットワークスタック不不要 What is OSv? Traditional Stack Thin OS Java App App Server Hypervisor Hardware JVM guest OS C++ App guest OS App Server OSv + JVM Your App Hypervisor Hardware Your App OSv 26 OSOSOS Tuple space (dKVS) VMMVMMVMM

View stunning SlideShares in full-screen with the new iOS app!

SlideShare for iOS

Views

Actions

Embeds 0

Report content

Transcript