Apache Hadoop HDFSの最新機能の紹介（2018）#dbts2018

1. Apache Hadoop HDFSの最新機能の紹介 (2018) https://www.yahoo.co.jp/ ヤフー株式会社浅沼孝信 2018年9月20日

2. 自己紹介 2 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止  名前 • 浅沼孝信  業務履歴 • 2012年新卒入社 • Apache HadoopやApache NiFiを用いた社内インフラの設計・開発 • Hadoopを中心としたOSS開発（Erasure Coding, Java9対応など） • 2018年7月からHadoopコミッター

5. Hadoopとは 5  大規模なデータを分散処理するためのオープンソースソフトウェア  主なコンポーネント • HDFS • 分散ファイルシステム • YARN • リソースマネジメント • ジョブスケジューリング  今日はHDFSの最新機能について説明します HDFS YARN MR Tez Spark Hive HBase Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

11. HDFS: NameNodeのメタデータ 11 b1 b3 b2 b1 b1b2 b2 b3 b3 NameNode DataNode b1 b2 b3 128MB 128MB metadata NameSpace Block Map File -> BlockID BlockID -> DN Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Client

12. HDFS: NameNodeのメタデータ 12 b1 b3 b2 b1 b1b2 b2 b3 b3 NameNode DataNode b1 b2 b3 128MB 128MB metadata NameSpace Block Map File -> BlockID BlockID -> DN EditLog Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 persist Client

13. HDFS: 長所と短所 13  長所 • 強い一貫性を保証 • Create, Deleteが瞬時に反映される • 大規模データのデータ分析が得意 • シーケンシャルアクセスで平行にデータを読み出すのでスループットが高い  短所 • NameNodeの責任が大きい • NameNodeのメモリサイズがボトルネックになりやすい • 特に大量の小さなファイルを扱うのが苦手 • クライアントやDataNodeのリクエストを処理しきれなくなる Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

15. HDFSのスケーラビリティの限界 15  NameNodeのメモリサイズがHDFSのスケーラビリティの制限になる  NameNodeのメモリサイズは数百GBが限界である • これ以上増やすとGCの影響が無視できない  クラスターを複数構築する（分割する） • ただし複数のネームスペースはクライアントにとって扱いにくいクライアントから見て１つのクラスタに見えるようにしたい Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

16. ViewFS 16  ViewFS • 複数のネームスペースをマウントしたビューを作ることで、クライアントから見て１つの大きなクラスタに見えることができる機能  問題 • クライアントがマウント情報を管理しなければならない ViewFS A B C / data log tmp Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

17. Router-based Federation (RBF) 17  Router • クライアントのリクエストを受け取り適切なNameNodeにルーティング  State Store • マウント情報を中央管理 • ViewFSの問題を解決  クライアント側でマウント情報を管理する必要がない！ Cluster A R DNDN DN NN State Store Cluster B R DNDN DN NN ① ② ③ ④ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

18. Router-based Federation: 開発状況 18  開発の進捗 • Phase1: HDFS-10467(Resolved v2.9.0, v3.0.0) • Phase2: HDFS-12615(Resolved v3.2.0) • 今後は新機能ごとに別JIRA・別ブランチで開発  開発が完了した機能 • Router WebUI (WebHDFS) • クラスタ全体に渡るクォータ制限 • １対＊のマウントポイント（複数クラスタに分散できる）  主な開発途中の機能 • ケルベロス認証 • クラスタ間のバランサー Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

19. Router-based Federation: 企業事例など 19  多くの企業が開発に参加！ • Microsoft, Uber, VipShop, Huawei, LinkedIn, Hortonworks, Yahoo! JAPAN...  Microsoftの活用事例 • 8個のサブクラスターを束ねている（サーバー全台合わせて２万3000台！） • 28個のNameNode • 28個のRouter  Uberの活用事例 • Hiveのジョブの中間ファイルを出力用のクラスタの分離 ※活用事例の出典: https://www.slideshare.net/Hadoop_Summit/hdfs-router-based-federation Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

21. NameNode HA のアーキテクチャー 21 Active NN Standby NN Journal nodes ① Read/Write metadata metadata EditLog Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 ② Write EditLog ③ Read EditLog

22. 問題: アクティブノードの処理がボトルネック 22 Active NN Standby NN Journal nodes ① Read/Write metadata metadata EditLog Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 ② Write EditLog ③ Read EditLog

23. Consistent Reads from Standby Node 23 Standbys Journal nodes Read/Write Read Only  処理の90%を占めるREADオペレーションだけスタンバイノードからでも実行できるようにした機能  アクティブノードは今まで通り READ/WRITEできる  Hadoop３系で実装された複数の NameNode機能（HDFS-6440）と合わせて使う Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Active

24. Consistent Reads from Standby Node: Stale Read 問題 24 Journal nodes ① write x ② Write EditLog metadata metadata EditLog ③ read x -> doesn’t exist! stale! Active NN Standby NN Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

25. Consistent Reads from Standby Node: 開発状況 25  開発に参加している企業 • LinkedIn, Uber, PayPal, …  ステータス: 開発中（HDFS-12943）  ステージ１ • Stale Readを許容できるユースケースにのみ対応 • クライアント側の設定値でStale Readするかどうか選択できる  ステージ２以降 • Consistent Readを保証するためのAPIを作成 • このAPIを実行した時点のアクティブの状態をスタンバイがキャッチアップするまでクライアント側で待機する • 他のエコシステム（MR, Spark, Hive, HBase）を新しいAPIに対応させる Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

26. もくじ 26  Hadoopとは  Router-based Federation  Consistent Reads from Standby Node  Heterogeneous Storage++  Provided Storage  Storage Policy Satisfier Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

27. Heterogeneous Storage 27 Storage Policy Block Placement Hot (default) DISK: 3 Warm DISK: 1, ARCHIVE: 2 Cold ARCHIVE: 3 /logs │ ├── last_week │ │ ├── last_month │ │ └── last_year Hot Warm Cold  データの使用頻度などに応じてHDFS上でポリシー（温度）を設定することで DataNodeの多様なストレージ（SSD, DISK, ARCHIVEなど）を効率的に利用できる機能  Yahoo! JAPANでもアーカイブディスク（ARCHIVE）に適用している Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

28. Provided Storage 28 Storage Policy Block Placement Hot (default) DISK: 3 Warm DISK: 1, ARCHIVE: 2 Cold ARCHIVE: 3 Provided PROVIDED: 1, DISK: 2 /logs │ ├── last_week │ │ ├── last_month │ │ └── last_year Hot Warm Cold  Heterogeneous Storageに新しく追加されたストレージポリシー  外部のストレージをマウントできる • 特にオブジェクトストレージをマウントすることを意識して開発された Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

29. Hadoopとオブジェクトストレージ 29  すでにいくつかのオブジェクトストレージのHadoopインターフェースはある（s3a://, abfs://, ...）がしかし・・・  HDFSとセキュリティの互換性がない • Linuxライクなpermissionが使えない • ケルベロス認証、Ranger/Sentryが使えない • クレデンシャルはクライアント側で管理  HDFSの便利な機能が使えない • クォータ制限ができない • fsckコマンドが使えない  Provided Storageを使うと解決できる！ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

30. Provided Storage 30 Remote Store PROVIDED DN PROVIDED DN NameNode AliasMap Block - file URI  他のストレージタイプ（DISK, SSD, ARCHIVE）と同じ立ち位置  外部ストレージがPROVIDEDストレージとしてマウントされる  PROVIDEDストレージのブロックと外部ストレージのファイルURIのマッピング情報がAliasMapに保存される  AliasMapはKVSで現在はLevelDBで実装されている metadata Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

31. Provided Storage 31  MicrosoftとWestern Digitalが共同で開発中  HDFS-9806: Provided Storage Phase 1 (Resolved 3.1.0) • READのみ対応 • 外部ストレージからNameNodeのメタデータを作成するツール（fs2img）が提供されている  HDFS-12090: Provided Storage Phase 2 (開発中) • WRITEにも対応 • 今年のHadoop SummitでProvided Storage経由でAzure Blob Storageへの書き込みと削除のデモが行われていた Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

32. SPS: Storage Policy Satisfier 32  Heterogeneous Storageを使っていると設定されているポリシー（温度）と実際にブロックが保存されている物理的なストレージの間にズレが生じてくる（COLDポリシーなのにSSDにあるなど）のをどうにかしたい  例 • 後からストレージポリシーを設定・変更した場合 • 違うストレージポリシー配下にmvした場合  Moverというツールを使うとズレを解消することができるが、管理者が手動で行う必要があり管理も複雑  自動でよしなにやってくれる機能が欲しい Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

33. SPS: Storage Policy Satisfier 33  現在のディレクトリ（ファイル）のストレージポリシーに合わせて、自動的にブロックを適切なストレージに移してくれる機能  SPSは新しいデーモンとして起動 $ hdfs –daemon start sps  指定したパス以下のディレクトリ・ファイルをモニタリング $ hdfs storagepolicies -satisfyStoragePolicy -path <path>  開発状況:  初期の実装完了（v3.2.0）  開発に参加している企業: Intel, Huawei, … Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

34. 本日詳しく紹介できなかったHDFSの新機能 34  Erasure Coding • DataNodeのストレージ使用量がレプリケーションと比べて半分になる • Hadoopの3系から利用可能（最新のCDHとHDPで利用可能！） • 拙著: HDFS Erasure Codingの紹介とYahoo! JAPANにおける運用事例 https://techblog.yahoo.co.jp/infrastructure/hdfs_erasure_coding/ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

35. 本日詳しく紹介できなかったHDFSの新機能 35  Apache Ozone • Hortonworksが開発しているHadoopのオブジェクトストレージ • 大量の小さなファイルも扱うことが可能 • 現在も活発に開発中 • 最近Hadoopのメインブランチにマージされた Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

36. HDFSの新機能とHadoopのリリース 36 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 RBF 1 EC PROVIDED 1 RBF 2 SPS RBF with Security PROVIDED 2 Consistent Read from Standby Ozone trunk 3.0.0 3.1.0 3.2.0

Apache Hadoop HDFSの最新機能の紹介（2018）#dbts2018

Yahoo! JAPAN デベロッパーネットワーク

Apache Hadoop HDFSの最新機能の紹介（2018）#dbts2018