サポートメンバは見た! Hadoopバグワースト10 （adoop / Spark Conference Japan 2016 ライトニングトーク発表資料）

サポートメンバは見た! Hadoopバグワースト10 （adoop / Spark Conference Japan 2016 ライトニングトーク発表資料）

1. 1. Copyright © 2016 NTT DATA Corporation 2016/2/8 NTTデータ 鯵坂 明 サポートメンバは見た! Hadoopバグワースト10 Hadoop Conference Japan 2016 ライトニングトーク
2. 2. Copyright © 2016 NTT DATA Corporation 2016/2/8 NTTデータ 鯵坂 明 サポートメンバは見た! Hadoopバグワースト7 10 Hadoop Conference Japan 2016 ライトニングトーク
3. 3. 3Copyright © 2016 NTT DATA Corporation  過去5年にわたるNTTデータのHadoopサポートサービスにおい て、問題になったHadoopのバグをおおよそ時系列順に紹介  対象バージョン  詳細  確認方法  "バージョンアップ以外の"対策  関連するJIRAの番号 - https://issues.apache.org/jira/browse/<JIRAの番号>  新しいバージョンではほぼ全てfixされている  略称一覧  NN(NameNode), DN(DataNode), SNN(SecondaryNameNode), NM(NodeManager), JT(JobTracker) まえがき
4. 4. 4Copyright © 2016 NTT DATA Corporation  対象: 2.0.3-alpha以前  詳細:  HDFSのファイル名に🐱(U+1F4131)のような、UTF-8において4バ イトで表現される文字が含まれる場合、チェックポイント処理に失 敗し続け、editsが肥大化する  NNを再起動できなくなる  確認:  Edits viewerで多バイト文字が含まれるファイルを探す  対策: ファイル名に多バイト文字を避ける  HiveのDynamic Partitionで、テーブルの中身からHDFSのファイル 名が自動生成される場合に注意  関連: HADOOP-9103 1. UTF-8の4バイト文字が正しくデコードできない
5. 5. 5Copyright © 2016 NTT DATA Corporation  対象: 2.8.0以前 (現在のリリースバージョン全て)  詳細:  Hiveでは、クエリの先頭(コメント含む)を使って最大50文字になる ようジョブ名を自動生成する  JobHistoryのファイル名には、URLエンコードされたジョブ名が含 まれる  ジョブ名にマルチバイト文字が含まれる場合、URLエンコードされ ることでファイル名がOSの制限(255文字)を超える  確認: JT/MRAppMasterログ 2. MapReduceのJobHistoryFileが作成できない 20XX-XX-XX XX:XX:XX,XXX ERROR org.apache.hadoop.mapred.JobHistory: Failed creating job history log file for job job_201510291126_147769 java.io.FileNotFoundException: /var/log/hadoop-0.20- mapreduce/history/job_2015XXXXXXXX_XXXXXX_XXXXXXXXXX_XXXXXXX_XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX- XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX (ファイル名が長すぎます) at java.io.FileOutputStream.open(Native Method)
6. 6. 6Copyright © 2016 NTT DATA Corporation  対策:  Hiveクエリの先頭(コメント含む)にマルチバイト文字(ひらがなカタ カナ漢字)を使わない  Hiveのプロパティ "hive.jobname.length" をデフォルトの50より 小さい値にする  関連: MAPREDUCE-6616 2. MapReduceのJobHistoryFileが作成できない
7. 7. 7Copyright © 2016 NTT DATA Corporation  対象: 2.1.0-beta以前の2系  詳細:  pipeline recovery時にDNがdeadlockする可能性がある  NNとheartbeat通信できなくなり、HDFSクラスタから切り離される  確認: DNのスタックトレース  明にdeadlockと表示されないことに注意 3. DataNodeがdeadlockする "DataXceiver for client DFSClient_NONMAPREDUCE_1090577789_1 at /XXX.XXX.XXX.XXX:48891 [Receiving block BP-195048853-127.0.0.1- 1351858280084:blk_170845781886878002_707423606]" daemon prio=10 tid=0x0000000042d34800 nid=0x5282 in Object.wait() [0x00007efed39b5000] java.lang.Thread.State: WAITING (on object monitor) at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1186) - locked <0x0000000761939bf8> (a org.apache.hadoop.util.Daemon) at java.lang.Thread.join(Thread.java:1239) at org.apache.hadoop.hdfs.server.datanode.ReplicaInPipeline.stopWriter(ReplicaInPipeline.java:157) at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl.recoverRbw(FsDatasetImpl.java:706) - locked <0x0000000750413dd0> (a org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl) "DataXceiver for client DFSClient_NONMAPREDUCE_591891114_1 at /XXX.XXX.XXX.XXX:48889 [Receiving block BP-195048853-127.0.0.1- 1351858280084:blk_-1426412348578625507_707423594]" daemon prio=10 tid=0x000000004190c000 nid=0x527c waiting for monitor entry [0x00007efed49c5000] java.lang.Thread.State: BLOCKED (on object monitor) at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl.recoverRbw(FsDatasetImpl.java:692) - waiting to lock <0x0000000750413dd0> (a org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl)
8. 8. 8Copyright © 2016 NTT DATA Corporation  対策:  Deadlockが発生したDNを再起動する  関連: HDFS-4851, HDFS-5016  Cloudera blog: http://www.cloudera.co.jp/blog/understanding-hdfs- recovery-processes-part-2-ja.html 3. DataNodeがdeadlockする
9. 9. 9Copyright © 2016 NTT DATA Corporation  対象: 2.3.0以前  詳細:  append APIを実行すると、ブロックの世代が新しくなる  このタイミングでover replicatedの状態になると、excess blockと して新しいブロックが消されることがある  運悪く新しいブロックが全て消されると、残った古いblockが corrupt扱い → missing block  確認:  auditログから、appendを実行していたかどうか確認する  詳細を見るには、NNとDNログを追いかけるしかない  対策:  HDFS append APIをなるべく使わない (hflush/hsyncがある)  特に、close直後のappendを避ける - close直後はover replicatedになりやすい (HDFS-1172)  関連: HDFS-5438 4. HDFSでMissingBlockが発生する
10. 10. 10Copyright © 2016 NTT DATA Corporation  対象: 2.7.0以前  詳細:  HDFSのチェックポイント処理中にタイムアウトした場合、転送途 中のfsimageが消されずに残る - NN/SNNのディスク容量が圧迫される  確認: NN/SNNのfsimage保存領域に、名前に".ckpt"を含むファ イルがある  対策: 手動で中間ファイルを消す  関連: HDFS-7373 5. HDFSのcheckpoint失敗時に転送途中のfsimageが消えない # ls -l /data/hdfs1/dfs/name/current/ -rw-r--r-- 1 hdfs hadoop 915 6月 11 19:03 2014 edits_0000000005216326417-0000000005216326429 -rw-r--r-- 1 hdfs hadoop 2538168320 6月 11 18:31 2014 fsimage.ckpt_0000000005216326414 -rw-r--r-- 1 hdfs hadoop 3251730168 6月 11 18:37 2014 fsimage_0000000005216326416 -rw-r--r-- 1 hdfs hadoop 62 6月 11 18:37 2014 fsimage_0000000005216326416.md5
11. 11. 11Copyright © 2016 NTT DATA Corporation  対象: 2.6.4/2.7.2より前の2系  詳細: 1. Excess Blockが発生 (replication数を変化させるなどで) 2. NNが該当ブロックを消去するようDNに依頼 3. DNが該当ブロックを消去して、NNにIncrementalBlockReportを 送り、NNがそれを処理する前に該当ブロックを含むファイル自体 が消去される 4. ExcessBlocksメトリクスとそのブロックを管理している Map(excessReplicateMap)がリセットされない  メモリリーク  確認: fsckを実行したときのover-replicated blockの値と、メト リクスExcessBlocksの値がずれている  対策: NameNodeをF/Oもしくは再起動する  関連: HDFS-6945 6. メトリクスExcessBlocksの値が正しくない
12. 12. 12Copyright © 2016 NTT DATA Corporation  対象: 2.7.0, 2.7.1  詳細:  ContainerMetricsの取得時にdeadlockすることがある  Metricsが取得できない (そのためWebUIも見れない)  ただしジョブは動作している  確認: NMのスタックトレース 7. NodeManager WebUIにアクセスできない Found one Java-level deadlock: ============================= "1193752357@qtp-907815246-22238": waiting to lock monitor 0x0000000005e20a18 (object 0x00000000f6afa048, a org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainerMetrics), which is held by "2107307914@qtp-907815246-19994" "2107307914@qtp-907815246-19994": waiting to lock monitor 0x0000000001a000a8 (object 0x00000000d4f1e1f8, a org.apache.hadoop.metrics2.impl.MetricsSystemImpl), which is held by "Timer for 'NodeManager' metrics system" "Timer for 'NodeManager' metrics system": waiting to lock monitor 0x00000000027ade88 (object 0x00000000f6582df0, a org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainerMetrics), which is held by "1530638165@qtp-907815246-19992" "1530638165@qtp-907815246-19992": waiting to lock monitor 0x0000000001a000a8 (object 0x00000000d4f1e1f8, a org.apache.hadoop.metrics2.impl.MetricsSystemImpl), which is held by "Timer for 'NodeManager' metrics system"
13. 13. 13Copyright © 2016 NTT DATA Corporation  対策: ContainerMetricsを利用しない  "yarn.nodemanager.container-metrics.enable"をfalseにする  関連: YARN-3619, YARN-4563 7. NodeManager WebUIにアクセスできない
14. 14. 14Copyright © 2016 NTT DATA Corporation HDFSのBlockが消える話 「本当にあったHadoopの恐い話～ Blockはどこへきえた？」 にて詳しく紹介!
15. 15. Copyright © 2011 NTT DATA Corporation Copyright © 2016 NTT DATA Corporation