これから始める人の為のディープラーニング基礎講座

これから始める人の為のディープラーニング基礎講座

1. 1. 1 これから始める人の為の ディープラーニング基礎講座 村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation
2. 2. AGENDA 機械学習とは ディープラーニング • ディープラーニングとは • ニューラルネットワークの構造 • ディープラーニングの学習とは 畳み込みニューラルネットワーク http://www.slideshare.net/NVIDIAJapan/ss-71043984
3. 3. 機械学習とは?
4. 4. 機械学習とディープラーニングの関係 機械学習 ニューラルネットワーク ディープラーニング
5. 5. 分類(Classification)と回帰(Regression) • 分類問題の例 • 画像に写っているのが猫か犬の画像か推論する • 回帰問題の例 • N社の1ヶ月後の株価を予想する 機械学習とは?
6. 6. 分類(Classification)と回帰(Regression) 機械学習とは? 分類問題 回帰問題 猫 犬 分類も回帰もデータの法則を見つけて関数近似する必要がある
7. 7. 分類問題の例 機械学習とは? 例) 正常と異常に分類する事を考える 赤:異常 青:正常 x2 x1 𝑌 = αX + β 正常 異常
8. 8. 分類問題の例 機械学習とは? 例) 正常と異常に分類する事を考える 赤:異常 青:正常 複雑な関数近似が必要になる x2 x1 異常 正常
9. 9. ディープラーニング手法による分類の例 学習が進むにつれて、分離 が上手くいくようになる
10. 10. 10 ディープラーニングとは
11. 11. 様々な分野でディープラーニングを応用 インターネットとクラウド 画像分類 音声認識 言語翻訳 言語処理 感情分析 推薦 メディアとエンターテイメント 字幕 ビデオ検索 リアルタイム翻訳 機械の自動化 歩行者検出 白線のトラッキング 信号機の認識 セキュリティと防衛 顔検出 ビデオ監視 衛星画像 医学と生物学 癌細胞の検出 糖尿病のランク付け 創薬
12. 12. 人工ニューラルネットワーク 単純で訓練可能な数学ユニットの集合体 ニューラルネットワーク全体で複雑な機能を学習 入力層 出力層 隠れ層 十分なトレーニングデータを与えられた人工ニューラルネットワークは、入力データから判断を行う 複雑な近似を行う事が出来る。
13. 13. ディープラーニングの恩恵 ディープラーニングとニューラルネットワーク  ロバスト性  特徴量の設計を行う必要がない。 – 特徴は自動的に獲得される学習用データのバラつきの影響を 押さえ込みながら、自動的に学習していく  一般性  同じニューラルネットワークのアプローチを多くの異なるアプリケーションやデータに適用する事が出来る  スケーラブル  より多くのデータで大規模並列化を行う事でパフォーマンスが向上する
14. 14. ディープラーニングのアプローチ 認識: 犬 猫 蜜穴熊 エラー 犬 猫 アライグマ 犬 トレーニング: モデル モデル
15. 15. ニューラルネットワークの構造(多層パーセプトロン)
16. 16. 人工ニューロン 神経回路網をモデル化 スタンフォード大学cs231講義ノートより 神経回路網 w1 w2 w3 x1 x2 x3 y y=F(w1x1+w2x2+w3x3) F(x)=max(0,x) 人工ニューロン
17. 17. 人口ニューロン ニューラルネットワークの構造 … … … 人工ニューロンを組み合わせ、多層ニューラルネットワークを構成可能 入力層のサイズは3 入力層のサイズはN
18. 18. 多層パーセプトロン(3層) ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 入力層 隠れ層 出力層 重み 重み
19. 19. 多層パーセプトロン(3層) ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 入力層 隠れ層 出力層 重み 重み
20. 20. 多層パーセプトロン ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 入力 データ 出力 データ
21. 21. 多層パーセプトロン ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 𝑥1 𝑥2 𝑥3 𝑤1 11 𝑤1 12 𝑤1 21 𝑤1 22 𝑤1 31 𝑤1 32 = 𝑦1 𝑦2
22. 22. 多層パーセプトロン ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 𝑦1 𝑦2 𝑤2 11 𝑤2 12 𝑤2 13 𝑤2 21 𝑤2 22 𝑤2 23 = 𝑧1 𝑧2 𝑧3
23. 23. 多層パーセプトロン ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 𝑥 𝑊1 𝑊2 = 𝑧
24. 24. 重み係数の調整 ニューラルネットワークの構造 x1 x2 x3 y1 y2 z1 z2 z3 w1 11 w1 12 w1 21 w1 22 w1 31 w1 32 w2 11 w2 21 w2 12 w2 22 w2 13 w2 23 t1 t2 t3 教師データ 出力 z と正解ラベル t の誤差を 計算し 、出力が正解ラベルに近 づくように重みW1とW2を調整 出力 ディープラーニングの学習
25. 25. 勾配降下法
26. 26. 勾配降下法 誤差逆伝播の仕組み 重み w 誤差 E 最適解 現在値 最適解に 近づけるには? 現在値から 減少させる
27. 27. 勾配降下法 誤差逆伝播の仕組み 重み w 誤差 E 最適解現在値 最適解に 近づけるには? 現在値から 増加させる
28. 28. 勾配降下法 誤差逆伝播の仕組み 重み w 誤差 E 最適解wn wm 傾きが正なら 最適解より大きい 傾きが負なら 最適解より小さい
29. 29. 勾配降下法 誤差逆伝播の仕組み 重み w 誤差 E wn+1wn+2wn 最適解 (ゴール)
30. 30. 学習率 (Learning Rate) 誤差逆伝播の仕組み 重み w 誤差 E w0w1w2w3-2wn-1wnwn 最適解 (ゴール)
31. 31. 学習率 (Learning Rate) 誤差逆伝播の仕組み 重み w 誤差 E w0w1-1wnwn 更新量 重みの更新量は 学習率(Learning Rate)で調整
32. 32. 勾配降下法の注意点 誤差逆伝播の仕組み 局所解 スタート 重み w 誤差 E ゴール
33. 33. 勾配降下法の注意点 誤差逆伝播の仕組み 最適解 スタート 重み w 誤差 E ゴール
34. 34. 誤差逆伝播法
35. 35. 39 w x y w x y w x y レイヤー1 01000 “dog” レイヤー2 入力 出力レイヤーN ロス 関数 00010 “cat” 正解ラベル x[N] y[M] w[N][M] 順伝播(forward propagation) 誤差逆伝播法
36. 36. 40 w x y w x y w x y 01000 “dog” 00010 “cat” ロス 関数 error⊿y⊿x⊿y⊿x⊿y ⊿w⊿w⊿w 逆伝播(backward propagation) 誤差逆伝播法 レイヤー1 レイヤー2 入力 出力レイヤーN 正解ラベル
37. 37. 41 w x y w x y w x y 01000 “dog” 00010 “cat” ロス 関数 error⊿y⊿x ⊿w ⊿y⊿x ⊿w ⊿y ⊿w www 重みの更新 誤差逆伝播法 レイヤー1 レイヤー2 入力 出力レイヤーN 正解ラベル
38. 38. 42 w x y w x y w x y “dog” “cat” ロス関数 error⊿y⊿x ⊿w ⊿y⊿x ⊿w ⊿y ⊿w “cat” “dog” “human” “monkey” “tiger” “lion” ミニバッチ 誤差逆伝播法 レイヤー1 レイヤー2 入力 出力レイヤーN 正解ラベル
39. 39. ディープラーニングの学習の流れ
40. 40.  データを訓練データ(training data)と検証データ(validation data)に分割する 訓練データと検証データ ディープラーニングの学習 収集したデータ 検証データ(validation data) 訓練データ(training data) 重みの更新 (学習)に使用 汎化性能の 確認に使用
41. 41. 訓練データによる重みの更新 ディープラーニングの学習 訓練データ 猫 犬 熊 検証データ 訓練データをニューラルネットワークに与え、正解ラベルと出力結果の誤差が無くなるように重みWの 更新を繰り返す 猫 犬 狸 正解は犬
42. 42. 訓練データによる重みの更新 ディープラーニングの学習 訓練データ 猫 犬 熊 検証データ 訓練データをニューラルネットワークに与え、正解ラベルと出力結果の誤差が無くなるように重みWの 更新を繰り返す 猫 犬 狸 正解に近づくように、各層の重みを更新する
43. 43. 学習ループ 訓練データと検証データの役割 訓練データ 猫 犬 熊 検証データ すべての訓練データを用いて重み更新を行う + すべての検証データで汎化性能を確認 ⇒ 1 エポック(epoch)と呼ぶ 猫 犬 狸 検証データで 現在の汎化性能を確認 (重みの更新には使用しない)
44. 44. 学習時の性能の確認 訓練データと検証データの役割 各エポックで訓練データをニューラルネットワークに与えた際の間違い率と検証データを与えた際の間 違い率を確認しながら学習を進める必要がある エラー数 エポック 0 training validation エラー数 エポック 0 training validation学習成功 学習失敗(過学習)
45. 45. 50 畳み込みニューラルネットワーク
46. 46. 51 畳込みニューラルネットワーク(CNN) • 画像認識・画像分類で使われる、高い認識精度を誇るアルゴリズム。畳込み層で画像の特徴を学習 目的 顔認識 トレーニングデータ 1,000万～1億イメージ ネットワークアーキテクチャ 10 層 10 億パラメータ ラーニングアルゴリズム 30 エクサフロップスの計算量 GPU を利用して30日 畳込み層
47. 47. 52 畳込み層 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 1 2 2 1 1 1 0 1 2 2 2 1 1 0 1 2 2 2 1 1 0 0 1 1 1 1 1 0 0 0 0 0 0 0 4 0 0 0 0 0 0 0 -4 1 0 -8 ピクセル値 (src) 畳み込み カーネル ピクセル値(dst) カーネルの中心の値はソースピクセル 上に置かれている。 ソースピクセルはフィルタを自身の積 の値に更新される。
48. 48. 53 まとめ
49. 49. Appendix. • NVIDIA Deep Learning Labs • エヌビディアが提供するAWS上でのディープラーニング自主学習コース • https://nvidia.qwiklab.com/tags/Deep%20Learning • 書籍(日本語) • 深層学習 (機械学習プロフェッショナルシリーズ)/岡谷貴之 • イラストで学ぶディープラーニング/山下 隆義
50. 50. www.nvidia.com/dli Thank you!