ディープラーニング徹底活用 －画像認識編－

Transcript

• 1. Hideki Tanaka TokyoWebmining ディープラーニング徹底活用 ー 画像認識編 ー x 1
• 2. 2 10
• 3. 3 [Tweet]
• 4. 4 @atelierhide
• 5. ?@atelierhide = 5
• 6. = Lens Designer@atelierhide 6
• 7. 7
• 8. = Photographer@atelierhide 8
• 9. 9
• 10. 10
• 11. = Organizer@atelierhide 11
• 12. 12 http://pydatatokyo.connpass.com
• 13. @PyDataTokyo Organizers @iktakahiro @punkphysicist @atelierhide 13
• 14. = Researcher@atelierhide 14
• 15. 15 http://marproject.org
• 16. 衛星画像をパターン認識すれば、 人知の及ばない宇宙人や文明の痕跡 を探せるのではないか？ これは計算機科学の大いなる挑戦だ！ 16
• 17. 17
• 18. 18
• 19. 19
• 20. 20
• 21. 21
• 22. 22 Wikipediaに載ってます！ [Wikipedia]
• 23. 23 宇宙のお土産！
• 24. 24 研究成果は学会で発表！ [EC2014]
• 25. さて、本日のお題は… 25
• 26. x ディープラーニング画像認識 26
• 27. このトークで議論したい たったひとつのこと 1 27
• 28. ディープラーニングで どんなアイデアが実現出来るか？ 28
• 29. アジェンダ 1. 画像認識って何？ 2. ディープラーニングって何？ 3. ディープラーニングを徹底活用！ 29
• 30. 30 1. 画像認識って何？
• 31. 31 Dog or Cat?
• 32. Kaggleをご存知ですか？ 32
• 33. 33 = データ分析コンペKaggle
• 34. 34 [Kaggle]
• 35. [Kaggle]
• 36. 36 どうやって認識する？
• 37. 37 画像から特徴量を抽出 機械学習
• 38. 38 局所特徴量抽出 SIFT SURF ベクトル量子化 Bag of Visual Words (BoVW)
• 39. 39 Bag of Visual Words (BoVW) [BoVW]
• 40. 参考文献 「セクシー女優で学ぶ画像分類入門」 @tkm2261さん x TokyoWebmining#26 40
• 41. Training set Test set : 25,000 images : 12,500 images 41 [Kaggle]
• 42. 42 60% Accuracy with Bag of Visual Words
• 43. 43 上位のKagglerは…
• 44. 44 >95% Accuracy with Deep Learning
• 45. 45 98.5%!? [Kaggle]
• 46. 46 2. ディープラーニングって何?
• 47. 多層ニューラルネットワーク input output hidden × n 47
• 48. Convolutional Neural Networks (CNNs) 画像認識の精度を飛躍的に向上したモデルで 特徴量抽出から分類までまとめて行う [SuperVision] Input Convolutional Layers Fully Connected Output 48
• 49. 49 ImageNet Large Scale Visual Recognition Challenge 2012 Method SuperVision SuperVision ISI Team Name Error (5 guesses) 7 CNNs 5 CNNs Fisher Vectors 15.3% 16.4% 26.2% 画像の1000分類タスクでSuperVisionがCNNsで圧勝
• 50. ディープラーニングの利用は 一部の研究者に限られている？ 50
• 51. No 51
• 52. 世界一のモデルが無償で使えます！ 52
• 53. このトークで言いたい たったひとつのこと 1 53
• 54. 54 学習済モデルを徹底活用しよう！
• 55. Core Language Binding Theano/Pylearn2 cuda-convnet OverFeat DeCAF Caffe Python C++ Lua Python C++ - Python Python - Python Pre-trained Models Framework × × ○ ○ ○ Deep Learning Frameworks 55
• 56. 56 [Model Zoo]
• 57. 57 Obj. Tabby Cat Tiger Cat Egyptian Cat Red Fox Lynx Scores 0.31 0.21 0.13 0.13 0.07 [Notebook]
• 58. 58 3. ディープラーニングを徹底活用！
• 59. 59 3. ディープラーニングを徹底活用！ 学習済モデル
• 60. 学習済モデルをどうやって活用するか？ 60
• 61. 61 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う
• 62. 62 学習済モデル活用事例 其の壱
• 63. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 63
• 64. 64 [Kaggle]
• 65. 65 [Caffe]
• 66. 1. 学習済モデルを用いて、入力画像の特徴量を抽出 2. この特徴量を用いて、機械学習(SVM etc.)で分類 画像入力(犬&猫) 特徴量抽出 パラメータはそのまま 66 [SuperVision]
• 67. [Kaggle]
• 68. 96% Accuracy with Pre-trained Models 68
• 69. 69 [Kaggle]
• 70. 70 学習済モデル活用事例 其の弐
• 71. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 71
• 72. ところで… 72
• 73. 73 人工知能は人間の仕事を奪うのか？
• 74. 74 すでにミュージシャンの発掘に 人工知能が使われているらしい…
• 75. それならば… 75
• 76. 76 アイドルの発掘はどうか？
• 77. やってみよう！ 77
• 78. 人口知能によるアイドルグループ 78
• 79. その名も… 79
• 80. JKC48 80
• 81. JKC48（じんこうちのう48） 81
• 82. JKC48の作り方 82
• 83. 1. アイドルの顔画像を集める 2. アイドル以外の顔画像を集める 3. 学習済モデルで特徴量を抽出する 4. 機械学習で認識器を作る 5. 認識器でメンバーをスカウトする 83
• 84. Demo 84
• 85. 85 学習済モデル活用事例 其の参
• 86. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 86
• 87. 1. 出力層を入力画像に合わせて変更 (分類数変更) 2. 学習済モデルのパラメータを最適化  → ファインチューニング 画像入力 (分類数n) n分類に変更 パラメータ最適化 87 [SuperVision]
• 88. 表情認識への応用を検討中 Angry, Disgust, Fear, Happy, Sad, Surprise, Neutral 88 [Fer]
• 89. 夏にアート作品として発表予定！ 89
• 90. 90 学習済モデル活用事例 其の四
• 91. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 91
• 92. 92 @punkphysicist@punkphysicist @atelierhide x
• 93. 93 Research Project for PyData NYC 2014
• 94. 94
• 95. 95 @punkphysicist@punkphysicist = 白ヤギコーポレーション
• 96. Copyright 2015 Shiroyagi Corporation. All rights reserved. カメリオ 「あなた色に染まるキュレーションアプリ」 96
• 97. Copyright 2015 Shiroyagi Corporation. All rights reserved. サムネイル画像 97
• 98. Copyright 2015 Shiroyagi Corporation. All rights reserved. 画像のどこが一番面白いか？ 98 真ん中？ Photos: [Kamelio1] [Kamelio2]
• 99. Copyright 2015 Shiroyagi Corporation. All rights reserved. ディープラーニングを用いたアプローチ 0 1 2 3 4 Image in Region Detec. Object Recog. Scoring Cropping 99
• 100. Copyright 2015 Shiroyagi Corporation. All rights reserved. 1 面白そうな領域の検出 Selective Searchによる領域検出 100 [Selective Search] [RCNN]
• 101. Copyright 2015 Shiroyagi Corporation. All rights reserved. ディープラーニングによる画像認識2 0 domestic cat 1.03649377823 1 domestic cat 0.0617411136627 2 domestic cat -0.097744345665 3 domestic cat -0.738470971584 4 chair -0.988844156265 5 skunk -0.999914288521 6 tv or monitor -1.00460898876 7 rubber eraser -1.01068615913 8 chair -1.04896986485 9 rubber eraser -1.09035253525 10 band aid -1.09691572189 Obj Score 101
• 102. Copyright 2015 Shiroyagi Corporation. All rights reserved. 0 person 0.126184225082 1 person 0.0311727523804 2 person -0.0777613520622 3 neck brace -0.39757412672 4 person -0.415030777454 5 drum -0.421649754047 6 neck brace -0.481261610985 7 tie -0.649109125137 8 neck brace -0.719438135624 9 face powder -0.789100408554 10 face powder -0.838757038116 2 Obj Score ディープラーニングによる画像認識 102
• 103. Copyright 2015 Shiroyagi Corporation. All rights reserved. 面白さのヒートマップ3 103
• 104. Copyright 2015 Shiroyagi Corporation. All rights reserved. 画像切り抜き4 104
• 105. 105 まとめ
• 106. 106 ディープラーニングを使って 面白いアイデアを実現しよう！
• 107. One More Thing… 107
• 108. 108 http://marproject.org
• 109. 学習済モデル活用のアイデア ① 特徴量抽出器として使う ② ファインチューニングをする ③ 物体検出に使う 109
• 110. 110 [EC2014]
• 111. 111 ディープラーニングの顔検出器による惑星探索 誤認識率低下＆より人間の顔に近い構造物の発見
• 112. 112 Sliding Window + 学習済モデルによる火星探索
• 113. 113 African Greyの化石を発見！
• 114. 114 Microsoft Azure for Research Award を受賞しました！
• 115. 115 Microsoftより1年間の計算資源貸与！ 32 small compute instances 10 TB of storage 1 billion storage transactions 10 shared websites/10 shared mobile services 100 million service bus messages 100 GB SQL database 2 TBs network egress/month The estimated total market value: $40,000
• 116. 116 調査は現在も進行中…
• 117. 117 ありがとうございました！
• 118. 118 References [Tweet] https://twitter.com/hamadakoichi/status/555711959916503041 [Wikipedia] http://en.wikipedia.org/wiki/Face_on_Moon_South_Pole [EC2014] https://ipsj.ixsq.nii.ac.jp/ej/? action=repository_uri&item_id=102962&file_id=1&file_no=1 [Kaggle] https://www.kaggle.com/c/dogs-vs-cats [BoVW] https://gilscvblog.wordpress.com/2013/08/23/bag-of-words-models-for- visual-categorization/ [セクシー女優] http://www.slideshare.net/tkm2261/tokyowebmining26-3 [Model Zoo] http://caffe.berkeleyvision.org/model_zoo.html [Notebook] http://nbviewer.ipython.org/github/BVLC/caffe/blob/master/examples/ filter_visualization.ipynb
• 119. 119 References [Caffe] http://dl.caffe.berkeleyvision.org/caffe-presentation.pdf [SuperVision] A. Krizhevsky, I. Sutskever, and G. Hinton. Imagenet classification with deep convolutional neural networks. NIPS, 2012. [Fer] https://www.kaggle.com/c/challenges-in-representation-learning-facial- expression-recognition-challenge [Kamelio1] http://netgeek.biz/archives/25449 [Kamelio2] http://seiyuusokuhou.blog106.fc2.com/blog-entry-10356.html [Selective Search] Jasper R. R. Uijlings, Koen E. A. van de Sande, Theo Gevers, Arnold W. M. Smeulders. Selective Search for Object Recognition. IJCV, 2013. [R-CNN] R. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. CVPR, 2014.