niconico cho kaizo

Transcript

• 1. @Hi_king ニコニコ超解像2015
• 2. 超解像 • ノイジーな小さい画像を綺麗にする • ニコニコ動画のサムネで学習しました
• 3. 超解像(good)
• 4. 超解像(bad)
• 5. 使ったネットワーク 1. ノイズ画像から9x9のパッチを入力 2. 畳み込み1 -> 9x9x32 3. RELU 4. 畳み込み2 -> 9x9x64 5. RELU 6. 畳み込み3 -> 9x9x3 7. 全結合NN -> 1x1x3 8. きれいな方の画像の画素とユークリッド距離を比較 よくあるCNNとの違いは、 • プーリングを使わない • 位置が大事だから • 分類ではなく回帰 • 出力が画素値だから
• 6. 上手くいかないところ • 色 o R,G,Bのユークリッド距離が誤差関数なんだけど、人間にとっては色味が変わる のはかなり大きい • ちょっと平滑化が効きすぎる o 全体的に平坦にしたほうがユークリッド距離の誤差小さくなるから。。。
• 7. 大変だったこと • Caffeで再帰やるの実はちょっと大変。チュートリアル には分類問題しか無い o How to regression? (issue) https://github.com/BVLC/caffe/issues/512 o “Caffeのデータレイヤで夢が広がる話” http://www.slideshare.net/rezoolab/caffe • きれいな画像の[r, g, b]というラベルだけのデータレイヤとノイジーな画像 のパッチというデータレイヤ2つ作った • ネットワークの構造によって大分結果変わる o Waifu2xを参考にしました https://github.com/nagadomi/waifu2x o 元論文も http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html • 入力パッチサイズによっても大分結果変わる
• 8. オリジナル 画素値半分 超解像