ディープラーニングアプリの可能性　－自動着色アプリPaintsChainer開発の経験から

1. ディープラーニングアプリの可能性 自動着色アプリPaintsChainer開発の経験から 米辻 泰山 Preferred Networks, Inc.
2. 自己紹介  米辻泰山  東大でロボコンサークルのRoboTechでメカニック  2012年度未踏人材育成プロジェクト ⇒ ノーマルクリエータ  2016年５月半ばにPFN入社 ⇒ 一ヶ月後にAmazon Picking Challenge  最近はdeep learningの勉強と称してPaintsChainerを作った 自由なプロジェクトが可能な PFNの環境はすばらしい
3. PaintsChainerとは 線画に自動的に着色するwebサービス
4. アジアを中心に世界から反響が 10ヶ国語ぐらいで記事に
5. Chainerが色塗りツールに。。。 ○○ちゃん可愛い♡♡♡ chainerですか？ 聞きしに勝るクオリティですね……やばい……(;_;)(;_;)もう色塗 りいらないやつですね……(;_;)(;_;) わー、ありがとうございます！ そうです、chainerですよ～。 凄いですよね。色塗り苦手なので重宝してますヽ(・∀・)ﾉ とあるtwitter上での会話… chainerとは： ディープラーニングフレームワークです こちらもオープンソースです 色塗りツールではありません（真顔
6. PaintsChainerの面白い所  水彩画の様な雰囲気がある 機械的にできると思われていなかった表現 → ある種の作風がある  ヒントをつけて色の指定ができる ユーザの思った通りの色がつけられる 思っていなかった意外な結果になる事も → 反応が得られる事自体が楽しい  ニューラルネットの入力と出力をユーザに直結しただけ すごくシンプルプログラムで実現されている ユーザに対話的で知能的な新しい体験を提供できた
7. ちょうど先週アイビスペイントが自動着色導入 PaintsChainerとほぼ同じ仕組み ペイントアプリ 国内トップシェア AWSのGPUノード を使っているらしい 着色の傾向は結構 PaitsChainer似 同一モデルではない アプリケーションの一部となったことで使い勝手は向上
8. Pixiv Sketch PaintsChainer UI API
9. こんなかんじ
10. こんなかんじ
11. 新モデルも選択可能 たんぽぽ（初期） さつき（new）
12. つまり すごーい たーのしー
13. それで どうやってつくったか
14. データセット作り OpenCVでイラスト画像から線画を抽出 - dilate()して一度線画をつぶしてからabsdiff() で抽出 (同僚が)スクレイピングした60万の画像を事前に処理した
15. とりあえず でぃーぷはよく知らなかったので…. とりあえずコンブデコンブして二乗誤差を目的関数に!! わからないわかる 肌色：わかる 髪の毛の色：わからない 服の色：わからない
16. カンニングしてみる 元画像のピクセルをランダムに与えるだけで、かなり塗れる！! 線画1ch＋ヒント3ch ( 32px )
17. Unetはいい(らしい)ぞ 入力側と出力側で対応する圧縮度？の情報をバイパスしてconcat 元の線画の情報を出力に近い層で使えるので線画着色向き？？
18. ノーヒントでも塗りたい  GANGANいこうぜ！！ アド婆（Adversarial Network） 「あんた、いつまでもセピア色ばっか塗ってんじゃないよ！！」 ニューラルネット 「うっせーーババアああああｗｆん」 学習崩壊！！
19. 調教むずい 最初はそもそもGANの符号がミスってた 再構成ロスとGANロスの比率を色々いじったり ファインチューニングしてみたり。。。 色がついた！！
20. 解像度２倍！！ 同じ構造のU-netで512px版を - 128px版の着色結果を元により高解像度で塗る - 二段目はアド婆なし（時間が掛かるし、不安定になる） @grapholic_sozai より
21. まとめ  Chainerつかって遊ぶの楽しいぞ → コーディングはそんなに難しくない  アプリケーション応用が急速に広まるチャンス  産業分野だけではなく、クリエイティブ分野も 音楽、ゲーム、アニメ、マンガ etc…