早大、ディープネットワークで白黒画像をカラー化、ソースコードをGitHubで公開

大隈邸温室内の大隈重信と来訪者、1910年代（プレスリリースより転載）

　早稲田大学理工学術院の研究グループは、ディープラーニングを応用して、白黒画像を自然に彩色する「ディープネットワークを用いた大域特徴と局所特徴の学習による色付け」の手法を確立し、ソースコードをGitHubに公開した。

　この手法では、白黒とカラーが組となった大量の画像から、色付けの手掛かりとなる特徴をディープラーニング技術により学習。この特徴を使って白黒画像をカラー画像に自動変換する。画像全体から抽出される大域特徴と、より小さな領域から算出される局所特徴を結び付けて利用するのが、特に本研究で開発された手法だという。

　色付けの結果はユーザテストによって評価し、約90%の色付け結果が自然であるという回答が得られたとしている。

1935年の東洋小野梓先生胸像除幕式の元画像

彩色加工した画像

　大域特徴からは、屋外と屋内、昼と夜など、写真全体についての情報が得られる。局所特徴からは、砂か葉か水かといった物体の持つ質感により、その領域をどのように色付けするのが適当かを推測ができるという。

　画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで、画像全体の構造を考慮した自然な色付けが行えるとしている。

　モデルに白黒画像を入力すると、入力画像の2分の1サイズの彩度画像が出力される。これを2倍にスケーリングし、入力画像と統合することでカラー画像を生成するという。

ディープネットワークを用いた大域特徴と局所特徴の学習による色付けのモデル構造

　なお、研究は、科学技術振興機構（JST）による戦略的創造研究推進事業CRESTの研究領域「現代の数理科学と連携する数理モデリング手法の構築」（研究総括：坪井俊）に属するプロジェクト「認識の数理モデルと高階・多層確率場による高次元実データ解析」の成果。7月に米国ロサンゼルスで開催されるコンピューターグラフィックスの国際会議「SIGGRAPH 2016」で発表される。