shi3zの長文日記

■写真から水彩画を生成するWaterlogueとディープラーニングのインスピレーション

　けっこう前に話題になったらしいんだけど、写真を水彩画風にするWaterlogueというiOSアプリがある。

Waterlogue on the App Store on iTunes

https://itunes.apple.com/us/app/waterlogue/id764925064?mt=8

　これがかなり面白くて、なんとなく手を出したら気がついたらハマってしまって延々と水彩画を作り続けてしまった。

　特に気に入ったのは、ガジェットを絵にすること。

　昔の雑誌の挿絵のように、実に繊細なイラストが全自動で出来上がるのだ。

　僕は元来、絵心がない人間なので、こんなに手軽にイラストが作れるとなると僕という人間の表現手段が変わってくる、と思った。

　実写版パトレイバーもこの通り。

　もはや絵なのか現実なのかがわかんなくなる。

　ちなみにこの水彩画風に変換したパトレイバーをカリフォルニア大学バークレー校の人工知能に見せるとこう判定する

　ちゃんと「乗り物(vehicle)」と判別しているのは驚きだ。

　今の人工知能は「絵画」に何が書いてあるかまで判別できるのである。

　絵にするととりあえずなんでも許せる気がする。

　これは凄い。

　もちろん万能ではなくて、人物にはどちらかというと弱い。

　例えば、対象がごちゃごちゃしていて背景と区別がつかない状態だと、どれが人物かわかんなくなって破綻することがある。

　OpenCVの顔認識などと組み合わせて、顔と思われる近辺は描写を細かくするなどの工夫があるともっといいのではないか。

　ポスター写真のように比較的ハッキリしたものなら扱いやすいけど、やっぱり描線が不自然になってしまう。

　このあたりは人間の描く線にはまだまだ叶わない。

　人物画などは描線を省略するとなんとか見れるものになる。

　ただ、これはいかにも自動変換したという感じで、面白味に欠けてしまう。

　やっぱり無機質な機械の描写をさせると、これは抜群にいい。

　風景もいいのかもしれない。

　 スティーブ・ジョブズの有名な写真をイラスト風にしてみた。

　これはもう誰かが描いたといっても信じてしまいそうだ。

　しかし抜群にいいのはやはりガジェットである。

　そのまま本の挿絵につかえてしまいそうだ。

　こういう絵葉書があったら、うっかり買ってしまうかもしれない。

　機械が描き出す水彩画で、もっともしっくり来るのが無機質な機械であるというのがどうもたまらなく面白い。

　

　

　似たようなイラストが欲しいと思って発注したら、どれも数万円は掛かってしまいそうなだけに、このソフトの出現は脅威だ。

　AppStoreにしては珍しく有料ソフトなのだがその価値はある。

　けど、せっかくここまでできるんだからもっとこの路線を極める方向に行かないのだろうか、と思うと少しさびしくもある。

　アルゴリズムについての考察は、fladdictさんのやつがTogetterにまとまっている(http://togetter.com/li/616302)

　でも人間が描くとしたら、たぶんやっぱり主題と背景を分けるはずなので、主題と背景を一緒にしてしまってる時点でこれはおもちゃになってしまう。

　けれども、使う側(この場合は僕)の工夫次第で、主題のみを切り取るとガジェットの絵のように味のある表現を手にすることができる。

　ただ、主題の切り取りというのは非常に高度なので、ここはディープラーニングの出番かもしれない。

　ディープラーニングの研究の一つで、画面に写っているものが何であるか領域ごとに認識する、というものがある。

http://www.ais.uni-bonn.de/deep_learning/

　また、人間はやはり人物の顔に重大な関心があるので顔だけは特別扱いしたほうが好ましい絵が得られる気がする。

　たとえばこの絵だが、人間が描いたら唇の線はもっとハッキリさせるだろう。

　顔のパーツ、指のパーツ、ひとつひとつに対する執着(フェティシズム)がないというのが、とりあえずの欠点である。まあだからお遊びなんだろうけど。

　ところがそもそも部位ごとの執着が薄い無機質な機械ではこの程度の処理でも非常に上手くいく。これは面白い。

　Waterlogueは、作者にとっては単なるお遊びのソフトかもしれないが、僕のように思うような絵が描けない人間にとっては福音に成り得る。

　そもそもなぜ絵が描きたいか、といえば、自分の感じる心象を残したいからだ。

　

　しかし絵を描くには、膨大な訓練を必要とする。

　残念ながら僕の人生において、絵のために自分を訓練する時間をとる余裕はなかった。

　また、いくら訓練しても、才能がなければ決して上手い絵が描けるようにはならない。

　こうした写真から自動生成する絵を、さらにアニメのような完全なイラストに変換するにはもう一段か二段、なんらかのイノベーションが必要だと思うが、そのプロセスにディープラーニングは貢献できるかもしれない。

　人間に成り代わって完全に絵を自動生成するのではなく、人間の補助として絵を具現化してくれるツールは、もっと研究されて良いのではないか。

　実際、写生では、現実の風景を切り取って描く。

　場合によっては、このソフトと同じように、写真を下絵にしてトレースしたほうが綺麗に描けることも少なく無いだろう。

　頭のなかにある風景を克明に描き出すことができるのは、人類の中でもほんの一部の天才にのみ許された贅沢である。

　その能力を我々凡人が直接獲得するのは不可能としても、こうしたツールの力を借りることで自分の表現

したいことを写真ではなく絵画的に表現することができるとしたら、これは僕にとっては革命的な出来事だ。

　あとは「ここをもっと細かく」とか、プリクラのように「目はもっと大きめに」とか「口は強調しない」などの細かい指示を与えたり、漫画のようなくっきりとした描線(とはいえこれが最も難しいだろう)を生成することができたりすれば、これは面白いことになる。

　文字通り、だれでも漫画を書けるようになるだろう。

　絵で表現するのは大変だが、写真くらいならだれでも撮れる。

　多少のテクニックは必要としても、絵を描くよりははるかに簡単だ。

　そして写真から直接イラスト(より漫画的なイラスト)を表現することができれば、人類の大半はとても大きな表現の幅を手に入れることができる。

　それはあたかも、文字を読み書きできる人々がごく一部のエリートだけだった時代から、だれでも文字を書けるようになった時代への進化に近い。

　写真は主題をぼやけさせてしまう。

　どうしても情報量が多すぎるのだ。

　イラストにすることで写真とは違った表現手段を手にする。

　今はまだお遊びのためのソフトかもしれないが、正面からこうした手法に取り組めば、或いは全く新しい次元の「考える絵筆」とでも言うべき存在を人類は手にすることができるのではないだろうか。

　この手の研究はSIGGRAPHに昔からあるんだけど、いまいち主流になれなかった。

http://grail.cs.washington.edu/projects/watercolor/

http://maverick.inria.fr/Publications/2007/BNTS07/index.php

http://artis.imag.fr/Publications/2007/BNTS07/siggraph_video_watercolor.pdf

　我らがUEIリサーチの西田教授の研究チームも同様の研究を10年前に発表している

http://www.art-science.org/journal/v3n4/v3n4pp207/artsci-v3n4pp207.pdf

　主流にならない理由はいくつかあると思うが、最大のものは「水彩画の場合、良し悪しが判断つきにくい」というものがあるだろう。

　フォトリアリスティック(写実的)な表現の場合、成果がわかりやすい。

　そこには現実世界という厳然たるベンチマークが存在するからだ。

　しかし水彩画の場合、かなり適当である。

　同じ人が同じ主題で描いたとしても細かな描写は異なってくるし、ランダム性が強い。

　かといって、完全にランダムにしてしまうとそもそも何が良かったのかわからない。

　

　したがって、NPR(ノン・フォトリアリスティック・レンダリング/非写実的描写)の研究の場合、その成果が真に有用なものなのか評価する仕組みそのものが乏しかった。

　しかし、ディープラーニングによって、たとえば特定の作者の塗り癖とか、タッチとか、そういうものが学習できるようになれば、或いはこの分野は飛躍的に発展する可能性がある。

　つまり特定の作者をどの程度模倣できるか、これまでは蓋然性のある方法がなかった。

　「これはモネに似てる」といえば似てるし、「いや、似てない」といえば似てない。

　まるでギャラリーフェイクのような贋作、真作の見極めをしなければならず、そんな仕事はコンピュータ科学者の手に余った。

　しかし、ディープラーニングによって、まず「モネっぽいかモネっぽくないか」、モネの絵とモネの絵でない絵をひと通り、ひとまず機械に学習させておいて、あらためてNPR手法で生成された画像をそのニューラルネットワークで測れば、「モネっぽさ」が蓋然性を持って説明できる。

　こうなった途端、これは立派なコンピュータ科学の研究となるだろう。

　するといずれは写真を入力するとかなりモネっぽい絵を描くコンピュータが出現するのももはや遠い未来の話ではなくなるに違いない。

　なぜなら、ディープラーニング以前は人間の画家が持つ癖やランダム性というものを、数学的に模倣する方法がなかった。あくまでも数学は数学で、擬似乱数によって人間の癖を模倣するしかなく、擬似乱数にはなんの根拠もない。

　ところが画家の癖をディープラーニングによって学習することができれば、そのランダム性、作家性、作家の持ち味といった、数学的には限りなく乱数に見える部分をニューラルネットワークが認知し、「自信を持って」その作家の魂が乗り移ったかのようなタッチを再現できるようなるだろう。

　そう、あたかも神の手を持つ男、ゼロのように。

　ギャラリーフェイクのプロフェッサー・フジタが、あくまでも修復という技能を持っているのと違い(たぶん修復は既にディープラーニングでできることはわかっている/Waifu2xのノイズリダクションと原理は同じ)、神の手を持つと言われる贋作家、ゼロは芸術家の人生をトレースし、完全に芸術家になりきって新たな「真作」を創りだす。

　結局、それが真作なのか贋作なのか、背景を調べずに判別することは極めて困難で、今後研究が進んでいけば、人工知能版田中圭一のような存在ができるかもしれない。

　・・・いや、まずいか、それは。いろいろと・・・

Permalink | 06:18