shi3zの長文日記

■Everfilter は本当にディープラーニングを使っているのか?　どうやって? 08:06

　Everfilterという写真加工アプリが話題になっている。

　ディープラーニングを駆使して写真を「アニメ風」に加工するというものだ。

　実はひょんなコトからアニメっぽい絵をディープラーニングで出す、ということにはいろいろ関わっているので本当にできるなら面白そう、と思っていたのだが・・・

#everfilter が流行ってるようだけど、これは確実に著作権侵害だと思うのよ。ディープラーニングとか言うけど、新海監督の背景全部覚えてる僕にはどれもこれも新海監督の描いた背景との合成であることがすぐに分かってしまうよ。

やっくんさんのツイート: "#everfilter が流行ってるようだけど、これは確実に著作権侵害だと思うのよ。ディープラーニングとか言うけど、新海監督の背景全部覚えてる僕にはどれもこれも新海監督の描いた背景との合成であることがすぐに分かってしまうよ。 https://t.co

https://twitter.com/rakynet/status/805069958212243456

　こちらのツイートを見ると、なるほど、あまりにもそっくりである。

　ディープラーニングの場合、当然、学習した元のデータがなんであれ、元のデータに似てしまうものが偶然生成されることはあり得る。

　しかし日本の著作権法では著作物を人工知能が学習すること自体は合法であるため、その生成物に著作物の派生系としての明確な類似が認められるケースについてはまさに今、というか明日もやるが、内閣府で議論しているところだった。

　日本はコンテンツ立国であるため、アニメを始めとする著作物に関しては現政権も並々ならぬ関心を持っており、実際に知的財産戦略を承認、実行する政府の「知的財産戦略本部」は、本部長を内閣総理大臣、副本部長に内閣官房長官、知的財産担当特命大臣、文部科学大臣、経済産業大臣となり、本部員は全ての大臣および有識者、という体制になっている。

知的財産戦略本部 構成員

http://www.kantei.go.jp/jp/singi/titeki2/pdf/meibo.pdf

　これは我が国が真剣に知的財産戦略に取り組んでいる証であり、有識者の意見は直接内閣総理大臣に伝えられ、その場で政策が決定するとても重要な会議体である。

　そして明日はこの知的財産戦略本部配下の各委員会の中でも特にAIによる創作物の知財をどのように扱い、保護するべきか検討する「新たな情報財見当委員会」が開催されるので、僕としても本当にこれがディープラーニングによるシロモノだったら、把握しておかなければならないと思って、日曜の早朝に眠い目をこすりながらこの文章を書いている。

　さて、僕の思う結論から先にいうと、「Everfilterはディープラーニングまたは何らかの機械学習手段を使っている可能性は存在するが、新海誠の著作権は侵害している」と思う。

　どういうことか。

　ふつうに考えると、AIが完全に自動生成するというと上図のようなニューラルネットワークを想像する。

　そして現行法ではこれを取り締まることが出来ない。

　これはdeepart.ioなどのいわゆるスタイル転写と呼ばれる技術だ。

　ただし、これを作るためには、写真と、その写真をもとに描かれたアニメのペアを作る必要があり、これはとても労力がかかるのであまり現実的ではない。いくら中国人が沢山いるからといってそのレベルの暇人を集めるというのは容易では無いはずだ。

　ねぼけまなこで件のツイートをみた僕は、「議論の最中に厄介な事案が出てきてしまった」と思ったので飛び起きたのだ。

　しかしどうも妙である。

　件のツイートの画像を確認すると、おかしなことに気づいた。

　Everfilterから生成された雲と、新海誠の雲がどうみても「完全に一致」してるのである。

　普通に考えるとこんなことはまずありえない。

　たとえば、DeepArtの場合、スタイル画像と元画像を使うが、生成画像はそのどちらとも違う。細部のディティールが残ることなどあり得ない。

　しかし、Everfilterの出力は明らかに新海誠の雲をそのまま(実際には左右反転して)コピペしているのである。

　どうしてこういうことがおきるのだろうか。

　さらにいえば、計算が速過ぎる。

　だいたい生成に1杪くらいしかかかっていない。いくらiPhoneが高性能になったといっても、PCでやっても相当な時間を要する計算が一瞬で終わるとは思えない。

　

　すると奇妙なことがわかった。

　これは東京大学本郷キャンパスを撮影した写真である。

　元の写真はこれ

　不自然なまでに空が新海誠である。

　東京駅丸の内駅舎を写した写真もこうなる。

　さて、他の#everfilterのツイートを見ていると、どうも地上のものが空にかき消されるような表現が多い。特にエッフェル塔やスカイツリーなどの尖塔は空にかき消されている。これはどういうことだろう。

　この写真は、ぜんぜんアニメっぽくない。

　というかディティールが残りすぎていて、これは単なる画像加工に見える。

　この程度の加工をするソフトなら、過去にいくらでもあっただろう。要は輪郭部以外の平滑化と色調変化をさせているに過ぎない。

　このエッジがシャープな画像というのは、いまのAIが苦手なところである。

　エッジにはどうしてもノイズが乗ったり、ディティールは潰れたりするのに、このEverfilterの結果は、エッジが潰れていないことから、単なる画像加工をしているだけに見える。

　そして画面右端に注目して欲しい。

　なぜかここに新海誠の空が現れるのだ。

　だんだん、正体がつかめてきた。

　これは安田講堂の写真だが、やはり塔の先端部が消えかかっている。そしてびっくりするほど新海誠である。

　断定はできないが、Everfilterの原理を推測するとこういう仕組みではないだろうか。

　まず、画像から空っぽいところを検出する。

　今の機械学習では、ディープラーニングでなくとも単純な検出ならかなり高速にできるし、ディープラーニングでも空か空でないかの検出は比較的容易にできる。

　空っぽいところをみつけたら、そこにいきなり新海誠の空を問答無用で貼り付ける。

　それ以外の部分の関しては、AIと無関係な色調変化や平滑化でごまかす。いや、ここはもしかしたら機械学習も少し使っているかもしれないけど、いわゆるディープラーニングとは異なるものだろう。

　いずれにせよ、生成物に他人の著作物をコピペしたら、それは著作権法違反である。

　角川は中国にも支社があるので、類例が蔓延らないうちに具体的なアクションをとって欲しい。

ツイートする