1. 線画をアップロードすると自動着色してくれる人工知能 「PaintsChainer」(ペインツチェイナー)
2. とっても自然
3. 動かしてもすごい
4. PaintsChainerのサイトに線画をアップロードして、Colorize(着色)ボタンを押すだけ。
6. 目だけ加工したユーザーさん
9. キャラも
10. 写真→白黒に加工→人工知能で着色というプロセス
線画自動着色サイト、写真の線画加工と組み合わせて塗ってもらったらどうなるんだろう?と先日撮影のポートレートで試してみました。描画AIと機械学習プログラムでヒトと人工を往復 #Prisma #paintschainer (P)
— 橋本ルル-doll着ぐるみ (@LULUiDOLL)
15. いや、サーバーが大変なことに・・・
19. こちら「たいやま」さん。人工知能の研究者らが集まる「Preferred Networks」(PFN)のエンジニア米辻泰山さん(29)。
「Preferred Networks」(本社・千代田区)は企業向けに人工知能の技術を提供したり、トヨタ自動車やNTTなどの企業と共同研究したりしている。プロコン(プログラミング・コンテスト)で活躍するような猛者たちが集まる会社で、2014年にできた。
20. 米辻さんはロボットエンジニアで昨年5月にPFNに移った。深層学習(ディープラーニング)を詳しく知ろうと、同社の「Chainer」の勉強を始めた。自動イラスト生成技術に興味があったため、線画の着色にトライしてみることにした。
Chainerは深層学習のフレームワーク。この上で色々なアプリケーションを動かすことができる。ちなみに米辻さん、アニメや漫画は乱読派。最近は「幼女戦記」「ストームダンサー」「オーバーロード」を見たり、読んだりしているそう。
21. Chainerは一般公開されている。これを使った深層学習を通じて、どうパラメーターを組み合わせたモデルを作り上げるかが腕の見せどころだ。
まずはネット上から60万枚ほどのカラー画像を集めた。それを線画に加工するとデータセットができあがる。このデータセットを元にモデルをつくった。
22. この最初のモデルに線画を読み込ませてみた。肌色を当てることにはほぼ成功。だが、多様なキャラの髪や服がグレーっぽくなってしまった。こんな風にブログで紹介している。
「見たことのないキャラの髪や服の色当てクイズに人間が正解できないのと同じでした」と米辻さん。
23. そこで「元のイラストと、自動着色したイラストの差を見分ける」プログラムをつくった。それとは逆の「見分けられないようにする」プログラムと組み合わせて、深層学習させた。つまり、プログラムは差を見破られないようにがんばり、結果、色つけが上手くなっていく。
25. さらに解像度を上げたいと思った。そこで、低解像度で全体の配色を決めた上で、それを拡大して微修正する深層学習を加えた。この2ステップで、現在のサイズ(512px)まで拡大できるようになった。
26. できあがったモデルを1月27日に公開。予想外にアクセスが集中し、サーバーを増強することに。会社も応援し、別の用途に買っていた初期投資が計約500万円する5台のサーバーを快く使わせてもらっている。
「自動着色」は一時Twitterトレンドに。
27. 海外からのアクセスも。
取材した平日午後のリアルタイムアクセスは中国が50%を超えていた。夜には日本が増えるという。
29. 英語のツイート
lol I didn't even tell it what to colour it just coloured it automatically for me #paintschainer
— That Cat Lady(。・ω・。) (@kittycat1506)