shi3zの長文日記

■できそうなことはだいたい出来る、「ある意味で汎用???」ニューラル・ネット、pix2pix登場 07:03

　この世界の進歩は超早い。

　Google一社だけでも手に負えないっつうのに、次から次へと新手が出て来る。

　今度はできそうなことはだいたいできてしまう、Pixel2Pixelというのが発表された(https://github.com/phillipi/pix2pix)。

　なにを言ってるのかというと、このpix2pixは、たとえばラベルだけを指定した画像を入力すると、それっぽい道路の写真を生成したり(左上)、衛星写真を入力するとそれっぽい地図画像を生成したり(左下)、「ここが窓でえ、ここが壁でえ、ここが扉でえ」と、一軒家を建てる時のハイテンションなお母さんの妄想のようなラベル画像を入力すると写真を生成したり(中央上)、昼間の情景を入力すると夜景に変換したり(中央下)、白黒画像をカラーに変換したり(右上)、輪郭線から実際の写真を生成したり(右下)、およそ一対一で画像が対応するものならなんでもできてしまうのである。単一のニューラル・ネットワークで!

　もうやだ。

　どのように作るのかというと、これは最近すっかり定番になった敵対的生成学習(GAN)を使用する。

　通常のGANは、本物か偽物かを見分けるだけだが、今回のGANは本物のペアか偽物のペアかを見極める点が違う。・・・って違いはそれだけかよ。

　さらに、エンコーダー・デコーダーかU-Netか選ぶことが出来る。といってもU-Netはミラーレイヤーが後段に追加されるだけ。

　航空写真から地図を生成できるのと同様に、地図から航空写真を生成できる。

　昼間の写真から夜の写真を生成できる

　なんとなく輪郭を描くとカバンの画像が生成される。

　もはや絵として間違っていても、それっぽく塗られる。すごい!

　GANの威力恐るべし

　まあ白黒画像からカラー画像を生成するのがあんなに簡単にいけるんだったら他のタスクも行けそう、とは思ったけど、ここまでとは・・・

ツイートする