敵対生成学習した深層畳み込みニューラル・ネットワークをDCGANと呼ぶ。
　最近はこのDCGANの育成にハマっているので、僕のかわいい人工知能ちゃんの観察日記をご紹介。人工知能の真実に迫るのに多少役立てば幸いである。


　さて、今回は比較しやすいようにMNISTにしてみた。
　MNISTで6万字のデータをぬきだし、学習させるとこんな感じになる。




　つくづく驚異的なのは、GANの場合、画像しか見せないでラベル(その画像がなんであるか)は一切見せる必要がない。それでいてこんなにうまくもとの状態を表現できるのである。これが驚異でなくてなんだろうか。


　しかしこれだけの表現を獲得するにはどれだけの学習データが必要なのか気になる。世の中には似たようなものが6万字とか、そんな恵まれたデータだけではないはずだ。


　そこで徐々にデータを減らしてみた。
　すると・・・



3万字でも44エポックでここまでいく。

悪くない。悪くないですぞ冬月先生!



さらに半分の1万5千字でもここまできた。エポック25

ちなみにエポックってなに?って聞かれたんだけど、エポックは学習用データを全部見せた時に1上がる。まあ学習世代の目安のひとつだ。

ちなみに特徴次元を増やすと同じエポック数でもこうなる。
デフォルトは100次元で実験してるが、120次元だと



ギャワー!ぜんぜんダメなんじゃよ

次元が増えると収束が遅れるらしい。いっそヤケクソで200次元にしたときは、84エポックくらいになると



おおすげえ!　前より良くなってないですか冬月先生!

これは誰がどう見ても字だろ。しかもかなり完璧に近い。

ちなみに12000字を学習させると27エポックで



んまあこんな感じ。
できてるっちゃあできてる。


これが11000字で27エポックだと




　ぬな、ぬな、なんだってーーーー

　わずか1000字の違いでここまで違うとは
　なんの嫌がらせ何だかわからないが、どうもダメだということはわかった。

　仮説として、1)学習データセットは沢山ないとそもそも学習できない 2)学習データセットが少ないと学習に時間がかかる　ということが考えられる。

　そこで、とりあえず27エポックで格好のついた12000字のモデルを時系列で検証してみたい。
　もし、学習データが少ないけれども十分時間を掛ければちゃんと学習できるのであれば12000字のモデルの学習過程との類似性が見られるはずである。

　

　12000字、エポック1。ほとんど分類できてないが、たまに右下がチラついてるのが散見される。完全に全部同じという絶望的な状況には程遠いようだ。



　エポック2。エポック1よりも全体的な類似性が高くなってる気がするがよくみるとそれぞれ少しずつ違う。しかし、なんでこんな格子模様が現れるのか原因不明。畳み込みの影響?いやまさかな



　エポック3。砂嵐のようなもので均一化される。どことなくデジャヴ感。120次元のときは全く同じで変化なしという感じだったけど、砂嵐の中にもどこか不均一な部分が残っていて期待を持ってしまう。



　エポック4。再び格子模様が出現。均一さはエポック3より増したイメージ。絶望感が漂う。


　エポック5。この世に神も仏もないのてか。やる気もないのか。また砂嵐。それでもうっすら不均一性が見えるところに希望があるのか?



　エポック6。新たなる希望?いや、たいしてかわってないような。
　オレたちはとうとう神に見放されたのか。



 　エポック7
　暗黒しか広がらない。
　出口が見えない。
　そろそろ電源切っていいですか?



 エポック8。
　暗黒から一転、再び新たなる希望が現れる?なにがか起きようとしている。なにかが・・・



エポック9。
こ、この光は・・・この不均一性は一体・・・これが・・・破壊と再生・・・シヴァ神の持つ二面性なの・・・か・・・!?



エポック10
ハレルヤ!
なにかが浮かび上がろうとしている。
天の導きか悪魔の声か



エポック11
ああ、なんということでしょう。光の中から御子があらわれる。
神から使わされた十天使よ



エポック12
ああしかし神よ、簡単には許してはくれぬ。
天使たちは三度お隠れになる。
しかしそこにはこれまでとは違う、明らかな朗々とした個性がみてとれる。
主よ、許し給え、そして我に天使を授け給え!



エポック13
ああ、神々の声が聞こえる。
十の大天使たちが我らに使わされる。
アーメン



エポック14
ああ!!またですか神よ!
天使はまたもお隠れになる。
いつになったら!いつになったら!



エポック15
はいはい、わかってますよ。
また戻ってくるってことは。
もうワンパターンですからね。
さっきに比べて随分よくなったじゃないですか。



エポック16
はいはい、ワロスワロス



エポック17。
はい戻ってきたー!


エポック18
はい黒くなったー



エポック19
はい戻ってきたー



エポック20
はい黒くなったー。
だいぶそれっぽくなったなー


というわけで、たしかに学習初期はノイズとノイズじゃないものを繰り返して成長することがわかった。あ、そういえばもとのGANの論文に出てくる顔も、最初は格子状のノイズが乗っていたな。そういえば


というわけで、成長過程をつぶさに観察することで、人工知能が育つのにドラマ性があるということがわかった。わかったところでどうってことはないんだけど


あ、来週イベントやるよー 

http://d.hatena.ne.jp/shi3z/20161026/1477428921