Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #nips_yomi

1. 1 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. NIPS 2015読み会 Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks 濱田晃一 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. @hamadakoichi 論文紹介 2016/1/20

2. 2 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 講師・TokyoWebmining 主催者　- 機械学習の実活用コミュニティ。登録人数 1400人超。　- 6年継続、累積52回開催濱田晃一 (@hamadakoichi) ・執筆：Mobageを支える技術 Analytics Architect ・博士 : 量子統計場の理論 (理論物理) ・DeNA全サービスを対象とし、大規模機械学習活用したサービス開発　- 数千万ユーザー、50億アクション/日、テキスト、画像、ソーシャルグラフ　- 体験設計から、分散学習アルゴリズムの設計・実装まで・Deep Learning 　- 類似画像算出、画像生成・テキスト生成

4. 4 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 各周波数帯ごとの Generative Adversarial Network を作り解像度を上げていく画像生成を実現する低解像度画像高解像度画像元画像生成画像サンプル Laplacian Pyramid of Generative Adversarial Networks(LAPGAN)

6. 6 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Laplacian Pyramid of Generative Adversarial Networks(LAPGAN) Visual Turing Test : 人が画像を見て、本物か生成画像か評価 40%の生成画像に関して、本物画像と見間違う Visual Turing Test (CIFAR10) 40% 本物画像と判定された割合

9. 9 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆Laplacian Pyramid of GAN(LAPGAN) ◆Recent extended GANs ◆Other Deep Generative Models in NIPS2015 ◆Generative Adversarial Network(GAN) ◆Conditional GAN(CGAN) ◆Summary ◆References

12. 12 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Network (GAN) Generator(生成器)と Discriminator(識別器)を戦わせ生成精度を向上させる識別器: “本物画像”と “生成器が作った偽画像”を識別する生成器: 生成画像を識別器に“本物画像”と誤識別させようとする (Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)

13. 13 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Network (GAN) Minimax Objective function Discriminator が「本物画像」を「本物」と識別 (Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation) Discriminator が「生成画像」を「偽物」と識別する Discriminatorは正しく識別しようとする（最大化） Generatorは Discriminator に誤識別させようとする（最小化） Generator(生成器)と Discriminator(識別器)を戦わせ生成精度を向上させる

14. 14 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Network (GAN) SGDで Discriminator k回、Generator 1回と交互に学習 MCMC等のSampling必要なく、Back Propagation で解ける Discriminatorでの最大化(k 回) Generator での最小化(1回)

16. 16 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Conditional Generative Adversarial Network (GAN) Minimax Objective function Conditional Generative Adversarial Nets(CGAN) Mirza+, 2014, Gauthier, 2014

20. 20 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Laplacian Pyramid (Burt & Adelson, 1983) 各周波数帯の画像特徴 downsampling upsampling Low pass filtered images Band-pass filtered images http://eric-yuan.me/image-pyramids/

21. 21 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Laplacian Pyramid of GAN(LAPGAN) Laplacian Pyramid で各周波数帯ごとに低周波数画像が与えられたときの Conditional GANを学習学習・Generator と Discriminator は ConvNet ・Generator は低周波数画像から高周波数画像の生成を学習する Minimax Objective function

32. 32 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Deep Convolutional GAN (DCGAN) Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(Radford+, arXiv:1511.06434) Convolution/DecomvolutionのGAN

33. 33 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Deep Convolutional GAN (DCGAN) クリアな画像生成 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks(Radford+, arXiv:1511.06434) 画像演算クリアな画像生成・潜在空間での画像演算

34. 34 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Deep Convolutional GAN (DCGAN) ・顔イラスト生成：https://github.com/mattya/chainer-DCGAN ・漢字生成：‪http://genekogan.com/works/a-book-from-the-sky.htmlse characters ・花生成：https://twitter.com/vintermann/status/675599478494208000 DCGAN応用・適用例顔イラスト花生成

36. 36 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Variational AutoEncoder GAN (VAEGAN) Autoencoding beyond pixels using a learned similarity metric(Larsen+, arXiv:1512.09300) VAEGAN with visual attribute vectors

45. 45 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Reference -Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Bengio, Y. (2014). Generative adversarial nets. In NIPS 2014. -Gauthier, J. (2014). Conditional generative adversarial nets for convolutional face generation. Class Project for Stanford CS231N: Convolutional Neural Networks for Visual Recognition, Winter semester 2014. -Mirza, M. and Osindero, S.(2014). Conditional generative adversarial nets. arXiv preprint, arXiv:1411.1784. -Denton, E., Chintala, S., Szlam, A., and Fergus, R.(2015) Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks. In NIPS 2015. Conditional GAN GAN LAPGAN Recent GANs -Larsen, A. B. L., Sønderby, S. K., Winther, O.(2015). Autoencoding beyond pixels using a learned similarity metric. arXiv preprint, arXiv:1512.09300. -Radford, A., Metz, L., and Chintala, S.(2015)Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. arXiv preprint, arXiv:1511.0643. -Reed, S., Zhang, Y., Zhang, Y., and Lee, H.(2015) Deep Visual Analogy-Making. In NIPS 2015. -Kulkarni, T. D., Whitney, W., Kohli, P., Tenenbaum, J. B.(2015). Deep Convolutional Inverse Graphics Network. In NIPS 2015. Other Generative Image Models in NIPS 2015

Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #nips_yomi

Koichi Hamada

Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #nips_yomi

A particular slide catching your eye?