GANの学習方法進展・画像生成・教師なし画像変換

GANの学習方法進展・画像生成・教師なし画像変換

1. 1. 1 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Networkの 学習方法進展・画像生成・教師なし画像変換 濱田晃一 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AI研究開発グループ 週次セミナー 2017/04/20 @hamadakoichi
2. 2. 2 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Network(GAN) ◆GANの学習方法進展・画像生成
3. 3. 3 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Network(GAN) ◆GANの学習方法進展・画像生成
4. 4. 4 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets(GANs) (Goodfellow+2014) Generative Adversarial Nets. Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio. arXiv:1406.2661. In NIPS 2014.
5. 5. 5 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets(GANs) (Goodfellow+2014) Generator(生成器)と Discriminator(識別器)を戦わせ 生成精度を向上させる 識別器: “本物データ”と “生成器が作った偽データ”を識別する 生成器: 生成データを識別器に“本物データ”と誤識別させようとする (Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)
6. 6. 6 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets(GANs) (Goodfellow+2014) Minimax Objective function Discriminator が 「本物データ」を「本物」と識別 (Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation) Discriminator が 「生成データ」を「偽物」と識別する Discriminatorは 正しく識別しようとする （最大化） Generatorは Discriminator に誤識別させようとする（最小化） Generator(生成器)と Discriminator(識別器)を戦わせ 生成精度を向上させる
7. 7. 7 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Generative Adversarial Nets(GANs) (Goodfellow+2014) SGDで Discriminator k回、Generator 1回と交互に学習 MCMC等のSampling必要なく、Back Propagation で解ける Discriminatorでの 最大化(k 回) Generator での 最小化(1回)
8. 8. 8 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Network(GAN) ◆GANの学習方法進展・画像生成
9. 9. 9 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 学習が難しいGAN。Batch Normalization、LeakyReLU、Adam、等、 学習の安定化のための各種工夫。クリアな画像生成を実現。 DCGAN (Radford+2015) 自然画像のクリアな画像生成 画像演算 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks. Alec Radford, Luke Metz, Soumith Chintala. arXiv:1511.06434. In ICLR 2016.
10. 10. 10 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Improved Techniques for Training GANs (Salimans+2016) Improved Techniques for Training GANs. Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, Xi Chen. arXiv:1606.03498. In NIPS 2016. GANの学習安定化のための各種技術 DCGANとこれらの技術で、2016年以降GAN研究が活発に 1. Feature Matching 2. Minibatch discrimination 3. Historical averaging 4. One-sided label smoothing 5. Virtual batch normalization Techniques Semi-supervised learning MNIST Semi-supervised training with feature matching Semi-supervised training with feature matching and minibatch discrimination CIFAR-10 Generated samples
11. 11. 11 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Extended Architectures for Generative Adversarial Nets (2016) 幅広い・クリアな画像生成のための各種GAN拡張 Figure by Chris Olah (2016) :https://twitter.com/ch402/status/793535193835417601 Ex) Conditional Image Synthesis With Auxiliary Classifier GANs. Augustus Odena, Christopher Olah, Jonathon Shlens. arXiv: 1610.09585.
12. 12. 12 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. InfoGAN (Chen+2016) InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets. Xi Chen, Yan Duan, Rein Houthooft, John Schulman, Ilya Sutskever, Pieter Abbeel. arXiv:1606.03657. In NIPS 2016 Latent code c、Generator 出力との Mutual Information を加え GANで狙って表現ベクトル空間を学習
13. 13. 13 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Stack GAN: Text to PhotoRealistic Image Synthesis(Zhang+2016) 1段目で文章から低解像度画像を生成 2段目で低解像度画像から高解像度画像を生成 StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks. Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang, Xiaolei Huang, Xiaogang Wang, Dimitris Metaxas. arXiv:1612.03242. 256 x 256 Image
14. 14. 14 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Plug & Play Generative Networks (Nguyen+2016) ImageNet1000カテゴリの幅広い対象での 高解像度な画像生成 227 x 227 ImageNet Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space. Anh Nguyen, Jason Yosinski, Yoshua Bengio, Alexey Dosovitskiy, Jeff Clune. arXiv:1612.00005.
15. 15. 15 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. f-GAN (Nowozin+2016) GAN目的関数を Symmetric JS-divergence から f-divergence に一般化。各Divergence を用い学習・評価 f-GAN: Training Generative Neural samplers using variational Divergence Minimization. Sebastian Nowozin, Botond Cseke, Ryota Tomioka. arXiv:1606.00709. In NIPS 2016. Kernel Density Estimation on the MNIST f-divergence LSUN
16. 16. 16 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. WGAN (Arjovsky+2017) Wasserstein計量を用いたGenerator勾配損失の解消、学習の安定化 CriticがWasserstein計量を算出、Generatorが最小化 Wasserstein GAN. Martin Arjovsky, Soumith Chintala, Léon Bottou. arXiv:1701.07875. LSUN Wasserstein-1 metric
17. 17. 17 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. LSGAN(Mao+2017) Sigmoidに替え二乗誤差を用いた学習安定化 生成データ・実データをマージンありで識別 Least Squares Generative Adversarial Networks. Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen Wang, Stephen Paul Smolley. arXiv:1611.04076. (v2 update: 2017/2/24) Least square loss functionSigmoid cross entropy loss function
18. 18. 18 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. BEGAN(Berthelot+2017) AutoEncoderのDiscriminatorが生成・実画像の識別、実データ復元 生成画像の多様性・クリアさを指定した生成制御 BEGAN: Boundary Equilibrium Generative Adversarial Networks. David Berthelot, Thomas Schumm, Luke Metz. arXiv:1703.10717 128 x 128 image Objective Function Diversity/Sharpness Ratio
19. 19. 19 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. WGAN with Gradient Penalty (Gulrajani+2017) WGANで Lipschitz制約(勾配上限制約)を、Weight Clipping のかわ りに、Gradient Penaltyを用い記述。高次の分布特徴を捉えられる … Improved Training of Wasserstein GANs. Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin, Aaron Courville. arXiv:1704.00028. Original critic loss Gradient penalty
20. 20. 20 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Network(GAN) ◆GANの学習方法進展・画像生成
21. 21. 21 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 画像ドメイン間の画像変換 対応関係の教師なしの、各画像集合のみを用いた変換学習 Unsupervised Image to Image translation (Figures: Zhu+ 2017)
22. 22. 22 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 同一の表現ベクトル z から２つのGeneratorで各ドメイン画像を生成 Discriminator が生成画像と、ドメインの実画像を識別 Coupled Generative Adversarial Networks (CoGAN) (Liu+ 2016) Coupled Generative Adversarial Networks. Ming-Yu Liu, Oncel Tuzel. arXiv:1606.07536. In NIPS 2016. RGB and Depth Images
23. 23. 23 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. VAE+CoGAN. 各ドメイン画像からEncoderで表現ベクトルzを作り 同一＆別ドメインそれぞれのGenerator画像生成・Discriminator識別 Unsupervised Image-to-Image Translation Nets(UNIT)(Liu+2017) Unsupervised Image-to-Image Translation Networks. Ming-Yu Liu, Thomas Breuel, Jan Kautz. arXiv:1703.00848
24. 24. 24 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 2方向のDomain変換のGenerator。変換画像と実画像で各Domain Discriminatorで識別。2回Domain変換し戻した画像復元、による学習 Discover Cross-Domain Relations with GANs (Kim+2017) Learning to Discover Cross-Domain Relations with Generative Adversarial Networks. Taeksoo Kim, Moonsu Cha, Hyunsoo Kim, Jungkwon Lee, Jiwon Kim. arXiv:1703.05192.
25. 25. 25 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 2方向のDomain変換のGenerator。変換画像と実画像で各Domain Discriminatorで識別。2回Domain変換し戻した画像復元、による学習 Unpaired Image-to-Image Translation using CycleGAN(Zhu+2017) Unpaired Image-to-Image Translation using Cycle- Consistent Adversarial Networks. Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros arXiv:1703.10593.
26. 26. 26 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 2方向のDomain変換のGenerator。変換画像と実画像で各Domain Discriminatorで識別。2回Domain変換し戻した画像復元、による学習 Adversarial Loss Cyclic consistency Loss Least Square Loss (LSGAN) Objective Function Unpaired Image-to-Image Translation using CycleGAN(Zhu+2017) Unpaired Image-to-Image Translation using Cycle- Consistent Adversarial Networks. Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros arXiv:1703.10593.
27. 27. 27 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Photographs to Paintings Unpaired Image-to-Image Translation using CycleGAN(Zhu+2017)
28. 28. 28 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Monet paintings to Photographs Unpaired Image-to-Image Translation using CycleGAN(Zhu+2017)
29. 29. 29 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. AGENDA ◆GANの教師なし画像変換 ◆Generative Adversarial Network(GAN) ◆GANの学習方法進展・画像生成
30. 30. 30 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. まとめ ・GANの学習方法進展、画像生成、教師なし画像変換、を紹介。 ・GAN学習方法に関する研究が活発に行われ、生成のクオリティ向 上、多様性の向上、生成制御、学習安定化、等、進んでいる。 ・教師なし画像変換も、GANを用いた新たな学習方法が試され、質 向上している。