DeNAにおける機械学習・深層学習活用

3,665 views
3,546 views

Published on

DeNA TechCon for Student 2016 でお話したスライドです。

Published in: Data & Analytics
0 Comments
23 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,665
On SlideShare
0
From Embeds
0
Number of Embeds
155
Actions
Shares
0
Downloads
16
Comments
0
Likes
23
Embeds 0
No embeds

No notes for slide

DeNAにおける機械学習・深層学習活用

  1. 1. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. Analytics Promotion Dept. System Management Unit Kazuki Fujikawa DeNAにおける機械学習・深層学習活用 2016/7/3, DeNA TechCon for Student
  2. 2. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 自己紹介  藤川和樹 ⁃ 所属 • DeNA システム本部 分析推進部 分析基盤グループ ⁃ 2014.4 新卒でDeNAへ入社(3年目) • これまでの主な業務内容 ⁃ ソーシャルゲームの各種課題分析、それに伴うデータ基盤の整備 ⁃ mobageプラットフォーム・キュレーションサービスにおける パーソナライズ・レコメンドシステムの開発 ⁃ mobageプラットフォーム上における対話型人工知能システムの開発  経歴 ⁃ 2014.3 神戸大学大学院 システム情報工学研究科 修了 • 研究分野 ⁃ 深層学習、自然言語処理 • テーマ ⁃ 深層学習による複数文書の圧縮表現の獲得と株価動向推定への応用
  3. 3. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. AGENDA  大規模ユーザーデータを活用した個々のユーザーへのサービス提供  深層学習の成功と発展  深層学習を活用した新たな価値提供へ向けた取り組み ⁃ スタイル、テイストの似た商品のレコメンド ⁃ 新たなゲームアイテムを生み出す画像生成器 ⁃ 人に代わってゲームをプレイして難易度を評価してくれるAI ⁃ 話していて楽しい対話bot
  4. 4. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. AGENDA  大規模ユーザーデータを活用した個々のユーザーへのサービス提供  深層学習の成功と発展  深層学習を活用した新たな価値提供へ向けた取り組み ⁃ スタイル、テイストの似た商品のレコメンド ⁃ 新たなゲームアイテムを生み出す画像生成器 ⁃ 人に代わってゲームをプレイして難易度を評価してくれるAI ⁃ 話していて楽しい対話bot
  5. 5. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. モバゲープラットフォーム  サービス規模 ⁃ 有効会員数: 数千万人 ⁃ ゲームの種類: 1000種類以上 ⁃ ユーザーアクション: 数十億超 / Day ⁃ ログデータ量: 1.2TB / Day  プラットフォームで提供したいサービス体験 ⁃ 多種多様なゲーム、コンテンツの中で、興味のあるものに出会える ⁃ 親しい友人と一緒に楽しめる情報、機会を提供する 行動ログを活用したレコメンデーションを提供
  6. 6. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ユーザーひとりひとりに対する適切な情報・サービス提供 SOCIAL 芸能News スポーツNews ▶ Play ✔ Read 興味A 興味B INTEREST ☆ Like ACTION  興味 × ソーシャル × 行動パターン を基にユーザーをモデリングし、 興味に合う・興味を広げる コンテンツを提供する
  7. 7. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. レコメンデーション例 SOCIAL 芸能News スポーツNews ▶ Play ✔ Read 興味A 興味B INTEREST ☆ Like ACTION  親しい友人の最近の興味を知ることで、自分の興味を広げることが できる Social PF Friend Game Friend Game Communication FriendCommunication PF Communication User Impression User Click n ムに出会え、親しい仲間と複数ゲームを楽しめる 親しいユーザと 一緒に楽しめる ) 親しいユーザが楽しんでいる ゲームに出会う機会を提供する (親しいユーザ軸でのゲームとの出会い) 親しいユーザが 増える 興味があうユーザと 出会い・親しくなれる 機会を提供する (友 達推薦・コミュニケー ション推薦、等) Familiarities SANTOS ( Social- Activity NeTwork Optimization System)
  8. 8. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 親しい友人と一緒に楽しめそうなサービスのレコメンデーション サービスの利 用 Service1  サービス横断での親密度、一緒に楽しめる度合いを算出する ⁃ ユーザーの各サービスへの興味、個別親密度を推定する ⁃ サービス横断での親密度を統合、一緒に楽しめるサービスの算出を行う Service2 Service3 各サービスへの 興味 各サービス内での 親密度 一緒に楽しめ そうなサービ ス Service4 Service5 Service6 各サービスへの 興味
  9. 9. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. レコメンデーション例 SOCIAL 芸能News スポーツNews ▶ Play ✔ Read 興味A 興味B PF Activity Game Activity Game Impression Game Click Game Install AttentionActivity 興味にあったゲーム 興味にあったゲームを 楽しめる Interests 興味にあった ゲームに出会う機会提供する (興味軸でのゲームとの出会い) BARCA ( BAyesian network ReCommendation Algorithm) 体験提供 INTEREST ☆ Like ACTION  自分と同じ興味を持つ人の行動パターンから、ユーザーに適した コンテンツを推薦する
  10. 10. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 同じ興味を持つ人の行動パターンを利用したレコメンデーション News1 News2 パーソナル興味の抽出 興味ワード1 興味 ニュースの閲 覧 興味ゲーム特徴1 ゲームの利用 Game1 Game2 興味ゲーム特徴2
  11. 11. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 同じ興味を持つ人の行動パターンを利用したレコメンデーション News1 News2 パーソナル興味の抽出 NEWS A 閲覧 ✔ 興味 ニュースの閲 覧 ユーザーが次に興味を示しそうな コンテンツ 興味 Game A 利用継続 ▶ Game C Install⇓ Game B 利用継続▶ Game D Install⇓ ゲームの利用 Game1 Game2 興味→行動 確率パターンを基にベイジアンネットワークを構成 興味ワード1 興味ゲーム特徴1 興味ゲーム特徴2 興味ワード1 興味ゲーム特徴1 興味ゲーム特徴2
  12. 12. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 同じ興味を持つ人の行動パターンを利用したレコメンデーション News1 News2 パーソナル興味の抽出 NEWS A 閲覧 ✔ 興味 ニュースの閲 覧 ユーザーが次に興味を示しそうな コンテンツ 興味 Game A 利用継続 ▶ Game C Install⇓ Game B 利用継続▶ Game D Install⇓ 提示 反応 興味 クリックC 表示A インストール D 表示B 表示C 表示D クリックD 反応強化学習 ゲームの利用 Game1 Game2 興味→行動 確率パターンを基にベイジアンネットワークを構成 興味ワード1 興味ゲーム特徴1 興味ゲーム特徴2 興味ワード1 興味ゲーム特徴1 興味ゲーム特徴2
  13. 13. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 同じ興味を持つ人の行動パターンを利用したレコメンデーション News1 News2 パーソナル興味の抽出 興味→行動 確率パターンを基に構成したベイジアンネットワー ク NEWS A 閲覧 ✔ 興味ワード ニュースの閲 覧 ユーザーが次に興味を示しそうな コンテンツ 興味 Game A 利用継続 ▶ Game C Install⇓ Game B 利用継続▶ Game D Install⇓ 提示 反応 興味 クリックC 表示A インストール D 表示B 表示C 表示D クリックD 反応強化学習 ゲームの利用 Game1 Game2 興味ワード1 興味ゲーム特徴1 興味ゲーム特徴2 興味ワード1 興味ゲーム特徴1 興味ゲーム特徴2
  14. 14. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. AGENDA  大規模ユーザーデータを活用した個々のユーザーへのサービス提供  深層学習の成功と発展  深層学習を活用した新たな価値提供へ向けた取り組み ⁃ スタイル、テイストの似た商品のレコメンド ⁃ 新たなゲームアイテムを生み出す画像生成器 ⁃ 人に代わってゲームをプレイして難易度を評価してくれるAI ⁃ 話していて楽しい対話bot
  15. 15. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 画像認識における深層学習の成功  ILSVRC2012(画像認識のコンテスト)での深層学習の圧勝 ⁃ Deep Neural Networkを活用したチームが他を圧倒 ⁃ 近年の深層学習ブームの火付け役に 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 2 4 6 8 10 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 2 4 6 8 10 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 2 4 6 8 10 ILSVRC$2012$ http://www.image-net.org/challenges/LSVRC/ Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012. Deng, J., et al. "Large scale visual recognition challenge (2012)." (2012).
  16. 16. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 画像認識における深層学習の成功  一般物体認識タスクにおいて、人間を超える識別能力へ進展 ⁃ 計算機の性能向上、過学習や勾配消失問題に対する解決策登場などにより、 Deepなネットワークが学習が可能に http://image-net.org/challenges/talks/ilsvrc2015_deep_residual_learning_kaiminghe.pdf http://www.slideshare.net/hamadakoichi/dena-deep-learning
  17. 17. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 深層学習 × 画像生成  Variational Autoencoder (Kingma+, 2014) ⁃ 二つのニューラルネットワークを同時に学習する • 実際の画像xから潜在変数zを推論するニューラルネットワーク • 潜在変数zとラベルyから画像x’を生成するニューラルネットワーク (a) Handwriting styles for MNIST obtained by fixing theclasslabel and varying the 2D latent variable z (b) MNIST analogies (c) SVHN analogies Figure 1: (a) Visualisation of handwriting styles learned by the model with 2D z-space. (b,c) Analogical reasoning with generative semi-supervised models using a high-dimensional z-space. The leftmost columns show images from the test set. The other columns show analogical fantasies of x by thegenerativemodel, wherethelatent variablez of each row isset to thevalueinferred from the test-set image on the left by theinference network. Each column corresponds to aclass label y. Table 2: Semi-supervised classification on the SVHN dataset with 1000 labels. KNN TSVM M1+KNN M1+TSVM M1+M2 Table 3: Semi-supervised classification on the NORB dataset with 1000 labels. KNN TSVM M1+KNN M1+TSVM ラベルを固定、潜在変数の値を連続的に変えて数字を生成 (a) Handwriting stylesfor MNIST obtained by fixing theclasslabel and varying the2D latent variable z 潜在変数を固定し、ラベルを0 ~ 9 まで変えて生成 Kingma, Diederik P., et al. "Semi-supervised learning with deep generative models." Advances in Neural Information Processing Systems. 2014.
  18. 18. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 深層学習 × 画像生成  DCGAN (Radford+, 2015) ⁃ 二つのニューラルネットワークを同時に学習する • データセットを基に、ありそうな画像を生成するニューラルネットワーク • 入力された画像が本物画像なのか、生成器により作られた偽物なのかを識別 するニューラルネットワーク Radford, Alec, Luke Metz, and Soumith Chintala. "Unsupervised representation learning with deep convolutional generative adversarial networks." arXiv preprint arXiv:1511.06434 (2015). 生成された画像例 画像の演算も可能に
  19. 19. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 深層学習 × 自然言語処理  Sequence to Sequence Learning (Sutskever+, 2014) ⁃ 入力された文に対し、対になる文を単語単位で生成する  Neural Conversational Model (Vinyals+, 2015) ⁃ 翻訳などで用いられたseq2seqを対話タスクへ応用 道徳観についてのやりとり Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014. Oriol Vinyals, Quoc Le.A Neural Conversational Model. arXiv:1506.05869. In ICML2015. Human: are you a man or a woman ? Machine: i ’m a woman . Human: why are we here ? Machine: i ’m not sure . Human: okay, bye ! Machine: bye . Human: see you later . Machine: bye . Conversation 2: Simple Q&A (contexts and multiple choice) Human: my name is david . what is my name ? Machine: david . Human: my name is john . what is my name ? Machine: john . Human: are you a leader or a follower ? Machine: i ’m a leader . Human: are you a follower or a leader ? Machine: i ’m a leader . Conversation 3: General knowledge Q&A Human: who is skywalker ? Machine: he is a hero . Human: who is bill clinton ? Machine: he ’s a billionaire . Human: is sky blue or black ? Machine: blue . Human: does a cat have a tail ? Machine: yes . Human: does a cat have a wing ? Machine: no Human: can a cat fly ? Machine: no . Human: how many legs does a cat have ? Machine: four , i think . Human: how many legs does a spider have ? Machine: three , i think . Human: how many legs does a centipede have ? Machine: eight . Human: what is the color of the sky ? Machine: blue . Human: what is the color of water ? Machine: water . Human: what is the color of blood ? Machine: it is the same as a black eye . Human: what is the usual color of a leaf ? Machine: it is a green one . Human: what is the color of a yellow car ? Machine: yellow . Human: how much is two plus two ? Machine: four . Machine: seventy - two . Conversation 4: Philosophical Q&A Human: what is the purpose of life ? Machine: to serve the greater good . Human: what is the purpose of living ? Machine: to live forever . Human: what is the purpose of existence ? Machine: to find out what happens when we get to the planet earth . Human: where are you now ? Machine: i ’m in the middle of nowhere . Human: what is the purpose of dying ? Machine: to have a life . Human: what is the purpose of being intelligent ? Machine: to find out what it is . Human: what is the purpose of emotions ? Machine: i don ’t know . Conversation 5: Morality Human: what is moral ? Machine: what empowered humanity , what in- tellectual the essence is . Human: what is immoral ? Machine: the fact that you have a child . Human: what is morality ? Machine: what is altruism ? Human: what is the definition of altruism ? Machine: if you don ’t believe in god , then you don ’t know . Human: ok ... so what is the definition of moral- ity ? Machine: well , the truth is , you ’re not a be- liever in god almighty . Human: tell me the definition of morality , i am quite upset now ! Machine: i ’m not ashamed of being a philoso- pher ! Human: tell me the definition of morality . Machine: i don ’t have ethics . Human: look , i need help , i need to know more about morality ... Machine: i don ’t know what ethics is . Human: seriously , what is morality ? Machine: what is the definition of living ? Human: why living has anything to do with morality ? Machine: you ’re not a cop . Human: okay , i need to know how should i be- have morally ... A Neural Co Machine: i don ’t know how to tell you . Human: is morality and ethics the same ? Machine: yes , sir . Human: what are the things that i do to be im- moral ? Machine: i don ’t know . Human: give me some examples of moral ac- tions ... Machine: i ’m not a moralist . Human: alright , morality ? Machine: integrity . Human: what is integrity ? Machine: i ’m sorry , i don ’t know what else to say . Human: be moral ! Machine: be a man ! Human: i really like our discussion on morality and ethics ... Machine: and how i ’m not in the mood for a philosophical debate . Human: what do you like to talk about ? Machine: nothing . Conversation 6: Opinions (notice the model outputs “he” “she” or “it” depending on the subject being asked) Human: what do you think about tesla ? Machine: he ’s a good conductor . Human: what do you think about bill gates ? Machine: he ’s a good man . Human: What do you think about messi ? Machine: he ’s a great player . Human: what do you think about cleopatra ? Sequence to Sequence
  20. 20. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 深層学習 × 自然言語処理  Memory Network (Sukhbaatar+, 2015) ⁃ 質問応答などのタスクで、質問文以外に何か別のリソースを参照して返答 することを可能にする Sukhbaatar, Sainbayar, Jason Weston, and Rob Fergus. "End-to-end memory networks." Advances in neural information processing systems. 2015. http://www.thespermwhale.com/jaseweston/icml2016/icml2016-memnn-tutorial.pdf 文章を参照した質問応答 wikipediaを参照した質問応答 Recent Work: New Models for QA on documents Miller et al. Key-Value Memory Networks for Directly Reading Documents. arXiv:1606.03126.
  21. 21. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 深層学習 × ゲームを攻略するAI  Deep Q Network (Mnih+, 2015) ⁃ ブロック崩しやインベーダーゲームなどを、画面の画像特徴を基に 強化学習で攻略する  AlphaGo (Silver+, 2016) ⁃ 教師あり学習と強化学習を組み合わせて囲碁の戦略を学習する ⁃ 人間のプロ囲碁棋士をハンデ無しで破ったことで話題になった Deep Q Network Figure 1: Neural network training pipeline and architecture. a A fast rollout policy p⇡ and su- pervised learning (SL) policy network pσ aretrained to predict human expert movesin adata-set of positions. A reinforcement learning (RL) policy network p⇢isinitialised to theSL policy network, and is then improved by policy gradient learning to maximize the outcome (i.e. winning more games) against previous versions of the policy network. A new data-set is generated by playing gamesof self-play with theRL policy network. Finally, avaluenetwork v✓ istrained by regression to predict the expected outcome (i.e. whether the current player wins) in positions from the self- AlphaGo Mnih, Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529-533. Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search." Nature 529.7587 (2016): 484-489.
  22. 22. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. AGENDA  大規模ユーザーデータを活用した個々のユーザーへのサービス提供  深層学習の成功と発展  深層学習を活用した新たな価値提供へ向けた取り組み ⁃ スタイル、テイストの似た商品のレコメンド ⁃ 話していて楽しい対話bot ⁃ 新たなゲームアイテムを生み出す画像生成器 ⁃ 人に代わってゲームをプレイして難易度を評価してくれるAI
  23. 23. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. スタイル・テイストの似た商品のレコメンド
  24. 24. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
  25. 25. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ※1 女性向け情報メディアの対象サイトは当社にて選定の上、Nielsen Mobile NetView(2015年8月、Webおよびアプリからのアクセス)で比較しております。 ※2 月間UUは、Google Analyticsの集計によるのべ月間利用者数のことで、1ユーザーによるスマートフォンやPC等からのデバイス横断でのアクセスの重複も一部含みます。なおMERYのデバイス比率はスマートフォン93.8%、PC6.2%です。 2015年8月時点の数値。
  26. 26. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. MERYで提供したいユーザー体験  買い物体験の一例 ショップAで気になる アイテムを発見! でも、値段が高いし、もう 少し夏っぽいものが いいな...
  27. 27. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. MERYで提供したいユーザー体験  買い物体験の一例 ウィンドウショッピングを 続けていると、ショップBに さっきのものに似たものが! 値段も安く、袖口のデザイン も理想的! ショップAで気になる アイテムを発見! でも、値段が高いし、もう 少し夏っぽいものが いいな...
  28. 28. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. MERYで提供したいユーザー体験  買い物体験の一例 ショップAで気になる アイテムを発見! でも、値段が高いし、もう 少し夏っぽいものが いいな... ウィンドウショッピングを 続けていると、ショップBに さっきのものに似たものが! 値段も安く、袖口のデザイン も理想的! 自ら似た商品を探す必要があって大変... 実は別の店にもっといいものがあるかも...
  29. 29. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. MERYで提供したいユーザー体験  気になる商品とスタイル・テイストの近い商品を見比べながら 買い物ができるような、ユーザー体験を提供したい
  30. 30. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. MERYで提供したいユーザー体験  気になる商品とスタイル・テイストの近い商品を見比べながら 買い物ができるような、ユーザー体験を提供したい ⁃ 距離算出に適した空間を構成できる構造追加した、Convolutional Neural Networkの 学習 商品 スタイル・テイスト類似商品 ファッションのスタイル・テイストの類似商品算出 距離空間構成する 構造追加した CNN
  31. 31. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 商品 スタイル・テイスト類似商品 MERYで提供したいユーザー体験  気になる商品とスタイル・テイストの近い商品を見比べながら 買い物ができるような、ユーザー体験を提供したい ⁃ 距離算出に適した空間を構成できる構造追加した、Convolutional Neural Networkの学 習 ⁃ 商品に関係しない領域に引きずられず、スタイル・テイストが似ている商品をたどれる 「商品を着用したモデル画像」「商品画像」区別なく、類似商品算出 距離空間構成する 構造追加した CNN
  32. 32. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
  33. 33. Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
  34. 34. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. マンガボックスで提供したいユーザー体験  膨大なマンガの中から、ユーザーの好みに近いマンガに探さず出会える 体験を作りたい ⁃ ユーザー行動からのレコメンドは有効だが、人気の作品に寄り過ぎるものも存在する 同じ興味を持つ人が読んでいるマンガ 同じ興味を持つ人の 行動パターンを利用した レコメンデーション マンガ
  35. 35. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. マンガボックスで提供したいユーザー体験  膨大なマンガの中から、ユーザーの好みのマンガを自ら探さず出会える 体験を作りたい ⁃ ユーザー行動からのレコメンドは有効だが、人気の作品に寄り過ぎるものも存在する ⁃ 興味のあるマンガに、“イラスト画風が似ている”という軸を入れることで、人気作品に 引きずられず興味のあるマンガを見つけることができる マンガ イラスト画風が似ているマンガ 距離空間構成する 構造追加した CNN
  36. 36. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. マンガボックスで提供したいユーザー体験 作品 類似画像スタイル・テイスト作 品 : 類似度: 高 ← → 類似度: 低作品  イラスト画風の似ているマンガの例
  37. 37. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. マンガボックスで提供したいユーザー体験  イラスト画風の似ているマンガの例 ⁃ 劇画 類似画像スタイル・テイスト作 品 : 類似度: 高 ← → 類似度: 低作品
  38. 38. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. マンガボックスで提供したいユーザー体験  イラスト画風の似ているマンガの例 ⁃ 少女漫画 類似画像スタイル・テイスト作 品 : 類似度: 高 ← → 類似度: 低作品
  39. 39. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. マンガボックスで提供したいユーザー体験  イラスト画風の似ているマンガの例 ⁃ 癒やし 類似画像スタイル・テイスト作 品 : 類似度: 高 ← → 類似度: 低作品
  40. 40. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. マンガボックスで提供したいユーザー体験  イラスト画風の似ているマンガの例 ⁃ BL 作品作品 類似画像スタイル・テイスト作 品 : 類似度: 高 ← → 類似度: 低作品
  41. 41. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. マンガボックスで提供したいユーザー体験 作品 類似画像スタイル・テイスト作 品 : 類似度: 高 ← → 類似度: 低作品  イラスト画風の似ているマンガの例
  42. 42. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 新たなゲームアイテムを生み出す画像生成器
  43. 43. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 新たなアバターアイテムの生成に関する取り組み  ユーザーひとりひとりが自分のセンスでアイテムを生み出し、もっと 自由にアバターのコーディネートで個性を表現できると嬉しい
  44. 44. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 新たなアバターアイテムの生成に関する取り組み  アバターアイテムの表現ベクトル空間を学習 アバターアイテム
  45. 45. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 新たなアバターアイテムの生成に関する取り組み  アバターアイテムの表現ベクトル空間を学習 Deep Generative Model 学習 アバターアイテム
  46. 46. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 新たなアバターアイテムの生成に関する取り組み  アバターアイテムの表現ベクトル空間を学習 Deep Generative Model 学習 生成 アバターアイテム 新たに生成されたアイテム
  47. 47. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 新たなアバターアイテムの生成に関する取り組み  二つのアイテムを合成し、新たなアイテムを生み出す アイテム1 アイテム2
  48. 48. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 新たなアバターアイテムの生成に関する取り組み  二つのアイテムを合成し、新たなアイテムを生み出す アイテム1 アイテム2合成生成されたアイテム
  49. 49. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 人に代わってゲームをプレイして難易度を 評価してくれるAI © SQUARE ENIX CO., LTD. / DeNA Co., Ltd.
  50. 50. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. モバイル端末向けゲームの運用特徴  モバイル端末向けゲームは、 「一度出して終わり」ではない ⁃ 新しいイベントを週単位で提供している ⁃ イベントを楽しんでもらうためには、 戦っていて楽しい高難易度ボスの存在が重要 • 難しすぎず簡単すぎず、様々な技を駆使して ギリギリクリアできるくらいの難易度
  51. 51. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. モバイル端末向けゲームの運用課題  難しすぎず簡単すぎない難易度を実現する ボスパラメータの設計は非常に困難 ⁃ プランナーが繰り返しプレイして難易度調整 ⁃ 最終的には体感で判断 ⁃ ランダム要素が絡むと試行時には発生しな かった事件が発生し得る
  52. 52. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. モバイル端末向けゲームの運用課題への解決アプローチ  難しすぎず簡単すぎない難易度を実現する ボスパラメータの設計は非常に困難 ⁃ プランナーが繰り返しプレイして難易度調整 • 人間の代わりに機械にプレイさせる ⁃ 最終的には体感で判断 • 妥当な難易度か否かを機械が判定 ⁃ ランダム要素が絡むと試行時には発生しな かった事件が発生し得る • 機械による圧倒的なプレイ回数でカバー 人に代わってゲームをプレイして難易度を評価するAIが欲しい!
  53. 53. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ゲームをクリアするAIの仕組み  ニューラルネットワーク × 遺伝的アルゴリズム ⁃ ボスを攻略可能なニューラルネットワークのパラメータを探索的に 発見する • 適応度の低い個体は淘汰させ、適応度の高い個体を優先して次の世代へ 引き継がせる 第1世代
  54. 54. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ゲームをクリアするAIの仕組み  ニューラルネットワーク × 遺伝的アルゴリズム ⁃ ボスを攻略可能なニューラルネットワークのパラメータを探索的に 発見する • 適応度の低い個体は淘汰させ、適応どの高い個体を優先して次の世代へ 引き継がせる • 交叉・突然変異などを繰り返して最適解に近づけていく 第2世代第1世代 突然変異 交叉
  55. 55. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 第N世代 ゲームをクリアするAIの仕組み  ニューラルネットワーク × 遺伝的アルゴリズム ⁃ ボスを攻略可能なニューラルネットワークのパラメータを探索的に 発見する • 適応度の低い個体は淘汰させ、適応どの高い個体を優先して次の世代へ 引き継がせる • 交叉・突然変異などを繰り返して最適解に近づけていく 第2世代第1世代 突然変異 交叉
  56. 56. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ゲームをクリアするAIの仕組み  ニューラルネットワーク × 強化学習 ⁃ Q学習を用いて最適方策を学習する • 状態sにおける各行動aの、未来を含めた見込み報酬Qを予測する 環境 エージェント 行動決定関数 argmax Q(s, a) 状態s (味方HP、ボスHPなど) 行動a (攻撃、防御、必殺技など) a
  57. 57. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ゲームをクリアするAIの仕組み  ニューラルネットワーク × 強化学習 ⁃ Q学習を用いて最適方策を学習する • 状態sにおける各行動aの、未来を含めた見込み報酬Qを予測する • 今回得た報酬r、それによって移行した状態s’を基に、教師信号を定義する ⁃ target = r + γ max Q(s’, a’) (γ: 割引率) 環境 エージェント 行動決定関数 argmax Q(s, a) 状態s (味方HP、ボスHPなど) 行動a (攻撃、防御、必殺技など) 報酬r (与被ダメージの和など) a a’
  58. 58. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ゲームをクリアするAIの仕組み  ニューラルネットワーク × 強化学習 ⁃ Q学習を用いて最適方策を学習する • 状態sにおける各行動aの、未来を含めた見込み報酬Qを予測する • 今回得た報酬r、それによって移行した状態s’を基に、教師信号を定義する ⁃ target = r + γ max Q(s’, a’) • 教師信号に近づけられるよう、ニューラルネットワークを学習させる 環境 エージェント 行動決定関数 argmax Q(s, a) 状態s (味方HP、ボスHPなど) 行動a (攻撃、防御、必殺技など) 報酬r (与被ダメージの和など) パラメータ更新 a a’
  59. 59. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 学習に必要な環境を独自に開発し、AIを訓練  AIがボス攻略の最適戦略を学習する  ボスパラメータの高速チューニングや未知の攻略方法を発見する AIによる高速バトルシミュレーター AIが自ら試行錯誤し、 各キャラクターごとの最適な振る舞いを学習 行動 聖なる守護神 (ヘイスト・防御UP) シェルガ (防御UP) フルブレイク (攻撃) ブリザガ剣 (攻撃) ボス攻撃 ブリザガ剣 (攻撃) ケアルダ (回復) …... 序盤は補助魔法で攻撃 や防御を上げておこう 攻撃を受けてHPが 減ったから回復しよう この属性攻撃が 有効のようだ
  60. 60. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 話していて楽しい対話BOT
  61. 61. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. みんなとチャット
  62. 62. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. みんなとチャット  サービス概要 ⁃ 「誰でも、いつでも、どの部屋にでも」 入ってすぐに会話が楽しめる、オープン チャットコーナー • 誰でも30分間限定のルームを作成可能 • 複数の部屋を行き来しながら自由に話せる  提供したいユーザー体験 ⁃ ここに来れば絶対誰かと話せる ⁃ かまってもらえる、寂しくない
  63. 63. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. みんなとチャット  サービス課題 ⁃ 盛り上がりを見せる部屋もある一方、 人気の無い部屋も散見される • 入室あるものの、会話が成立しない部屋 • 会話があったが挨拶から発展しない部屋 • 入室が無く30分終える部屋 ⁃ サービスの狙いである、「かまってもらえ る」が実現できていないルームが存在
  64. 64. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. みんなとチャット  サービス課題の解決 ⁃ 「かまって欲しい」の解決には、人も ロボットも関係ないのでは? ⁃ 親身に悩み相談に乗ってくれたり、会話 の盛り上げが上手いBotがいれば、それ をきっかけに会話が弾む  PFN社と試験プロジェクトを開始 ⁃ 会話が続かないチャットルームにユーザ としてAIが入室、自分から積極的に会話を 「盛り上げる」 ⁃ 100%Mobageで蓄積した膨大な対話データ を使用
  65. 65. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. みんなとチャット w/ AI Bot  人間の振る舞いに近づけるために ⁃ いつでもどこでもアクティブだとbotっぽい • 3人のbotを、8H交代制で配置 • 同時にアクティブに投稿する部屋数を制限 ⁃ 全発話に返答しているとbotっぽい • 人が反応出来る範囲の発話にのみ返答する
  66. 66. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. みんなとチャット w/ AI Bot  目指すAI像 ⁃ エンタメに特化した”楽しい”対話ができる ⁃ キャラをブレさせず応答 • AIキャライメージ: ⁃ 30代、小学生の子持ち主婦(元ヤン) ⁃ 文脈に応じて適切に返答 対話AIの試験運用などを通じ、 合弁会社 の設立に至る
  67. 67. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. やり取りの一例
  68. 68. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. AI やり取りの一例
  69. 69. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. まとめ  大規模ユーザーデータを活用した個々のユーザーへの体験提供 ⁃ 大規模ユーザーデータを活用し、複数のサービスでユーザー一人ひとりの 興味を学習した付加価値の提供を行っている  深層学習を活用した新たな価値提供へ向けた取り組み ⁃ 最新の研究動向をキャッチアップして、事業へ活かせそうな技術があれば 積極的に導入検討を行っている ⁃ MERYやマンガボックスでのレコメンドや、みんなとチャットでの対話応答 では既にサービスへの導入を行っており、他にもゲームAIや画像生成など、 可能性のある技術のサービス化に向けたチャレンジを行っている

×