20151221 public

2. 2Copyright©2015 NTT corp. All Rights Reserved. 本サーベイの目的対象：統計的パターン認識の研究者、同分野に関連した仕事をするエンジニア目的：今後トピックモデルを研究・開発の一要素 (building block)として利用する際の指針を与える手段：building blockとして使用する上でおさえておくべき機能・応用例・実装技術の「入口」を整理・紹介する目指さないこと：網羅的 and/or 深いレベルまでの調査研究

5. 5Copyright©2015 NTT corp. All Rights Reserved. 研究対象としては枯れている？関心は低下していないタイトルに “LDA” or “Latent Dirichlet Allocation” or “topic”がある論文数（講演者調べ） 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 NIPS 2 3 4 5 3 6 7 4 3 4 ICML 5 1 1 6 3 2 7 11 5 4 CVPR 2 1 2 2 2 2 2 3 2 0 ICCV - 3 - 1 - 0 - 3 - 0 ECCV 0 - 0 - 1 - 0 - 1 - Google Trends, “topic models”, as of 2015/12/2

6. 6Copyright©2015 NTT corp. All Rights Reserved. 本講演の目次１．基本モデル（１７分）：トピックモデルとはどんなものか２．拡張モデル（１０分）：機械学習分野でどのような拡張モデルが根付いているか３．パターン認識応用（２０分）：種々のドメインでどんな研究に利用されてきたか４．推論法およびデータスケーラビリティ（５分）：高精度を達成したり大規模データへ応用するための手法５．まとめ（３分）：本講演のまとめと注目している最新の研究について

8. 8Copyright©2015 NTT corp. All Rights Reserved. データ：文書データ集合本講演では観測データ＝文書データ集合として（そのアナロジーのもとで）話を進めます文書データ集合 X = {xd} d = 1, …, D 例えば全国の新聞記事データセット消費税法案否決据え置き・・・総選挙長期金利影響永田町・・・文書 dを構成する単語集合（文を分かち書きしたと思う）文書dはNd個の単語の集合{xd,i}, i = 1, …, Nd 単語xd,iはV種の離散シンボル観測値 xd,i=v, v = 1, …, V xd,2 = v = {法案} xd,3 = v’ = {否決}

9. 9Copyright©2015 NTT corp. All Rights Reserved. 目的：“話題＝トピック”に基づく文書データの自動意味解析大量の文書データを教師なしで大体把握したい。つまり、下記のような問いに答えたい各文書は、大体どういう内容？この文書データ集合の中には、どんな「話題」がある？トピックモデルのアプローチ：「ある話題で出現しやすい単語集合」というクラスタ（”トピック”）で文書を表現する

10. 10 [Blei+, 2003] トピック（話題）：ある「話題」のもとで出現しやすい単語集合各文書中の単語をトピックで色分け  大体の内容の「話題」がわかる [Blei+, 2003] Blei et al, “Latent Dirichlet Allocation”, Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

11. 11Copyright©2015 NTT corp. All Rights Reserved. トピックとは？新聞記事なら：国内政治、国際政治、経済、金融、スポーツ、芸能、文化・・・などの「話題」その話題のもとで出現しやすい単語、すなわち単語出現確率によって各トピックを定義「総選挙」「音楽性」「アイドル」単語トピック投票消費税総選挙 .04 .04 .03 … … アイドル総選挙ドラマ .05 .02 .04 … … 音楽展覧会アニメ .04 .02 .02 … … 国内政治芸能文化

12. 12Copyright©2015 NTT corp. All Rights Reserved. ユニグラム混合モデル：１文書を１トピックだけで説明する GMMと同じ複雑さの文書モデリングガウシアンコンポーネント＝トピックサンプル＝文書消費税法案否決据え置き・・・総選挙長期金利影響永田町・・・アイドルグループ総選挙・・・経済効果音楽ドラマ CM ・・・文書 dを構成する単語集合 xd 文書 d’を構成する単語集合 xd’ 投票消費税総選挙 .04 .04 .03 … … 国内政治アイドル総選挙ドラマ .05 .02 .04 … … 芸能

13. 13Copyright©2015 NTT corp. All Rights Reserved. 現実：１文書中に複数トピックが混在する状況も自然に考えられる一つの文書の中に複数のトピックが混在する、という二段目の「混合」があったほうが良い消費税法案否決据え置き・・・総選挙長期金利影響永田町・・・アイドルグループ総選挙・・・経済効果音楽ドラマ CM ・・・文書 dを構成する単語集合 xd 文書 d’を構成する単語集合 xd’ 金融？経済？投票消費税総選挙 .04 .04 .03 … … 国内政治アイドル総選挙ドラマ .05 .02 .04 … … 芸能

14. 14Copyright©2015 NTT corp. All Rights Reserved. トピックモデル：混合モデルの混合モデル２段階の混合モデルで文書データ集合を表現する上位の混合：文書集合全体はトピックの混合モデル下位の混合：各文書自体が固有の混合比をもつトピック混合モデルで、各単語はいずれかのトピックで説明投票消費税総選挙 .04 .04 .03 … … 国内政治アイドル総選挙ドラマ .05 .02 .04 … … 芸能金利緩和中銀 .03 .02 .02 … … 金融消費税法案否決据え置き・・・総選挙長期金利影響永田町・・・トピック＝混合コンポーネントで文書集合をモデル化文書＝混合コンポーネントの混合モデル文書dのトピック混合比文書dの観測量（単語群）各トピックの単語分布

15. 15Copyright©2015 NTT corp. All Rights Reserved. Latent Dirichlet Allocation (LDA) [Blei+, 2003] 階層ベイズモデルによる “デファクトスタンダード” 確率的生成モデル: 文書データが確率的にサンプリング（生成）される過程を定義 pLSI(非ベイズモデル)[Hoffman, 1999]よりモデリング精度、拡張性、学習の安定性の面で優れる多様な最新のベイズ推論方法が使える [Blei+, 2003] Blei et al, “Latent Dirichlet Allocation”, Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

16. 16Copyright©2015 NTT corp. All Rights Reserved. LDAの確率的生成過程：４つの登場要素に確率分布を仮定 d: 文書のインデックス d ∈ {1, …, D} i: 単語のインデックス i ∈ {1, … Nd} V: 観測される離散シンボルのインデックス v ∈ {1, …, V} k: トピックのインデックス k ∈ {1, …, K} 𝑥 𝑑,𝑖 = 𝑣 ~ Discrete 𝜷 𝑧 𝑑,𝑖 𝑧 𝑑,𝑖 = 𝑘 ~ Discrete 𝜽 𝑑 𝜽 𝑑 ∈ ℝ+ 𝐾 ~Dirichlet 𝜶 𝜷 𝑘 ∈ ℝ+ 𝑉 ~Dirichlet 𝜷0 for トピック k = 1, 2, …, K トピックkの単語分布 for 文書d = 1, 2, …, D 文書dのトピック混合比 for 単語i = 1, 2, …, Nd 単語(d,i)のトピック割り当て単語の値(観測する文字列）独立かつ一様に分布（サンプリング）投票消費税総選挙 .04 .04 .03 … … 国内政治

17. ex) 政治欄の記事文書d, i番目の観測単語がv 番目のシンボル「総選挙」だったトピック＝「ある話題での単語の出やすさ分布」を生成すなわち不均一なV面サイコロをK個つくりますディリクレ(Dirichlet)分布：すべて非負＆足して１のベクトル≒「サイコロ」を生成する確率分布 𝜷 𝑘 ∈ ℝ+ 𝑉 ~Dirichlet 𝜷0 for トピック k = 1, 2, …, K 投票消費税総選挙 .04 .04 .03 … … k:国内政治アイドル総選挙ドラマ .05 .02 .04 … … m:芸能金利緩和中銀 .03 .02 .02 … … l:金融各トピックごとに出やすい単語が違う＝「話題」が違うことを表現単語の語彙数＝V トピックの総数＝K

18. 文書ごとの固有のトピック混合比を生成すなわち不均一なK面サイコロをD個つくります 𝜽 𝑑 ∈ ℝ+ 𝐾 ~Dirichlet 𝜶for 文書d = 1, 2, …, D 政治欄の文書d: 𝜽 𝑑 芸能欄の文書d’: 𝜽 𝑑′ 政治欄の記事なら政治トピックが多めになると期待 ex) 政治欄の記事文書d, i番目の観測単語がv 番目のシンボル「総選挙」だった 𝜷 𝑘 ∈ ℝ+ 𝑉 ~Dirichlet 𝜷0 投票消費税総選挙 .04 .04 .03 … … k:国内政治アイドル総選挙ドラマ .05 .02 .04 … … m:芸能金利緩和中銀 .03 .02 .02 … … l:金融トピックkの単語分布トピックの総数＝K 文書の総数＝D

19. (1) (2) (3) (4) ・・・ (i) (i+1) (i+2) (i+3) ・・・各文書dの単語iごとに、文書のトピック混合比に合わせて i番目の単語を説明するトピックを割り当てます。つまり混合比のK面サイコロを振ります。 for 文書d = 1, 2, …, D 𝑧 𝑑,𝑖 = 𝑘 ~ Discrete 𝜽 𝑑 for 単語i = 1, 2, …, Nd 離散分布（多項分布）：与えられた「サイコロ」を振って出目を返す確率分布 ex) 政治欄の記事文書d, i番目の観測単語がv 番目のシンボル「総選挙」だった 𝜽 𝑑 ∈ ℝ+ 𝐾 ~Dirichlet 𝜶 𝜷 𝑘 ∈ ℝ+ 𝑉 ~Dirichlet 𝜷0 投票消費税総選挙 .04 .04 .03 … … k:国内政治アイドル総選挙ドラマ .05 .02 .04 … … m:芸能金利緩和中銀 .03 .02 .02 … … l:金融トピックkの単語分布文書dのトピック混合比 i番目の単語について一番混合比が高いトピックを選択した

20. 消費税法案否決据え置き・・・総選挙長期金利影響永田町・・・ i番目の単語に割り当てられたトピックと、そのトピックのもつ単語分布に従って実際の観測量（文字列）を生成します。つまり指定されたトピックのV面サイコロを振ります for 文書d = 1, 2, …, D for 単語i = 1, 2, …, Nd 𝑥 𝑑,𝑖 = 𝑣 ~ Discrete 𝜷 𝑧 𝑑,𝑖 ex) 政治欄の記事文書d, i番目の観測単語がv 番目のシンボル「総選挙」だった 𝑧 𝑑,𝑖 = 𝑘 ~ Discrete 𝜽 𝑑 𝜽 𝑑 ∈ ℝ+ 𝐾 ~Dirichlet 𝜶 𝜷 𝑘 ∈ ℝ+ 𝑉 ~Dirichlet 𝜷0 投票消費税総選挙 .04 .04 .03 … … k:国内政治アイドル総選挙ドラマ .05 .02 .04 … … m:芸能金利緩和中銀 .03 .02 .02 … … l:金融文書dの観測量（単語群）トピックkの単語分布文書dのトピック混合比確率の高い「総選挙」がサンプルされた

21. 投票消費税総選挙 .04 .04 .03 … … k:国内政治アイドル総選挙ドラマ .05 .02 .04 … … m:芸能金利緩和中銀 .03 .02 .02 … … l:金融消費税法案否決据え置き・・・総選挙長期金利影響永田町・・・ 𝑥 𝑑,𝑖 = 𝑣 ~ Discrete 𝜷 𝑧 𝑑,𝑖 𝑧 𝑑,𝑖 = 𝑘 ~ Discrete 𝜽 𝑑 𝜽 𝑑 ∈ ℝ+ 𝐾 ~Dirichlet 𝜶 𝜷 𝑘 ∈ ℝ+ 𝑉 ~Dirichlet 𝜷0 for トピック k = 1, 2, …, K トピックkの単語分布 for 文書d = 1, 2, …, D 文書dのトピック混合比 for 単語i = 1, 2, …, Nd 単語(d,i)のトピック割り当て単語の値(観測する文字列）文書dの観測量（単語群）トピックkの単語分布文書dのトピック混合比

22. このモデルに従って文書が確率的に生成されたと「仮定して学習すると」トピック解析ができます 22 [Blei+, 2003] bの推論結果＝各トピックの頻出単語  「話題」のクラスタがわかる Zの推論結果＝各文書中の単語をトピックで色分け  文書の大体の内容の「話題」がわかる [Blei+, 2003] Blei et al, “Latent Dirichlet Allocation”, Journal of Machine Learning Research, Vol. 3, pp. 993-1022, 2003.

23. 23Copyright©2015 NTT corp. All Rights Reserved. Bag-of-Words(BoW)表現「単語の出現頻度」のみで文書をモデル化 LDAモデルは文書中の単語の順番 i を入れ替えても確率が変化しないため（可換性）法案：４賛成：４多数：４国会：３・・・・総選挙：５握手：４売上：４アイドル：２・・・・ BoWはトピックモデルの限界を規定すると共に実応用上の大きなメリットも提供する重要な性質です

24. 24Copyright©2015 NTT corp. All Rights Reserved. BoW表現のpros & cons Pros: 文書データを簡易＆省メモリなフォーマットで表現可能 Cons: 観測量（単語）間に一切の依存関係・順序関係を認めない 大量のデータを投入可能にすることで高いクラスタリング精度を見込める  モデルの限界。文書の生成過程としてはかなり非現実的な仮定（ただし意味のクラスタを抽出するにはこれで十分だった）

25. 25Copyright©2015 NTT corp. All Rights Reserved. プレートノーテーション（グラフィカルモデル）変数間の依存関係とインデックスの繰り返し部分を図示する方法様々なモデルを視覚的に比較可能 25 𝑧 𝑑,𝑖 𝑥 𝑑,𝑖 𝜷 𝑘 𝜽 𝑑𝜶 i=1, …, Nd k=1, …, K d=1, …, D 𝜷0 LDAのグラフィカルモデル定数（ハイパーパラメータ）観測量プレート：変数の繰り返しとインデックス範囲確率変数

26. 26Copyright©2015 NTT corp. All Rights Reserved. プレートノーテーション（グラフィカルモデル） 26 𝑧 𝑑,𝑖 𝑥 𝑑,𝑖 𝜷 𝑘 𝜽 𝑑𝜶 i=1, …, Nd k=1, …, K d=1, …, D 𝜷0 定数（ハイパーパラメータ）確率変数観測量プレート：変数の繰り返しとインデックス範囲 𝑥 𝑑,𝑖 = 𝑣 ~ Discrete 𝜷 𝑧 𝑑,𝑖 𝑧 𝑑,𝑖 = 𝑘 ~ Discrete 𝜽 𝑑 𝜽 𝑑 ∈ ℝ+ 𝐾 ~Dirichlet 𝜶 𝜷 𝑘 ∈ ℝ+ 𝑉 ~Dirichlet 𝜷0for トピック k = 1, 2, …, K for 文書d = 1, 2, …, D for 単語i = 1, 2, …, Nd LDAのモデル

29. 29Copyright©2015 NTT corp. All Rights Reserved. トピック間の関係モデリング LDAでは表現できない「トピックの関係」を実現するための研究は多数ありあす [Blei & Lafferty, 2007] Blei and Lafferty, “A Correlated Topic Model of Science”, The Annals of Applied Statistics, Vol. 1(1), pp. 17-35, 2007. [Li&McCallum, 2006] Li and McCallum, “Pachinko Allocation: DAG-Structured Mixture Models of Topic Correlations”, in Proc. ICML, 2006. トピック間の上位・下位関係 [Li & McCallum, 2006] 医療経済新薬開発地方医療金融危機再生医療トピックの相関関係 [Blei & Lafferty, 2007] 国際政治日米関係日本映画貿易

30. 30Copyright©2015 NTT corp. All Rights Reserved. Correlated Topic Model (CTM) [Blei & Lafferty, 2007] トピック間の正負の相関をモデル化 30 𝜽 𝑑 ∈ ℝ+ 𝐾 ~Dirichlet 𝜶 LDA 文書dのトピック混合比 𝜽 𝑑 ∈ ℝ 𝐾 ~Normal 𝐾 𝝁, 𝜮 CTM 文書dのトピック ``レスポンス’’ Soft-maxでトピック混合比へ変換 𝑧 𝑑,𝑖 = 𝑘 ~ Discrete 𝜽 𝑑各単語iのトピック割り当て 𝜽 𝑑,𝑘 = exp 𝜃 𝑑,𝑘 𝑘′ exp 𝜃 𝑑,𝑘′ ∈ ℝ+ 𝐾 𝑧 𝑑,𝑖 = 𝑘 ~ Discrete 𝜽 𝑑各単語iのトピック割り当て Soft-maxによる変換を導入することで、任意のK次元ベクトルをトピック ``レスポンス’’ として使えるようになる Σの設計によって、トピックの相関（正負）を積極的にデザインできる [Blei & Lafferty, 2007] Blei and Lafferty, “A Correlated Topic Model of Science”, The Annals of Applied Statistics, Vol. 1(1), pp. 17-35, 2007.

31. 31Copyright©2015 NTT corp. All Rights Reserved. Pachinko Allocation Model [Li & McCallum, 2006] 単語を生成するtopicへの分岐を制御するsuper-topicを最初に選択する階層モデル医療super-topicを選ぶと医療関係のトピックを選択しやすくなる super-topicは普通のトピックの重み付和として表現・・・ super-topicノード s: 全トピックノードと接続ルートノード topicノード k ・・・医療経済新薬開発地方医療貿易自由化金融危機再生医療 [Li&McCallum, 2006] Li and McCallum, “Pachinko Allocation: DAG-Structured Mixture Models of Topic Correlations”, in Proc. ICML, 2006.

32. 32Copyright©2015 NTT corp. All Rights Reserved. 時系列データタイムスタンプのついた文書データ群に対する時間依存性モデリングは多くの場面で必要です 2014 2015 購買履歴 [Iwata+, 2009] 科学論文・特許 [Blei & Lafferty, 2006] 動画像、音響信号 [Nakano+, 2011; Ishiguro+, 2012] [Nakano+, 2011] Nakano et al., “Automatic Video Annotation via Hierarchical Topic Trajectory Model Considering Cross-modal Correlation”, in Proc. ICASSP, 2011. [Ishiguro+, 2012] Ishiguro et al., “Probabilistic Speaker Diarization with Bag-of-Words Representations of Speaker Angle Information”, IEEE Trans. ASLP, 20(2), 447-460, 2012. [Blei & Lafferty, 2006] Blei & Lafferty, “Dynamic Topic Models”, in Proc. ICML, 2006. [Iwata+, 2009] Iwata et al, “Topic Tracking Model for Analyzing Consumer Purchase Behavior”, in Proc. IJCAI, 2009.

33. 33Copyright©2015 NTT corp. All Rights Reserved. (添え字d, i, kは省略) time 𝑥𝑡−1 𝜷 𝑡−1𝜽 𝑡−1 i=1, …, Nt-1,d d=1, …, Dt-1 𝑧𝑡 𝑥𝑡 𝜷 𝑡𝜽 𝑡 i=1, …, Nt,d k=1, …, K 𝑧𝑡−1 d=1, …, Dt 𝜶 𝑡−1 𝜶 𝑡 各年度tの研究トピックの流行（混合比の分布）が前年度に依存して変化各研究トピックkの単語の選択確率が前年度に依存して発展年度 t-1 年度 t GMM Viola-Jones SVM .04 .04 .03 … … パターン認識 SGD カット深層学習 .04 .04 .03 … … [Blei & Lafferty, 2006] Blei & Lafferty, “Dynamic Topic Models”, in Proc. ICML, 2006. Dynamic Topic Models (DTM) [Blei & Lafferty, 2006] 論文誌データを年度ごとの時系列で解析

34. 34Copyright©2015 NTT corp. All Rights Reserved. Topic Tracking Model (TTM) [Iwata+, 2009] 34[Iwata+, 2009] Iwata et al, “Topic Tracking Model for Analyzing Consumer Purchase Behavior”, in Proc. IJCAI, 2009. 購買履歴データからユーザの興味を時間解析して推薦文書＝ユーザ、トピック＝興味、単語＝購入商品 𝑥𝑡−1 𝜷 𝑡−1𝜽 𝑡−1 i=1, …, Nt-1,d d=1, …, D 𝑧𝑡 𝑥𝑡 𝜷 𝑡𝜽 𝑡 i=1, …, Nt,d k=1, …, K 𝑧𝑡−1 d=1, …, D 𝜶 𝑡−1 𝜶 𝑡 (添え字d, i, kは省略) 各ユーザ d の興味トピック混合比が時刻tに応じて変化興味トピック k ごとのアイテム購買分布が時間変化ガジェット時刻 t-1 時刻 t

35. 35Copyright©2015 NTT corp. All Rights Reserved. 教師情報・補助情報の利用トピッククラスタリングのために教師信号やメタデータを利用する拡張モデルの研究例です文書間の関係リンク [Chang & Blei, 2009]数値スコア（評点） [Blei & McAuliffe, 2008] クラスラベル、タグ [Lacoste-Julien+, 2009; Ramge+, 2009] 4.3 “cool” クラス１クラス３“あとで読む” [Blei & McAuliffe, 2008] Blei and McAuliffe, “Supervised Topic Models”, in Proc. NIPS, 2008. [Lacoste-Julien+, 2009] Lacoste-Julien et al.., “DiscLDA: Discriminative Learning for Dimensionality Reductioin and Classification”, in Proc. NIPS, 2009. [Ramage+, 2009] Ramage et al., “Labeled LDA: a supervised topic model for credit attribution in multi-labeled corpora”, in Proc. EMNLP, 2009. [Chang & Blei, 2009] Chang and Blei, “Relational Topic Models for Document Networks”, in Proc. AISTATS, 2009.

36. 36Copyright©2015 NTT corp. All Rights Reserved. Supervised LDA (sLDA) [Blei & McAuliffe, 2008] BoW文書と補助情報（数値スコア）を同時にトピック割当Zで制御 36 𝑧 𝑑,𝑖 𝑥 𝑑,𝑖 𝜷 𝑘 𝜽 𝑑𝜶 i=1, …, Nd k=1, …, K d=1, …, D 𝜷0 LDAのグラフィカルモデル 𝑧 𝑑,𝑖 𝑥 𝑑,𝑖 𝜷 𝑘 𝜽 𝑑𝜶 i=1, …, Nd k=1, …, K d=1, …, D 𝜷0 sLDAのグラフィカルモデル 𝑦 𝑑 評価スコア値𝜇 𝜎𝑧 𝑑,𝑘 = 1 𝑁𝑑 𝑖=1 𝑁 𝑑 𝛿 𝑘 𝒛 𝑑,𝑖 𝑦 𝑑| 𝒛 𝑑, 𝜼, 𝜎 ~N 𝜼 𝑇 𝒛 𝑑, 𝜎 𝟐 [Blei & McAuliffe, 2008] Blei and McAuliffe, “Supervised Topic Models”, in Proc. NIPS, 2008.

37. 37Copyright©2015 NTT corp. All Rights Reserved. 離散ラベル・タグデータ：矢印が逆向き教師（補助）データがトピック混合比やトピック割り当てを制御する [Lacoste-Julien+, 2009][Ramge+, 2009] [Lacoste-Julien+, 2009] Lacoste-Julien et al.., “DiscLDA: Discriminative Learning for Dimensionality Reductioin and Classification”, in Proc. NIPS, 2009. [Ramage+, 2009] Ramage et al., “Labeled LDA: a supervised topic model for credit attribution in multi-labeled corpora”, in Proc. EMNLP, 2009.

40. 40Copyright©2015 NTT corp. All Rights Reserved. 文構造、オントロジー情報 [Boyd-Graber & Blei, 2009] Boyd-Graber & Blei, “Syntactic Topic Models”, in Proc. NIPS, 2009. [Boyd-Graber+, 2007] Boyd-Graber et al., “A topic model for word sense disambiguation”, in Proc. EMNLP, 2007. 文構造情報や、外部DBのオントロジーをトピックモデルと融合する構文木を補助情報として用いる [Boyd-Graber & Blei, 2009] トピック＝WordNetの同義語グラフ上の酔歩としてモデル化 [Boyd-Graber+, 2007]

41. 41Copyright©2015 NTT corp. All Rights Reserved. 文構造、オントロジー情報 NLPでなくても木構造などのデータ構造を取り入れる際に参考になる [Gruber+, 2007] Gruber et al., “Hidden topic Markov models”, in Proc. AISTATS, 2007. トピックが文単位のHMMで遷移 [Gruber+, 2007]

42. 42Copyright©2015 NTT corp. All Rights Reserved. Sentiment Analysisへの応用 Sentiment analysis (感情極性解析): ある単語(節, 文)がポジティブなのかネガティブなのかを推定する技術トピックモデルと組み合わせることで、「トピックごとの」sentimentを推定できる Mei+, 2007] Mei+, “Topic sentiment mixture: modeling facets and opinions in weblogs“, in Proc. WWW, 2007. [Mei+, 2007]

43. 43Copyright©2015 NTT corp. All Rights Reserved. Sentiment Analysisへの応用 [Lin & He, 2009] [Lin & He, 2009] Lin & He, “Joint Sentiment / Topic Model for Sentiment Analysis“, in Proc. CIKM, 2009. Mei+, 2007] Mei+, “Topic sentiment mixture: modeling facets and opinions in weblogs“, in Proc. WWW, 2007. Sentiment隠れ変数を導入、トピックの選択に影響 [Mei+, 2007] “Positive”トピックと”Negative”トピックを明示的にモデル化

44. 44Copyright©2015 NTT corp. All Rights Reserved. オンラインレビュー記事の自動解析レビュー記事は、さまざまな観点(aspect)についての評論が書かれています立地・食事・アクセス・アメニティ・・・・仮説：観点はレビュー記事内の「話題」に相当 トピックモデルで自動抽出できそう？ [Titov & McDonald, 2008ACL] [Titov & McDonald, 2008ACL] Titov & McDonald, “A joint model of text and aspect ratings for sentiment summarization”, in Proc. ACL, 2008.

45. 45Copyright©2015 NTT corp. All Rights Reserved. オンラインレビュー記事の自動解析トピックモデルでレビュー記事DBの利用価値向上細かい観点をトピック的に学習  レビュー内の「関心事」を自動抽出観点ごとのsentiment analysisと併用  観点ごとの評価値や総合評価値の予測 45 値段: A 性能: A アフターサービス: C 使いやすさ: B 総合評価: 4 観点評価 [Titov & McDonald, 2008ACL; Brody, 2010] [Titov & McDonald, 2008ACL] Titov & McDonald, “A joint model of text and aspect ratings for sentiment summarization”, in Proc. ACL, 2008. [Titov & McDonald, 2008WWW] Titov & McDonald, “Modeling online reviews with multigrain topic models”, in Proc. WWW, 2008. [Brody, 2010] Brody, “An Unsupervised Aspect-Sentiment Model for Online Reviews”, in Proc. NAACL, 2010 [Titov & McDonald, 2008WWW]

46. 46Copyright©2015 NTT corp. All Rights Reserved. ソーシャルサービスデータ解析分野での応用ソーシャルサービスデータはトピックモデルに良く適合します主にテキストで情報交換されるさまざまな話題があるが、人手での整理は困難社会インフラの側面もありモデル化価値が高いここでは特に以下の２点について報告します： A) ツイッター[twitter.com]応用 B) Geo-Taggedデータ解析

48. ユーザ本人の意図が反映された投稿か、ノイジーな投稿かを推定 [Hong & Davidson, 2010] Hong & Davidson, “Empirical study of topic modeling in twitter”, in Proc. The First Workshop on Social Media Analytics, 2010. [Yan+, 2013] Yan et al., “A biterm topic model for short texts2, in Proc. WWW, 2013. [Xu+, 2011] Xu et al., “Discovering User Interest on Twitter with a Modified Author-Topic Model”, In Proc. IEEE/WIC/ACM Int. Conf. on Web Intelligence and Intelligent Agent Technology, 2011. [Xu+, 2011] ツイート＝文書とするトピックモデルをあきらめ、bi-termごとにトピックを割り当てる [Yan+, 2013] まず当たるべき比較研究論文

49. 49Copyright©2015 NTT corp. All Rights Reserved. Geo-Taggedデータ解析位置情報つき(Geo-Tagged)ソーシャルデータは、特に実世界における推薦サービスへの応用が見込めるため重要な課題です技術的には：位置情報によってトピックの分布や単語の分布をどのように変化させるか？ Ex) 野球トピックアメリカ東海岸：ヤンキースvs.レッドソックスアメリカ西海岸：マリナースやドジャース？

50. 50Copyright©2015 NTT corp. All Rights Reserved. モデル化の例単語wとロケーションlがトピックのもとで条件付き独立 [Wang+, 2007] 位置の隠れ変数 r が単語 w とジオタグ観測 y を支配する単語分布は（トピックz, 位置r）でインデックスされる [Eisenstein+, 2010] [Wang+, 2007] Wang et al., “Mining Geographic Knowledge Using Location Aware Topic Model”, in Proc. GIR, 2007. [Eisenstein+, 2010] Eisenstein et al., “A latent variable model for geographic lexical variation”, in Proc. EMNLP, 2010.

52. 52Copyright©2015 NTT corp. All Rights Reserved. Bag of Visual Words (BoVW): 画像データの「文書化」 RGB値や局所記述子のような画像特徴量は数値ベクトル  クラスタリングで離散シンボル化 52 K-meansなどによる量子化 Visual Words: 単語に相当 Bag of Visual Words: 文書に相当 SIFT, SURFなどの数値(局所)特徴を抽出 v = 1 v = 2 v = 3 V次元のヒストグラム・・・ K = V Leung & Malik, “Representing and Recognizing the Visual Appearance of Materials using Three-dimensional Textons”, IJCV, 43(1):29–44, 2001. Sivic &Zisserman, “Video Google: a text retrieval approach to object matching in videos”, In Proc. ICCV, 2003. 柏野 et al., “ヒストグラム特徴を用いた音響信号の高速探索法- 時系列アクティブ探索法-”. 電子情報通信学会論文誌, J82-D-II(9):1365– 1373, 1999.

53. 53Copyright©2015 NTT corp. All Rights Reserved. 最初期の応用例：シーン認識 BoVW + トピックモデルを画像処理に使った最初期の例シーンのクラスごとに、トピック混合比の傾向が異なることを利用して学習・識別 [Fei-Fei & Perona, 2005] Fei-Fei and Perona., “A Bayesian hierarchical model for learning natural scene categories”, in Proc. CVPR, 2005. [Fei-Fei & Perona, 2005]

54. 54Copyright©2015 NTT corp. All Rights Reserved. プレートノーテーションと生成モデル 54 𝑧 𝑑,𝑖 𝑥 𝑑,𝑖 𝜷 𝑘 𝝅 𝑑 𝜼 i=1, …, Nd k=1, …, K d=1, …, D c=1, …, C 𝐶 𝑑 画像dのトピック混合比 𝝅 𝑑~Dirichlet 𝜽 𝑐 𝑑 Key point (d,i)のトピック割り当て 𝑧 𝑑,𝑖~Discrete 𝝅 𝑑 Key pointの観測量(visual words) 𝑥 𝑑,𝑖~Discrete 𝜷 𝑧 𝑑,𝑖 画像dのシーンクラス 𝑐 𝑑~Discrete 𝜼 𝜽 𝑐 シーンクラスc固有の混合比ハイパーパラメータ（平均）文書dのクラスのハイパーパラメータを平均にする

55. 55Copyright©2015 NTT corp. All Rights Reserved. 認識問題ではあまり使われませんでした理由は２つあると考えています１．LDAは教師なしの生成モデル認識問題は教師有り識別タスク   SVMなどの識別モデルを使ったほうが性能が高いのは自然２．BoVWの表現能力不足研究の方向はFisher Vector, GMM SuperVectorのように表現力の高い連続数値特徴量の開発に向かった   離散シンボル化した観測量では識別能力に限界がある

56. 56Copyright©2015 NTT corp. All Rights Reserved. トピックモデルの応用先：セグメンテーションセグメンテーションもクラスタリングタスクなのでアプローチ：画像をsuper pixel (小部分領域)に過剰分割各super pixelに一つのトピックを割り当てて同じトピック領域を結合 [Cao & Fei-Fei, 2007] Super pixelに過剰分割  LDAでトピック割当(色塗り) [Cao & Fei-Fei, 2007] Fei-Fei and Perona., “Spatially Coherent Latent Topic Model for Concurrent Segmentation and Classification of Objects and Scenes”, in Proc. ICCV, 2007 [Niu+, 2012] Niu et al., “Context aware topic model for scene recognition”, in Proc. CVPR, 2012. オブジェクトの切りだし：簡単な画像ならトピック = オブジェクト複雑な画像なら教師情報つきLDAに拡張[Cao & Fei-Fei, 2007, Niu+, 2012]] 簡単な場合はトピックモデルだけで切り出せる

57. 複数のレベルでsuper pixelを作ってよいものを選ぶ[Russel+, 2006] 画像のシーン認識＋セグメンテーション。シーンラベルとトピックによって super pixelの空間配置も評価される [Niu+, 2012] [Russel+, 2006] Russell et al., “Using Multiple Segmentations to Discover Objects and their Extent in Image Collections”, in Proc, CVPR, 2006. [Niu+, 2012] Niu et al., “Context aware topic model for scene recognition”, in Proc. CVPR, 2012.

58. 58Copyright©2015 NTT corp. All Rights Reserved. 音声・音響分野での応用：あまり数がありません音は非線形かつ時間連続性をもつ信号のため、離散シンボルでモデル化する妥当性が低い？観測量の分布を連続量の確率分布（正規分布など）に変更する例がいくつかある音楽推薦のためにボーカルの特徴量を使用[Yoshii & Goto, 2009] 音源位置推定のために音源到達位相差（時間差）を使用[Ishiguro+, 2012] [Yoshii & Goto, 2009] Yoshii and Goto, “Continuous PLSI and Smoothing Techniques for Hybrid Music Recommendation”, in Proc. ISMIR, 2009. [Ishiguro+, 2012] Ishiguro et al., “Probabilistic Speaker Diarization With Bag-of-Words Representations of Speaker Angle Information”, IEEE Trans. ASLP, 20(2):447–460, 2012.

59. 59Copyright©2015 NTT corp. All Rights Reserved. 動画像処理での応用：あまり数がありません時系列モデルであるため、そもそものモデル化のハードルが高い？時空間interest pointsを使った動作認識[Niebles+, 2008] 動きパターンのクラスタリング[Hospedales+,2012] トラッキング[Rodriguez+, 2009] [Niebles+, 2008] Niebles et al., “Unsupervised learning of human action categories using spatial-temporal words”, IJCV, 79(3):299–318, 2008. [Hospedales+, 2012] Hospedales et al., “Video Behaviour Mining Using a Dynamic Topic Model”, IJCV, 98(3):303–323, 2012. [Rodriguez+, 2009] Rodriguez et al., “Tracking in unstructured crowded scenes”, in Proc. ICCV, 2009. [Hospedales+, 2012] [Rodruguez+, 2009]

61. 61Copyright©2015 NTT corp. All Rights Reserved. LDAの推定方法: ベイズ事後分布推定変分ベイズ(VB)法: 近似解へ収束保証、高速計算が容易周辺化ギブスサンプリング(CGS)法: 厳密解、 qd, bkの推定が不要周辺化変分ベイズ(Collapsed Variational Bayes, CVB)法: VBより良い近似、 qd, bkの推定が不要、実験的に最高精度 [Asuncion+, 2009; Sato&Nakagawa, 2012] 周辺化: 確率変数を定義域全体で積分することでその変数の影響を全て織り込んでおくこと手法 q, bの推定実験的な推定精度厳密解へ漸近収束停留点で収束収束判定実際的な計算コスト近似計算・並列化による高速化 VB 要普通 × ○ 容易低い容易 CGS 不要高い ○ - 困難高い可能 CVB 不要最高 × × 困難高い可能？ [Asuncion+, 2009] Asuncion et al., “On Smoothing and Inference for topic models”, in Proc. UAI, 2009. [Sato & Nakagawa, 2012] Sato & Nakagawa, “Rethinking Collapsed Variational Bayes Inference For LDA”, in Proc. ICML, 2012. New

62. 62Copyright©2015 NTT corp. All Rights Reserved. CVB法のアルゴリズムアイデア：VBの変分下限よりもよりタイトな近似であるCVB下限を最大化するただし、下限を正しく最大化するq(Z)は計算が困難なので、テイラー近似解を利用「CGSのような計算式に基づく」「VB(EM)のような決定的繰り返し計算」が導出される [Asuncion+, 2009] [Asuncion+, 2009] Asuncion et al., “On Smoothing and Inference for topic models”, in Proc. UAI, 2009.

63. 63Copyright©2015 NTT corp. All Rights Reserved. CVB法の理論 VB法：周辺化尤度(evidence)の下限近似を最大化する変分事後分布q(Z), q(q), q(b)を求める CVB法: パラメータを周辺化したうえで、周辺化尤度の下限近似を最大化するq(Z)を求める変分近似された事後分布がq(z)だけになるので、VB下限よりも必ず良い近似となる Also check my blog post: http://dr-kayai.hatenablog.com/entry/2013/12/22/003011

65. 65Copyright©2015 NTT corp. All Rights Reserved. global parameterと local parameter LDAの未知変数はglobal parameterと local parameterの２種類からなる global parameter: トピックの単語分布bk local parameter: トピック割り当てzd, 混合比qd 問題点：global param. bkの推定（更新）は全文書のスキャンが必要繰り返し計算が厳しい 𝑧 𝑑,𝑖 𝑥 𝑑,𝑖 𝜷 𝑘𝜽 𝑑𝜶 i=1, …, Nd k=1, …, K d=1, …, D local: 文書dに閉じている global: 文書のプレート全体に影響 𝜷0

66. 66Copyright©2015 NTT corp. All Rights Reserved. Stochastic Variational Inference (SVI) [Hoffman+, 2013] 変分下限の勾配を、乱拓したミニバッチ（文書サブセット）のデータで近似トピック単語分布bkの変分事後分布をO(S) (<< O(D))で高速に最適化 [Hoffman+, 2013] Hoffman et al., “Stochastic Variational inference”, Journal of Machine Learning Research, No. 14, 1304-1347, 2013. 乱拓したminibatch (S=2) 全文書 D 変分事後分布の更新 Noisy estimate

67. 67Copyright©2015 NTT corp. All Rights Reserved. SVI + オンライン学習 [Hoffman+, 2010] SVIによるglobal parameter推定 + Local parameterをオンラインで推定＝何度も繰り返し演算しない！最初のほうに見た文書のトピック推定は悪いはずだが、数をこなせば全体としては良い推定が可能 [Hoffman+, 2010] Hoffman et al., “Online Learning for Latent Dirichlet Allocation”, in Proc. NIPS, 2010.

68. 68Copyright©2015 NTT corp. All Rights Reserved. 並列学習 global/local param.の構造をうまく使います MR.LDA[Zhai+, 2012]: Map-ReduceでLDA学習 16ノードのHadoop構成で360K文書/時間を処理 Yahoo!LDA[Smola & Narayanamurthy, 2010]: multi-core, multi-CPU計算機でのLDA学習 8コアCPUの計算機１台で75K文書/時間を処理 multi-CPU環境では1台あたり42K 文書/時間 [Zhai+, 2012] Zhai et al., “Mr. LDA”, in Proc. WWW, 2012. [Smola & Narayanamurthy, 2010] Smola & Narayanamurthy, “An Architecture for Parallel Topic Models”, in Proc. VLDB, 2010.

69. 69Copyright©2015 NTT corp. All Rights Reserved. Mr. LDA [Zhai+, 2012] 分散計算が容易なVB推論をMapReduce分散系に実装した mapper: local paramの統計量を計算 reducer: global paramの統計量を計算 driver: globalなハイパーパラメータを更新 [Zhai+, 2012] Zhai et al., “Mr. LDA”, in Proc. WWW, 2012.

70. 70Copyright©2015 NTT corp. All Rights Reserved. Yahoo!LDA [Smola & Narayanamurthy, 2010] CGS推論において、メンテナンスが必要な隠れ変数と十分統計量を精査すると、 (A) 各文書で独立に保持できる量と (B) 文書全体で共有（通信が発生）されるが、頻繁に更新しなくても良い量が存在する点に着目 (A)を各コアで並列計算する間(B)を「定数」とみなすことで通信とlockされる時間を削減 zdi および n(d, k) = Σi I(zdi = k) n(k, v) = Σd Σi I(zdi = k)I(xdi = v) および n(k) = Σd Σi I(zdi = k) [Smola & Narayanamurthy, 2010] Smola & Narayanamurthy, “An Architecture for Parallel Topic Models”, in Proc. VLDB, 2010.

72. 72Copyright©2015 NTT corp. All Rights Reserved. 本講演のまとめトピックモデルの現在のstatus 技術としては「枯れて」いるが注目度は高いトピックモデル(LDA)とは混合モデルの混合モデル, プレートノーテーション各種拡張モデルについて相関、時間依存、教師情報の利用さまざまなパターン認識ドメイン応用について今後活用していただく際の「入口」の紹介推論手法とスケーラビリティ CVB、確率的最適化、並列計算

73. 73Copyright©2015 NTT corp. All Rights Reserved. 最新の研究例: The Bayesian case model [Kim+, 2014] 各トピックの「重要単語」と「典型例」を明示的にモデル化・推定 [Kim+, 2014] Kim et al., “The Bayesian Case Model: A Generative Approach for Case-Based Reasoning and Prototype Classification”, in Proc. NIPS, 2014. LDA: 各トピックの頻出単語リストを人が解釈提案法: 各トピックの典型的な観測値と重要な単語を自動で提示

75. 75Copyright©2015 NTT corp. All Rights Reserved. 参考図書の選び方（講演者の独断と偏見による）佐藤一誠, “トピックモデルによる統計的潜在意味解析”, 自然言語処理シリーズ８, コロナ社, 2015. トピックモデル(LDA)のすべてを詳細に議論各種推論法の非常に詳しい導出と背景となる数理的知識もカバートピックモデルを本格的に理解して、研究開発上の武器にしたい方は必読岩田具治, “トピックモデル”, 機械学習プロフェッショナルシリーズ, 講談社, 2015. 本サーベイよりもう一段深い、実用を指向した説明特に拡張モデルの記述が豊富とりあえず使ってみる・作ってみる際の理解を深めるのに好適

76. 76Copyright©2015 NTT corp. All Rights Reserved. IEICE技報の誤植訂正お手数をおかけいたしますが、下記の修正をお願いいたします。もしほかにお気づきの方がいらっしゃれば、ご指摘いただけると助かります。 p.20 左コラム12行目誤：[83] のように1 ツイート内に… 正：[82] のように1 ツイート内に… p.24 右コラム、[73]の出版年誤：2007年正：2008年

20151221 public

Katsuhiko Ishiguro

20151221 public

A particular slide catching your eye?