2015 08 survey

Transcript of "2015 08 survey"

1. 1. Komachi Lab M1 宮崎亮輔 2015/08/16 前期サーベイまとめ 小町研究室
2. 2. Komachi Lab これまで ✤ 先行研究のサーベイ
 （主に分散表現と深層ニューラルネットワーク (DNN)）! - 分散表現の学習! - 分散表現の構成性! - 分散表現を用いた極性解析! - RecursiveNN, RecurrentNN, etc.（後に説明） 2
3. 3. Komachi Lab サーベイまとめ・報告 3
4. 4. Komachi Lab 研究背景 4 自然言語処理における意味の表現 ベースとなる考え：ベクトル表現・分散表現 例 犬 = (0.8 0.1 0.0 0.7 0.7)! 猫 = (0.9 0.2 0.0 0.6 0.8) 似てる？ King - Man + Woman Queenになる？ ・分散表現による単語の表現（類似単語が近いベクトルに） ・分散表現による意味の構成性（加法構成性という特徴） 分散表現の良さを測るタスクも上２つが多い（類似性，類推性）
5. 5. Komachi Lab 分散表現の動向 5 キーポイントは恐らく４つ - 共起頻度にもとづく ( Count ) 分布仮説 (Harris 1954)! 似た文脈に出現する単語は似た意味を持つ ・ベクトル表現の作成 Count, Predict, Fine tuning, Composition 単語の共起行列に重み付けや次元削減を行う PPMIなど SVD, NMFなど ペット 学校 研究 楽しい 飼う 犬 80 5 0 70 83 猫 90 10 0 65 88 (Schütze 1993) 共起頻度行列の例 考え方の根幹となる仮説
6. 6. Komachi Lab 分散表現の動向 6 キーポイントは恐らく４つ 分布仮説 Harris 1954! 似た文脈に出現する単語は似た意味を持つ ・ベクトル表現の作成（学習） Count, Predict, Fine tuning, Composition ・入力単語から周辺の単語を予測 - 予測問題の学習に基づく ( Predict ) (Mikolov et al. 2013a, b) ・周辺単語から中央の単語を予測 word2vecという名前で流行
7. 7. Komachi Lab 分散表現の動向 7 キーポイントは恐らく４つ ・ベクトル表現の作成（調整） Count, Predict, Fine tuning, Composition 例）極性分析のタスク（文や句の極性を分析する） - 解きたいタスクで微調整 ( Fine tuning ) (Socher et al. 2013) CountやPredictで作成した単語ベクトル Recursive Neural Networkで入力ベクトルまで再学習 FeedForwardでないネットワーク構造が増えてきている 木構造をネットワーク構造として考えている 入力: 誤差逆伝播法 出力: very good, good, neutral, bad, very bad （後に詳しく説明）
8. 8. Komachi Lab 分散表現の動向 8 キーポイントは恐らく４つ Count, Predict, Fine tuning, Composition - 意味の構成性 ( Composition ) ・ベクトル表現の利用 単語より長い単位（句や文）の意味をどう表現するか → 構成してる単語のベクトルから文や句のベクトルを計算 計算方法 入力 出力 演算 reference Additive 単語A, 単語B 句(AB) V(A) + V(B) Mitchell et al. 2008 Multiplicative 単語A, 単語B 句(AB) V(A) ○ V(B) Mitchell et al. 2008 Vector-Matrix 形容詞A, 名詞B 名詞句(AB) M(A)V(B) Baroni et al. 2010 etc.※V(単語)：単語のベクトル表現, M(単語)：単語の行列表現, ○：アダマール積 このように利用することを前提にベクトル表現を学習することも (Tsubaki et al. 2013)
9. 9. Komachi Lab 分散表現とDNNの関係 9 しかし、入力が文だと = 入力長が一意でないと 分散表現はDNNへの入力値として親和性が高い (0~1の実数値のベクトルなので) 一般的なFeedForward型ネットワークへ入力できない 可変長の入力に対応したネットワーク構造が必要 例）この場合は４単語構成の文のみしか入力できない forward step の方向
10. 10. Komachi Lab 分散表現とDNNの関係 10 可変長の入力に対応したネットワーク構造 RecursiveNNRecurrentNN 単語と一つ前の隠れ層を入力 繰り返すことで系列を入力可能に 系列が長いと情報を保持しきれない 木構造のように組み上げる RecurrentNNの順序考慮ver （各重み行列は共有）
11. 11. Komachi Lab Long ShortTerm Memory 11 長い系列の重要な情報を記憶できる隠れ層を持つ LSTM ReccurentNNの系列が長いと情報を保持しきれない問題を解決 ３つのゲートで隠れ層を制御 input: 隠れ層への入力を選択的に入力 forget: 隠れ層の状態を選択的に忘れる output: 隠れ層からの出力を選択的に出力 重要な情報はゲートが開き、ノイズはゲートが閉じる どのような入力のときに
 ゲートを開け閉めするべきかも学習する
12. 12. Komachi Lab 極性分析 12 分散表現・DNNを用いた方法が次々提案 特にSentiment Tree BankができてからRecursive NNに注目 部分木（句）毎に正解ラベルの振られた木構造のデータセット Socher et al. 2013 特に良い成果を納めてるのがLSTMを利用したRNN Le et al. 2013
13. 13. Komachi Lab 極性分析におけるLSTM 13 phraseによる移動極性を表す特徴語の分布 (Wan et al. 2015) 上：初期値(Glove)! 下：RNN(LSTM)でチューニング
14. 14. Komachi Lab まとめ ✤ 分散表現・DNNのキーポイント! - Count! - Predict! - Composition! - Fine Tuning ! • Sentiment → RecursiveNN, LSTM 14 分布仮説
15. 15. Komachi Lab Reference ✤ Schütze (1993)
 Word Space! ✤ Mikolov et al. 2013a
 Efficient Estimation of Word Representations in Vector Space! ✤ Mikolov et al. 2013b
 Distributed Representations of Words and Phrases and their Compositionality! ✤ Harris 1954
 Distributional structure! ✤ Socher et al. 2013
 Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank! ✤ Mitchell et al. 2008
 Vector-based Models of Semantic Composition! ✤ Baroni et al. 2010
 Nouns are vectors, adjectives are matrices: Representing adjective-noun constructions in semantic space! ✤ Tsubaki et al. 2013
 Modeling and Learning Semantic Co-Compositionality through Prototype Projections and Neural Networks! ✤ Le et al. 2015
 Compositional Distributional Semantics with Long Short Term Memory 15