子供の言語獲得と機械の言語獲得

子供の言語獲得と機械の言語獲得

1. 1. ⼦子供の⾔言語獲得と 機械の⾔言語獲得 （株）Preferred Infrastructure 海野 　裕也（@unnonouno） 2016/03/17 PFIセミナー
2. 2. ⾃自⼰己紹介 海野  裕也 l  -2008 東⼤大情報理理⼯工修⼠士 l  ⾃自然⾔言語処理理 l  2008-2011 ⽇日本アイ・ビー・エム（株）東京基礎研 l  テキストマイニング、⾃自然⾔言語処理理の研究開発 l  2011- （株）プリファードインフラストラクチャー l  ⾃自然⾔言語処理理、情報検索索、機械学習、テキストマイニングなど の研究開発 l  研究開発系案件、コンサルティング l  JubatusやChainerの開発 l  最近は対話処理理 NLP若若⼿手の会共同委員⻑⾧長（2014-） 「オンライン機械学習」（2015, 講談社）2
3. 3. 知能とは何か？ 3 計算 記憶 推論論 認識識 制御 予測 理理解 創造 ⾔言語 ⼀一⼝口に知能といっても様々な側⾯面があるので、扱 いたい対象についてもっとよく知るべきだろう
4. 4. ⾔言語処理理とその周辺の知識識処理理 4
5. 5. 記号（⾔言語）の中で閉じた議論論を するコトに対する危機感 5
6. 6. 今⽇日の話 l  ⼈人がことばを知るとはどういうことか？ l  ⾃自然⾔言語処理理は主に⼤大⼈人の⾔言語を解析すること にフォーカスがあたっていた l  今⽇日の話は⼦子供が⾔言語を獲得することに関して、 少し勉強したのでその周辺の話をまとめます l  機械学習の⽂文脈でどこに対応するのかはさわり だけ 6
7. 7. 主な参考資料料 最近読んでいた本 l  ⾔言葉葉をおぼえるしくみ: ⺟母語 から外国語まで. 今井むつみ, 針⽣生悦⼦子 l  ことばの発達の謎を解く. 今井むつみ l  なるほど！⾚赤ちゃん学. ⽟玉川⼤大学⾚赤ちゃんラボ 7
8. 8. ことばの獲得推移 8 年齢 1歳 初語の獲得 ⽉月に10語 くらい ⽇日に10語 くらい 語彙爆発 18歳で6万語 平均10語/⽇日
9. 9. ヘレン・ケラー 9 モノには名前があるということを知った 途端にことばを覚えるようになった
10. 10. 即時マッピング l  ⼦子供は新しいことばを聞いた瞬間に正しく使え るようになる l  間違いを繰り返すことによって覚えるわけでは ない 10 即時マッピングと呼ぶ
11. 11. 機械学習的アプローチとの⽐比較 l  今の話 l  1回聞いただけで⼤大まかな意味は捉えられる l  ⼀一度度に1つしか学習しないが、過去に覚えた概念念との 関係を獲得する l  機械学習（例例えばword2vec） l  勾配法で反復復することでゆるゆる収束する l  ⼀一度度にたくさん異異なる情報を⾒見見せないと偏った学習 をする 11
12. 12. クワインのガヴァガイ問題 12 ガヴァガイだ！ ウサギのこと？ ふわふわしたこと？ 4本⾜足の動物？ ⽿耳を指してる？
13. 13. ことばの⾮非⾃自明な特性 l  ことばが何のどこを指すのか？ l  他の場⾯面にどれくらい適⽤用できるか？ 13
14. 14. ことばを「知る」ことは想像以上に不不可思議 l  当たり前と思っていることに気づくのは難しい l  機械学習その他諸々をすると、当たり前だと 思っていることがなかなか学習してくれない l  当たり前だと思っているのでお客さんの印象が 極めて悪い 14
15. 15. 余談：ブーバキキ効果 15 どちらが「ブーバ」で、 どちらが「キキ」でしょう？
16. 16. なぜ即時マッピングが可能なのか？ 仮説：ことばに対する強い思い込みがあり、 その思い込みを使って可能な候補を絞り込 んでいる 16
17. 17. 実験⽅方法 Q：どうやって確認するのか？ A：実際に⼦子供に⾒見見せて反応を⾒見見る どうやって？ 17
18. 18. 実験⽅方法 18 図は[今井14]から引用 これがネケだよ 別の個体 似ている 何か⽣生き物 無関係 完全⼀一致
19. 19. 実験⽅方法 19 1 2 3 4 5 数字の順番で、 カテゴリの 範囲が狭い どれをネケと思うかでカテゴリの粒粒度度がわかる
20. 20. 実験結果 20 l  ⼀一貫した反応をする  à  カテゴリと思っている l  基礎レベル（形状がだいたい同じ）までの反応が⼀一番多 い
21. 21. ⼦子供は何か普遍的なてかがりを使っているのでは？ l  ことばの認識識に偏り（バイアス）がある l  実験で様々なバイアスがわかってきた l  事物全体バイアス l  事物カテゴリーバイアス l  形バイアス l  相互排他性バイアス l  バイアスがフレーム問題解決の⼿手がかり？？ 21
22. 22. 事物全体バイアス l  「コップ」と⾔言われた時に、「取っ⼿手」やコップの 「⾊色」のことではなくて、コップそのもののことを指し ていると推定する l  先の実験で、基礎レベル刺刺激まで反応したこととも合致 22 モノの名前は⾊色や素材ではなく 事物全体の名前と考える
23. 23. 事物カテゴリバイアス l  対象そのものだけではなく、「似ている」対象は同じ語 を使っていいと考える l  先の実験の結果と⼀一致 l  どれを「似ている」と考えるかはケースバイケース 23 未知の語を固有名詞ではなく カテゴリ名だと考える
24. 24. 形バイアス l  先の実験結果と⼀一致 l  形バイアスと、事物カテゴリーバイアスのいずれである かという論論争が続いている（らしい） 24 カテゴリに対してではなく 似た形に対して同じ語だと思う
25. 25. 相互排他性バイアス l  ⽝犬も猫も「ニャンニャン」と⾔言っていた⼦子供に、⽝犬だけ 「ワンワン」と教えると、猫は「ニャンニャン」⽝犬は 「ワンワン」と覚える 25 モノの名前は ただ⼀一つであると考える
26. 26. 事物全体バイアス 事物カテゴリーバイアス 形バイアス 相互排他性バイアス 26 ことばと他の感覚（視覚）の関係 ことばとことばの関係
27. 27. 今の深層学習で同じことができる？ 27 これが同じように「動物」 だと認識識できる？ この辺が類似なのは 分かりそう
28. 28. word2vecはことばとことばの関係 [Mikolov+13] l  埋め込みベクトルの学習を始め、ことば同⼠士の関係しか ⾒見見ていない 28
29. 29. l  ことばは、ことばだけで覚えることはない l  ⾮非常に少ない事例例でことばを覚える l  これらを扱う機械学習の研究はあるか？ 29
30. 30. Zero-shot learning l  テスト事例例に対する学習データがない分類問題 l  ・・・というと流流⽯石に無理理なので、異異なる情報 源を使う l  画像の分類問題だが、ラベル単語間の関係は別 のテキストデータから学習できる 30
31. 31. NIPS2013読み会の得居さんの資料料参照 31
32. 32. 画像と単語の表現ベクトルの関係を学習 [Socher +13] l  画像特徴を⾮非線形変換して、対応する単語ベクトルに近 づくように学習する l  最近の深層学習系のZero-shot learningのはしり（？） 32 既知クラス 既知画像 単語埋込 画像特徴
33. 33. DeVise [Frome+13] l  ⼀一般物体認識識のモデルと、word2vecのモデルを作る l  両者（⽚片⽅方を変換）の類似度度が⾼高くなるように学習 33
34. 34. ConSE [Norouzi+14] l  単語埋め込みベクトルの重み付き平均にする l  単純だがDeViseより当たる 34 画像がyに分類される確率率率 yの単語埋め込み x:  ⼊入⼒力力画像 y(x,  t):  xに対するt番⽬目の予測ラベル
35. 35. 多様体学習を使う [Changpinyo+16] l  単語空間（左）と画像区間（右）で、phantom（biと vi）との相対的な位置関係が保たれるように配置する l  phantomの位置も同時に最適化する 35
36. 36. Zero-shot learningが⽰示すこと l  単語の類似度度と⾒見見た⽬目（画像）の類似度度を紐紐付 けることができる l  これは、画像の説明⽂文⽣生成、画像QAなどがうま く⾏行行っているということとも合致する 36
37. 37. 途中で気づいた l  Zero-shot learningの問題設定は、未知の画像を 既知の単語に紐紐付ける 37 ネケってこれのこ とだったのか〜～
38. 38. Zero-shot learningはことばの獲得に当たるか？ l  向きが逆だった l  極めて少数の事例例から学習する問題は、One-shot learning 38 これがネケだよ〜～
39. 39. One-shot learning l  たった1つの訓練事例例だけで学習する l  本当に1つだと無理理なので、それ以外のデータは たくさんある l  ものすごく⾟辛い半教師あり学習（？） 39
40. 40. NIPS2013読み会の能地さんの資料料参照 40
41. 41. Hierarchical Bayesian Program Learning [Lake +13] l  ⽂文字を書く過程を分解して、書き⽅方の「常識識」を学ぶ l  「⽂文字」というタスクにかなり特化している 41
42. 42. Zero vs One l  Zero-shot learning l  学習事例例がないので、代わりにラベル間の関係をテ キストデータから学習知る l  ことばは知っているけど⾒見見たことないモノの名前紐紐 付ける l  One-shot learning l  学習事例例が⼀一つしのラベルをあてられるようにする l  初めてきく単語をモノに紐紐付ける l  ベイズ系の⼿手法が多い 42
43. 43. 少し考えるとバイアスと⽭矛盾したことがいくらでも ⾒見見つかる 43 固有名詞 下位の⼀一般名詞 上位の⼀一般名詞 ⼀一般名詞 「動物」 「イヌ」 「柴犬」 「ハチ公」 形が似てなくても 同じ語になる 同じ対象に複数の 語が対応している カテゴリーではな い語が存在する 物質名はどう するの？
44. 44. 固有名詞の獲得 l  冠詞の有無で⼦子供の反応が変わる l  This is a dux. l  This is Dux. l  後者は固有名だと把握したような反応をする l  既知のモノを別のコトバで呼ぶ l  ペンギン（知っている）のぬいぐるみを「ネケ」と 呼ぶ l  「ネケ」は固有名だと把握したような反応をする 44
45. 45. 話はそんなに単純ではない l  ここまでの話は名詞の話 l  動詞、形容詞、その他・・・はまた異異なる現象 が知られている l  動詞：モノとモノの関係 l  形容詞：モノの特性 l  更更に知りたい⼈人は、本を読んでみてください 45
46. 46. まとめ l  ⼦子供がことばを覚える過程は不不可思議 l  ある年年齢以降降、急激に語彙を覚え始める l  ⼀一度度⾒見見ただけで語彙を覚える l  ⼈人間の認識識にはバイアスがある l  コトバとは何か、何をカテゴライズするか、どのように使い分 けるかに対する強烈烈な偏りがある l  即時マッピングに関係しそうな機械学習を紹介 l  Zero-shotは既知の単語を未知のモノに結びつける l  One-shotは未知の単語をモノに結びつける l  コトバの不不思議はまだまだいっぱい 46
47. 47. 参考⽂文献 1/3 l  [今井+14]今井  むつみ, 針⽣生  悦⼦子. ⾔言葉葉をおぼえるしくみ: ⺟母語から外国語まで.ちくま学芸 ⽂文庫, 2014. l  今井むつみ. ことばの発達の謎を解く.ちくまプリマー新書, 2013. l  ⽟玉川⼤大学⾚赤ちゃんラボ. なるほど！ 　⾚赤ちゃん学―ここまでわかった⾚赤ちゃんの 不不思議―. 新潮⽂文庫, 2014. 47
48. 48. 参考⽂文献 2/3 l  [Mikolov+13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. NIPS 2013. l  [Socher+13] Richard Socher, Milind Ganjoo, Christopher D. Manning, Andrew Y. Ng. Zero-Shot Learning Through Cross-Modal Transfer. NIPS 2013. l  [Frome+13] Andrea Frome, Greg S. Corrado, Jonathon Shlens, Samy Bengio, Jeffrey Dean, Marc’Aurelio Ranzato, Tomas Mikolov. DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013. 48
49. 49. 参考⽂文献 3/3 l  [Norouzi+14] Mohammad Norouzi, Tomas Mikolov, Samy Bengio, Yoram Singer, Jonathon Shlens, Andrea Frome, Greg S. Corrado, Jeffrey Dean. Zero-Shot Learning by Convex Combination of Semantic Embeddings. ICLR 2014. l  [Changpinyo+16] Soravit Changpinyo, Wei-Lun Chao, Boqing Gong, Fei Sha. Synthesized Classifiers for Zero-Shot Learning. arXiv 1603.00550. l  [Lake+13] Brenden M. Lake, Ruslan R. Salakhutdinov, Josh Tenenbaum. One-shot learning by inverting a compositional causal process. NIPS 2013. 49