リクルート式　自然言語処理技術の適応事例紹介

1. リクルート式自然言語処理技術の適応事例紹介株式会社リクルートテクノロジーズ ITソリューション統括部ビッグデータ2グループ池田裕一

2. 2Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 趣味etc 学歴略歴所属氏名自己紹介 RTC ITソリューション統括部ビッグデータ2G 池田裕一東京大学大学院工学系研究科精密機械工学専攻社会人5年目。某大手メーカー系SIerで３年間、Java・C++を使った位置情報サービスの開発やAndroidアプリの開発に従事。 2014年4月からリクルートテクノロジーズ入社。レコメンド施策開発のディレクション、自然言語処理やグラフ解析の技術開発に従事。テニスゴルフ旅行カメラ

6. 6Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートのビジネスモデル Matching Business HR Bridal Group Buying Used Cars Travel Real Estate Beauty Gourmet Social Games E-Commerce Ad Network New Business Consumers Enterprise

7. 7Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートの事業領域「選択」をサポートするような情報サービスを展開 Life event area Lifestyle Area Travel IT/ TrendLifestyle Health & Beauty Job Hunt Marriage Job Change Home Purchase Car Purchase Child Birth Education

8. 8Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートテクノロジーズの立ち位置 Infrastructure Large project promotions UI design/SEO Big Data Department Technology R&D IT Promotion Recruit Holdings Recruit Career Recruit Sumai Company Recruit Lifestyle Recruit Jobs Recruit Staffing Recruit Marketing Partners Staff service Holdings Recruit Technologies Recruit Administration Recruit Communications Operation Service

14. 14Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecとは  各単語を表現するベクトルを学習  単語から文書中でその単語の前後に現れる単語を予測できるような表現を学習  単語を表す1-of-ｋ表現のベクトルを入力とし、その単語の前後にある単語の出現確率を出力とするニューラルネットを学習させ、その中間層の値を単語を表現するベクトルとして用いる w(t) w(t-1) w(t+1) w(t+2) w(t-2) INPUT PROJECTION OUTPUT INPUT: 単語の1-of-k表現 PROJECTION: 単語線形変換階層的 soft-max OUTPUT: 前後の単語の出現確率 𝑝(𝑤(𝑡+𝑖)|𝑤(𝑡)) 目的関数

15. 15Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecとは While expanding its channel for distribution information from paper publication to the net and mobile, the company has been pushing for a shift of their revenue from … … … while(0.1, 0.4, 0.3, 0.7, …) expanding(0.2, 0.5, 0.7, 0.7, …) its(0.1, 0.1, 0.9, 0.6, …) channel(0.6, 0.4, 0.9, 0.5, …) for(0.5, 0.8, 0.2, 0.1, …) distribution(0.8, 0.4, 0.1, 0.2, …) information(0.3, 0.7, 0.3, 0.6, …) … … … … 文書データベクトルデータ word2vec 文書データを元に単語毎のベクトルデータを生成する

17. 17Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. レコメンドに適したword2vecのインプットデータとはインプットデータとしてユーザーアクションログを使用する wikipediaなどのテキストデータサービスユーザーのアクションログデータ  ノイズが混じる  必要なアイテム全てを網羅できない user1 time1 ~~~~~~ user2 time2 ~~~~~~ user3 time3 ~~~~~~ … … …  アイテムの関係性を内包する  必要なアイテム全てを網羅できる

21. 21Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. アクションログを使った時の文章と単語の作り方 User-1 : User-2 : User-3 : 時系列 item-A item-B item-C item-D item-E … item-V item-W item-X item-Y item-Z … item-O item-P item-Q item-R item-S … ユーザー毎のアイテムに対するアクションログ … 文章単語

22. 22Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. アクションログを使った時の文章と単語の作り方１ユーザーのアクション履歴を１文章、アイテムを単語、と置き換える User-1 : User-2 : User-3 : 時系列 item-A item-B item-C item-D item-E … item-V item-W item-X item-Y item-Z … item-O item-P item-Q item-R item-S … ユーザー毎のアイテムに対するアクションログ …

23. 23Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecのアウトプットデータアクションログデータ word2vec user1 item-A item-B item-C… user2 item-D item-E item-F… user3 item-G item-Q item-X… user4 item-L item-K item-V… … … …

24. 24Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecのアウトプットデータアクションログデータ word2vec itemベクトルデータ user1 item-A item-B item-C… user2 item-D item-E item-F… user3 item-G item-Q item-X… user4 item-L item-K item-V… … … … item-A (0.1, 0.9, 0.6, 0.4, ……) item-B (0.2, 0.5, 0.1, 0.8, ……) item-C (0.7, 0.3, 0.3, 0.4, ……) item-D (0.5, 0.9, 0.8, 0.2, ……) … … …

25. 25Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecのアウトプットデータアクションログデータ word2vec itemベクトルデータ cos類似度 user1 item-A item-B item-C… user2 item-D item-E item-F… user3 item-G item-Q item-X… user4 item-L item-K item-V… … … … item-A (0.1, 0.9, 0.6, 0.4, ……) item-B (0.2, 0.5, 0.1, 0.8, ……) item-C (0.7, 0.3, 0.3, 0.4, ……) item-D (0.5, 0.9, 0.8, 0.2, ……) … … …

26. 26Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecのアウトプットデータアクションログデータ word2vec itemベクトルデータ item類似度データ cos類似度 user1 item-A item-B item-C… user2 item-D item-E item-F… user3 item-G item-Q item-X… user4 item-L item-K item-V… … … … item-A (0.1, 0.9, 0.6, 0.4, ……) item-B (0.2, 0.5, 0.1, 0.8, ……) item-C (0.7, 0.3, 0.3, 0.4, ……) item-D (0.5, 0.9, 0.8, 0.2, ……) … … … item-A, item-B, 0.976 item-A, item-C, 0.329 item-A, item-D, 0.743 item-A, item-E, 0.552 … … …

27. 27Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecのアウトプットデータ word2vecで出来上がったベクトルデータでアイテム間のcos類似度を算出アクションログデータ word2vec itemベクトルデータ item類似度データ cos類似度 user1 item-A item-B item-C… user2 item-D item-E item-F… user3 item-G item-Q item-X… user4 item-L item-K item-V… … … … item-A (0.1, 0.9, 0.6, 0.4, ……) item-B (0.2, 0.5, 0.1, 0.8, ……) item-C (0.7, 0.3, 0.3, 0.4, ……) item-D (0.5, 0.9, 0.8, 0.2, ……) … … … item-A, item-B, 0.976 item-A, item-C, 0.329 item-A, item-D, 0.743 item-A, item-E, 0.552 … … …

28. 28Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. word2vecのアウトプットデータアクションログデータ word2vec itemベクトルデータ item類似度データ cos類似度 user1 item-A item-B item-C… user2 item-D item-E item-F… user3 item-G item-Q item-X… user4 item-L item-K item-V… … … … item-A (0.1, 0.9, 0.6, 0.4, ……) item-B (0.2, 0.5, 0.1, 0.8, ……) item-C (0.7, 0.3, 0.3, 0.4, ……) item-D (0.5, 0.9, 0.8, 0.2, ……) … … … item-A, item-B, 0.976 item-A, item-C, 0.329 item-A, item-D, 0.743 item-A, item-E, 0.552 … … … アイテム間の類似度の計算は億オーダの回数必要になるため、分散処理している word2vecで出来上がったベクトルデータでアイテム間のcos類似度を算出

31. 31Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. レコメンドリストの作成〜実サービスへの適用ユーザー item-A item-B item-C item-D item-E 時系列 ① ② ユーザーが最直近でアクションしたアイテムを 10件抽出それぞれのアイテムに対して、cos類似度の高いアイテムを抽出 item-Q item-I item-O item-P item-L item-X item-T item-U item-S item-M item-R item-G item-F item-W item-Z

32. 32Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. レコメンドリストの作成〜実サービスへの適用ユーザー item-A item-B item-C item-D item-E 時系列 ① ② ③ ユーザーが最直近でアクションしたアイテムを 10件抽出それぞれのアイテムに対して、cos類似度の高いアイテムを抽出リストを作成（重複したアイテムを除く） item-Q item-I item-O item-P item-L item-X item-T item-U item-S item-M レコメンド item-R item-G item-F item-W item-Z

33. 33Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. レコメンドリストの作成〜実サービスへの適用 word2vecを元に作られたベクトルデータを使ってレコメンドリストを作成ユーザー item-A item-B item-C item-D item-E 時系列 ① ② ③ ユーザーが最直近でアクションしたアイテムを 10件抽出それぞれのアイテムに対して、cos類似度の高いアイテムを抽出リストを作成（重複したアイテムを除く） item-Q item-I item-O item-P item-L item-X item-T item-U item-S item-M レコメンド item-R item-G item-F item-W item-Z

34. 34Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 実証実験① 〜オフラインテスト従来のレコメンドエンジンと比較して、効果が約1.6倍高い事が分かった 0 0.5 1 1.5 2 2.5 1 2 3 4 5 6 7 8 9 10 11 12 従来ロジックとword2vecによるKPIの比較（従来ロジックを1とした時の比較）系列1 系列2 概要過去のユーザログデータを用いてバックミラー分析を行い、従来ロジックとword2vec ロジックのレコメンド精度の比較を行う

35. 35Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 実証実験② 〜 ABテストサービスY CVRが 156％改善 3.57% ⇒ 9.15％サービスX CVRが 31％改善 46.59%⇒ 61.13％概要オンラインで、ユーザーを２つのグループに分け、従来ロジックとword2vecロジックのレコメンドリストを提示し、CVRの違いを調査するオンラインでもword2vecロジックによるレコメンドの方が効果が高い

39. 39Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. レコメンドエンジンの更なる進化〜ベクトル足し算ユーザー item-A item-B item-C item-D item-E 時系列 ① ② ユーザーが最直近でアクションしたアイテムを 10件抽出それぞれのアイテムのベクトルを足し、合成ベクトルを作成 Int-Vec

40. 40Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. レコメンドエンジンの更なる進化〜ベクトル足し算ユーザー item-A item-B item-C item-D item-E 時系列 ① ② ユーザーが最直近でアクションしたアイテムを 10件抽出それぞれのアイテムのベクトルを足し、合成ベクトルを作成 item-Q item-I item-O Int-Vec ③ 合成ベクトルと類似度の高いアイテムを抽出

41. 41Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. レコメンドエンジンの更なる進化〜ベクトル足し算ユーザー item-A item-B item-C item-D item-E 時系列 ① ② ④ ユーザーが最直近でアクションしたアイテムを 10件抽出それぞれのアイテムのベクトルを足し、合成ベクトルを作成リストを作成 item-Q item-I item-O レコメンド Int-Vec ③ 合成ベクトルと類似度の高いアイテムを抽出

42. 42Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. レコメンドエンジンの更なる進化〜ベクトル足し算ユーザーがアクションしたアイテムの合成ベクトルを志向ベクトルと見なすユーザー item-A item-B item-C item-D item-E 時系列 ① ② ④ ユーザーが最直近でアクションしたアイテムを 10件抽出それぞれのアイテムのベクトルを足し、合成ベクトルを作成リストを作成 item-Q item-I item-O レコメンド Int-Vec ③ 合成ベクトルと類似度の高いアイテムを抽出

43. 43Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. レコメンドエンジンの更なる進化〜効果検証ベクトルを足し合わせる事によってユーザーの志向を捉える事が出来たサービスZ CVRが 27％改善 21.56% ⇒ 27.29％概要オンラインで、ユーザーを２つのグループに分け、word2vecロジックとword2vec足し合わせロジックでのレコメンドリストを提示し、CVRの違いを調査する

45. 45Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ユーザー Web HBase レコメンドテーブルの参照API Hadoop 行動ログ集計バッチ検索API APIリクエスト検索行動レコメンド取得レコメンドバルクロードテーブル参照リアルタイムレコメンドへの実装〜 HBase活用ユーザーの志向をリアルタイムで捉え、リアルタイムにレコメンドを実施

46. 46Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ここまでのまとめ • ユーザーのアクションログをword2vecのインプットに使用し、アイテムをベクトル化している →文章を１ユーザーのログ、単語をアイテムと見なす • ベクトル同士のcos類似度を計算することで、レコメンドエンジンに活用している • 類似度計算ではHadoopを使って分散処理を行い高速化している • ベクトルを足し合わせることでユーザーの志向を捉える事ができる

48. 48Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. doc2vecとは文章をベクトル化する 1. I am a cat. 2. As yet I have no name. 3. … … 1. I am a cat. (0.2, 0.4, 0.9, …) 2. As yet I have no name. (0.5, 0.7, 0.8, …) 3. … … doc2vec

53. 53Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 文書要約のイメージ文章1 文章2 文章10 文書… 文章3 文章をベクトル化してプロットする文章1 文章10 文章7 文章6 文章3 文章2 文章9 文章5 文章4 文章8 【参考論文】 http://www.cs.cmu.edu/~dyogatam/papers/yogatama+liu+smith.em nlp2015.pdf

54. 54Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 文書要約のイメージ文章1 文章2 文章10 文書… 文章3 文章をベクトル化してプロットする文章1 文章10 文章7 文章6 文章3 文章2 文章9 文章5 文章4 文章8 【参考論文】 http://www.cs.cmu.edu/~dyogatam/papers/yogatama+liu+smith.em nlp2015.pdf 文書1,3,6,7,10は文書2,4,5,8,9を意味的に内包するのではないか？

55. 55Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 実証実験〜プレミア12に関する投稿をまとめてみるちなみに試合の内容は… ・４番の中村選手が欠場・先発の前田投手が好投（７回無失点）・打線は１３安打９得点・坂本選手が16打席ぶりのヒットを含む２安打３打点・９回にプエルトリコが３ランホームラン etc… 実験手順  記事の内容の把握、及びクレンジングプレミア12準々決勝日本vsプエルトリコの試合のニュース記事に関するコメント（計１６１件）  投稿のベクトル化、及びまとめに使用する投稿の抽出今回は5つのコメントを抽出して要約を試みる

56. 56Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 実証実験〜プレミア12に関する投稿をまとめてみる結果前田健太はもう決勝投げないだろうな今日7回まで行かしたってことはそういうことだな。来季メジャーもあるし無理はさせない。先発は大谷と菅野か武田中継ぎは山崎・則本・牧田炎上組松井・増井・西・小川微妙組大野・澤村なんか炎上組は使いたくないし大野と澤村も内容悪いしやっぱ中継ぎ全然足りてないわ CS見てない人にはわからないかもしれんが、大谷は間隔が空きすぎるとダメになる。ましてや東京ドームが苦手。初戦でボコられた韓国サイドは研究に研究を重ねてリベンジして来ると考えると炎上して大敗するのが妥当。よって戦犯大谷ということになる。まあ、野手が頑張って打撃戦に持ち込めば話は別だが、相手の先発は何があっても負けないイデウンだから無理でしょう。仮に大谷が炎上して負けても大谷一人のせいにしないで欲しいです(涙)。調整登板させなかった首脳陣にも問題があるんだから(震え声) ツイッター上のハムファン全員が増井燃えると予言してて草生えたわｗやはり増井はセーブかホールド機会で投げさせないとアカンな平田三塁打→松田犠牲フライで実質試合終了なものだろここで一番温い試合してしまったのは問題あるわ増井に不安がある以上マッスルミュージカルは覚悟しとかないとなマエケンは7回90球、中4日で決勝先発は十分ありうる中村外して中村入れる打線は悪くはないんだが中田が案の定6番外れたら内容が悪くなったどうすりゃいいんかね？今まできつい試合ばかりだったからね、こんな試合もたまにはいいでしょ。でも、気は弛めないで！

57. 57Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 実証実験〜プレミア12に関する投稿をまとめてみる特定の偏ったコメントではなく、満遍なくコメントが拾う事が可能結果前田健太はもう決勝投げないだろうな今日7回まで行かしたってことはそういうことだな。来季メジャーもあるし無理はさせない。先発は大谷と菅野か武田中継ぎは山崎・則本・牧田炎上組松井・増井・西・小川微妙組大野・澤村なんか炎上組は使いたくないし大野と澤村も内容悪いしやっぱ中継ぎ全然足りてないわ CS見てない人にはわからないかもしれんが、大谷は間隔が空きすぎるとダメになる。ましてや東京ドームが苦手。初戦でボコられた韓国サイドは研究に研究を重ねてリベンジして来ると考えると炎上して大敗するのが妥当。よって戦犯大谷ということになる。まあ、野手が頑張って打撃戦に持ち込めば話は別だが、相手の先発は何があっても負けないイデウンだから無理でしょう。仮に大谷が炎上して負けても大谷一人のせいにしないで欲しいです(涙)。調整登板させなかった首脳陣にも問題があるんだから(震え声) ツイッター上のハムファン全員が増井燃えると予言してて草生えたわｗやはり増井はセーブかホールド機会で投げさせないとアカンな平田三塁打→松田犠牲フライで実質試合終了なものだろここで一番温い試合してしまったのは問題あるわ増井に不安がある以上マッスルミュージカルは覚悟しとかないとなマエケンは7回90球、中4日で決勝先発は十分ありうる中村外して中村入れる打線は悪くはないんだが中田が案の定6番外れたら内容が悪くなったどうすりゃいいんかね？今まできつい試合ばかりだったからね、こんな試合もたまにはいいでしょ。でも、気は弛めないで！

58. 58Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 実サービスへの展望〜口コミのまとめ MROC(Marketing Research Online Community) ある特定の商品やテーマなど共通の興味を持った人々をメンバー限定のコミュニティに招待し、自由にディスカッションしてもらいながら、消費者のニーズを探る調査手法どのような事が話されているかを整理する事が非常に大変一つのテーマにつき、数百のコメントが付く

66. 66Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 本日のまとめ • ユーザーのアクションログをword2vecのインプットに使用し、アイテムをベクトル化している • ベクトル同士のcos類似度を計算することで、レコメンドエンジンに活用している • ベクトルを足し合わせることでユーザーの志向を捉える事ができる • 文書要約にdoc2vecを活用している • 定性的に見て、doc2vecを使った文書要約が有用であることが分かった • doc2vecを口コミの整理や、新たなコメントの内容が新規であるかどうかの判断ロジックとして活用を検討

69. ご清聴ありがとうございました

リクルート式 自然言語処理技術の適応事例紹介

Recruit Technologies