実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference Japan 2014

® © 2014 MapR Technologies 4 32 6 章事例：音楽レコメンダー 6.3 大規模なレコメンデーション視聴履歴をシミュレートすることで、大量のデータを生成することができますが、数十億の視聴記録を生成するためには、ビッグデータの処理は実際のところ必要ではありません。ただし、この規模で生成されたログの分析を行うにあたっては、システムのスケーラビリティについて注意を払い始める必要があります。 Music Machine のレコメンダーのシステムは、Mahout の RowSimilarityJob を使ってユーザーの視聴ログを処理し、アーティストのインジケーターを含むレコメンデーションモデルを構築します。この演算処理は、システム全体の一部に過ぎません。現実に使われるシステムが常にそうであるように、既存のシステム群とのフォーマット変換のために、大量の連携のためのコードが必要でした。その実装の概要を、図 6-3 に示します。ここでは MapR を使っているので、Python、PostgreSQL、 LucidWorks を含むほぼすべてのコンポーネントは、クラスタ内で動作します。図 6-3 レコメンダーのオフラインパートにおける、従来型および Hadoop によるコンピューティング。灰色の部分は、Music Machine のレコメンダーの Hadoop ベースのクラスタ上で動作する部分を示している。ここでは、リアルタイムの分散ファイルシステムを持つ、MapR distribution for Apache Hadoop を使用している。他の Hadoop ディストリビューションで使われているファイルシステム（HDFS）を使うためには、さらにいくつかのステップが必要 Documentユーザー − アイテムログファイルユーザー／アイテムIDの整数値へのマッピング Mahoutの RowSimilarityJob ユーザー／アイテムの整数値のIDへのマッピングと、Solr JSON フォーマットへの変換ユーザー／アイテム IDの辞書 SolrのJSON フォーマットへの変換 Documentアイテムのメタデータ Map-reduce Python PostgreSQL 17174.1 Apache Mahout によるモデル構築の方法 4.1 Apache Mahout によるモデル構築の方法実践的なレコメンダーのためのレコメンデーションモデルを構築するにあたっては、オープンソースのスケーラブルな機械学習ライブラリの Apache Mahout の持っているアルゴリズムを使うことにしましょう。やりたいことは、Mahout の行列演算を使って、ユーザーの行動履歴から、レコメンデーションのための有用なインジケーターを得ることです。そのために、3 つの行列を構築していきます。履歴マトリクスユーザーとアイテム間の関連を、ユーザーとアイテムの行列として記録する。共起マトリクス履歴マトリクスを、アイテムとアイテムの行列に変換し、ユーザーの履歴内でどういったアイテム同士が一緒に登場しているかを記録する。図 4-3 履歴→共起→インジケーターマトリクス。インジケーターマトリクスで表現されているこのモデルには、リンゴが「子犬」をレコメンドすべきインジケーターであることが符号化されている。履歴マトリクス共起マトリクスインジケーターマトリクス Alice Bob Charles

® © 2014 MapR Technologies 7 A1 A2 ! " # $ T A1 A2 ! " # $= A1 T A2 T ! " % % # $ & & A1 A2 ! " # $ = A1 T A1 A1 T A2 AT 2A1 AT 2A2 ! " % % # $ & & r1 r2 ! " % % # $ & & = A1 T A1 A1 T A2 AT 2A1 AT 2A2 ! " % % # $ & & h1 h2 ! " % % # $ & & r1 = A1 T A1 A1 T A2 ! "% # $& h1 h2 ! " % % # $ & &O(κ k d + k3 d) = O(k2 d log n + k3 d) for small k, high quality O(κ d log k) or O(d log κ log k) for larger k, looser quality

® © 2014 MapR Technologies 33 •  LLR •  Apache Mahout RowSimilarityJob LLR A not A B 1 0 not B 0 2 A not A B 1 0 not B 0 10,000 A not A B 10 0 not B 0 100,000 1.95 4.52 14.3 ? A not A B 13 1000 not B 1000 100,000 0.90

® © 2014 MapR Technologies 53 Lucene •  Mahout indicator id 541902 mbid 983d4f8f-473e-4091-8394-415c105c4656 ame Charlie Winston area United Kingdom gender None Indicator_artists 997727,815,830794,59588,900,2591,1344,696268 id 1710 mbid 592a3b6d-c42b-4567-99c9-ecf63bd66499 ame Chck Berry area United States gender Male Indicator_artists 386685,875994,637954,3418,1344,789739,1460

® © 2014 MapR Technologies 68 A1 A2 ! " # $ T A1 A2 ! " # $= A1 T A2 T ! " % % # $ & & A1 A2 ! " # $ = A1 T A1 A1 T A2 AT 2A1 AT 2A2 ! " % % # $ & & r1 r2 ! " % % # $ & & = A1 T A1 A1 T A2 AT 2A1 AT 2A2 ! " % % # $ & & h1 h2 ! " % % # $ & & r1 = A1 T A1 A1 T A2 ! "% # $& h1 h2 ! " % % # $ & &

® © 2014 MapR Technologies 75 … ε = 2 1 2 8 3 9 15 7 6 1 8 14 15 3 2 22 10 1 3 8 2 10 5 7 4 1 2 10 7 3 8 6 14 1 5 33 15 2 9 11 29 1 2 7 3 5 4 19 6 1 3 5 23 9 7 4 2 2 4 11 8 3 1 44 9 2 3 1 4 6 7 8 33 3 4 1 2 10 11 15 14 11 1 2 4 5 7 3 14 1 8 7 3 22 11 2 33

https://twitter.com	56
http://blog.yoslab.com	7
http://mym.corp.yahoo.co.jp	1

実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference Japan 2014

by MapR Technologies Japan

on Jul 09, 2014

Statistics

Views

Actions

3 Embeds 48

Accessibility

Categories

Upload Details

Usage Rights

Report content

実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference Japan 2014 Presentation Transcript