1 Log 解析の超入門 @acrovision 菊池佑太
2 QUESTION 気になる画像は？
3 A. 車 引用 :http://www.audi.co.jp/
4 B. 化粧 　 品 引用 :http://www.shiseido.co.jp/
5 C. 転職 　　　　引用 :https://www.pakutaso.com
6 D. アニメ 　　　　引用 :http://august-soft.com/
7 男性、車好き、お金持ち？
8 過去の Log から 予測する
9 人工知能 機械学習
10 今日から 自分で始める
11 Log 記録 性別推定 Recommend Agenda
12 UI/UX ABTest Marketing I'm Sorry...
13 I'm Sorry... GPS Realtime Search
14 Log 記録
15 Log ＝ Evidence
16 MapReduce 引用 : http://dme.rwth-aachen.de
17 Log Forward
18 Clowd / OnMemory
19 Business Intelligence
20 収集および解析 技術の進歩
21 Log ＝ Evidence Log ＝ Strategy
22 AccessLog ErrorLog
23 Architecture
24 RealTime : fluent-d Batch : rsync Log Forward
25 Browser Cookie Login Cookie
26 初回アクセス Cookie に識別子 属性付与
27 host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta b>user:1<Tab>time:[08/Apr/2015:10:00:00 +0900]<Tab>Request:GET /s...
28 host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta b>user:1<Tab>time:[08/Apr/2015:10:00:00 +0900]<Tab>Request:GET /s...
29 Parse
30 BrowserID : MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ 遷移先 URL http://acrovision.com/sample 遷移元 URL http://foo.com Attribute : 30 ...
31 正解データ を含む Log
32 Storage に格納
33 KVS / Nosql 引用 :http://bynatures.net
34 KVS Key : Identifier SubKey : Map Map : Label, Attr
35 Example { MTkyLjE2OC41Ni4xMD... : { Query => ' ガンダム ': 2}, { PageView => '/foo' : 4}, { Gender => 'Male' : 100} }
36 性別推定
37 未知への拡張 20% 50% 20%
38 検索 Log
39 条件付き確率 P( 男 | ガンダム ) = 0.8
40 まずは 1 台の PC でも
41 <?php namespace Algorithms; class NaiveBayes { public function add_instance(){} public function train(){} public functi...
42 訓練 推定 評価
43 { 正解 : {KW : 回数 } } { 男性 : { ガンダム : 5 , AC ミラン : 8 } } { 女性 : { 化粧水 : 2 , 日焼け止め : 7 } } ・ ・ ・
44 $nb = new NaiveBayes(); // iteration $nb->add_instance( 'label' => ' 正解 ', 'attributes' => 'KW : 回数 ' ); $nb->train();
45 訓練 推定 評価
46 { 未知 : {KW : 回数 } } { ？ : { ガンダム : 3 , シャア : 2 } } ・ ・ ・
47 // iteration $res = $nb->predict( 'attributes' => 'KW : 回数 ' ); foreach($res as $label => $p) { echo $label . "t" . $p ...
48 推定結果は KVS へ格納
49 訓練 推定 評価
50 「 PR 曲線」
51 Balance 精度 拡張量 { 精度 : 70%, 拡張量 : 30% 増 }
52 Compare 精度 拡張量 既存 Model 新 Model
53 応用
54 Hadoop Streaming Hive,Pig で Modeling Spark でもできそう
55 特徴を追加して 精度を上げる
56 Cross Validation
57 Recommend
58 性別推定結果に 対して Contents を 推薦
59 集団行動履歴から Contents を推薦
60 Collaboration Filterling 引用 : http://theegeek.com/
61 商品 A を買った人は 商品 B も買うだろう
62 商品特徴を Vector で表現
63 似ている商品 Vector が似ている
64 Cosine Similarity[0,1]
65 User | Item いちご めろん ぶどう すいか User-A Buy! Buy! User-B Buy! Buy! User-C Buy! Buy! Buy! User-D Buy! Buy! Buy! User Item Mat...
66 Vector ⇓ 購入共起人数
67 Item | Item いちご めろん ぶどう すいか いちご - 3 人 1 人 0 人 めろん 3 人 - 2 人 1 人 ぶどう 1 人 2 人 - 1 人 すいか 0 人 1 人 1 人 - Item Item Matrix
68 Vector いちご ={ めろん :3, ぶどう :1, すいか :0} めろん ={ いちご :3, ぶどう :2, すいか :1} ぶどう ={ いちご :1, めろん :2, すいか :1} すいか ={ いちご :0, めろん ...
69 Cosine Similarity[0,1] いちごとめろんは 類似度 0.3
70 問題
71 Sparse A={0,0,0,1,...0} B={1,0,0,0,...0}
72 Dimension A={1,1,0,1,...0} ・ ・ N={1,1,1,0,...1}
73 Hashing b-bit-min local-sensitive Matrix Factorization
74 まとめ
75 ログの記録 性別推定 (NaiveBayes) Collaboration Filterling
76 ご清聴 ありがとうござい ました
Upcoming SlideShare
Loading in...5
×

Log解析の超入門

590
 -1

Published on

20150408@acrovision

Published in: Data & Analytics
0 Comments
5 Likes
Statistics
Notes
no profile picture user

  • Be the first to comment

No Downloads
Views
Total Views
590
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
15
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

Log解析の超入門

  1. 1. 1 Log 解析の超入門 @acrovision 菊池佑太
  2. 2. 2 QUESTION 気になる画像は？
  3. 3. 3 A. 車 引用 :http://www.audi.co.jp/
  4. 4. 4 B. 化粧 　 品 引用 :http://www.shiseido.co.jp/
  5. 5. 5 C. 転職 　　　　引用 :https://www.pakutaso.com
  6. 6. 6 D. アニメ 　　　　引用 :http://august-soft.com/
  7. 7. 7 男性、車好き、お金持ち？
  8. 8. 8 過去の Log から 予測する
  9. 9. 9 人工知能 機械学習
  10. 10. 10 今日から 自分で始める
  11. 11. 11 Log 記録 性別推定 Recommend Agenda
  12. 12. 12 UI/UX ABTest Marketing I'm Sorry...
  13. 13. 13 I'm Sorry... GPS Realtime Search
  14. 14. 14 Log 記録
  15. 15. 15 Log ＝ Evidence
  16. 16. 16 MapReduce 引用 : http://dme.rwth-aachen.de
  17. 17. 17 Log Forward
  18. 18. 18 Clowd / OnMemory
  19. 19. 19 Business Intelligence
  20. 20. 20 収集および解析 技術の進歩
  21. 21. 21 Log ＝ Evidence Log ＝ Strategy
  22. 22. 22 AccessLog ErrorLog
  23. 23. 23 Architecture
  24. 24. 24 RealTime : fluent-d Batch : rsync Log Forward
  25. 25. 25 Browser Cookie Login Cookie
  26. 26. 26 初回アクセス Cookie に識別子 属性付与
  27. 27. 27 host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta b>user:1<Tab>time:[08/Apr/2015:10:00:00 +0900]<Tab>Request:GET /sample HTTP/1.1<Tab>status: 200<Tab>size:5039<Tab>referer:foo.com<Tab>agent:Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A365 Safari/600.1.4<Tab>attr:Mjg0ZmUyMzk0Yzg0ZGIzZTIzYTI3N2ExY zhm One Line
  28. 28. 28 host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta b>user:1<Tab>time:[08/Apr/2015:10:00:00 +0900]<Tab>Request:GET /sample HTTP/1.1<Tab>status: 200<Tab>size:5039<Tab>referer:foo.com<Tab>agent:Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A365 Safari/600.1.4<Tab>attr:Mjg0ZmUyMzk0Yzg0ZGIzZTIzYTI3N2ExY zhm One Line
  29. 29. 29 Parse
  30. 30. 30 BrowserID : MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ 遷移先 URL http://acrovision.com/sample 遷移元 URL http://foo.com Attribute : 30 代 男性 UserAgent or Device : Safari / iPhone One Line Summary
  31. 31. 31 正解データ を含む Log
  32. 32. 32 Storage に格納
  33. 33. 33 KVS / Nosql 引用 :http://bynatures.net
  34. 34. 34 KVS Key : Identifier SubKey : Map Map : Label, Attr
  35. 35. 35 Example { MTkyLjE2OC41Ni4xMD... : { Query => ' ガンダム ': 2}, { PageView => '/foo' : 4}, { Gender => 'Male' : 100} }
  36. 36. 36 性別推定
  37. 37. 37 未知への拡張 20% 50% 20%
  38. 38. 38 検索 Log
  39. 39. 39 条件付き確率 P( 男 | ガンダム ) = 0.8
  40. 40. 40 まずは 1 台の PC でも
  41. 41. 41 <?php namespace Algorithms; class NaiveBayes { public function add_instance(){} public function train(){} public function predict(){} ... }
  42. 42. 42 訓練 推定 評価
  43. 43. 43 { 正解 : {KW : 回数 } } { 男性 : { ガンダム : 5 , AC ミラン : 8 } } { 女性 : { 化粧水 : 2 , 日焼け止め : 7 } } ・ ・ ・
  44. 44. 44 $nb = new NaiveBayes(); // iteration $nb->add_instance( 'label' => ' 正解 ', 'attributes' => 'KW : 回数 ' ); $nb->train();
  45. 45. 45 訓練 推定 評価
  46. 46. 46 { 未知 : {KW : 回数 } } { ？ : { ガンダム : 3 , シャア : 2 } } ・ ・ ・
  47. 47. 47 // iteration $res = $nb->predict( 'attributes' => 'KW : 回数 ' ); foreach($res as $label => $p) { echo $label . "t" . $p . "n"; } // 男性 : 0.878 // 女性 : 0.122
  48. 48. 48 推定結果は KVS へ格納
  49. 49. 49 訓練 推定 評価
  50. 50. 50 「 PR 曲線」
  51. 51. 51 Balance 精度 拡張量 { 精度 : 70%, 拡張量 : 30% 増 }
  52. 52. 52 Compare 精度 拡張量 既存 Model 新 Model
  53. 53. 53 応用
  54. 54. 54 Hadoop Streaming Hive,Pig で Modeling Spark でもできそう
  55. 55. 55 特徴を追加して 精度を上げる
  56. 56. 56 Cross Validation
  57. 57. 57 Recommend
  58. 58. 58 性別推定結果に 対して Contents を 推薦
  59. 59. 59 集団行動履歴から Contents を推薦
  60. 60. 60 Collaboration Filterling 引用 : http://theegeek.com/
  61. 61. 61 商品 A を買った人は 商品 B も買うだろう
  62. 62. 62 商品特徴を Vector で表現
  63. 63. 63 似ている商品 Vector が似ている
  64. 64. 64 Cosine Similarity[0,1]
  65. 65. 65 User | Item いちご めろん ぶどう すいか User-A Buy! Buy! User-B Buy! Buy! User-C Buy! Buy! Buy! User-D Buy! Buy! Buy! User Item Matrix
  66. 66. 66 Vector ⇓ 購入共起人数
  67. 67. 67 Item | Item いちご めろん ぶどう すいか いちご - 3 人 1 人 0 人 めろん 3 人 - 2 人 1 人 ぶどう 1 人 2 人 - 1 人 すいか 0 人 1 人 1 人 - Item Item Matrix
  68. 68. 68 Vector いちご ={ めろん :3, ぶどう :1, すいか :0} めろん ={ いちご :3, ぶどう :2, すいか :1} ぶどう ={ いちご :1, めろん :2, すいか :1} すいか ={ いちご :0, めろん :1, ぶどう :1}
  69. 69. 69 Cosine Similarity[0,1] いちごとめろんは 類似度 0.3
  70. 70. 70 問題
  71. 71. 71 Sparse A={0,0,0,1,...0} B={1,0,0,0,...0}
  72. 72. 72 Dimension A={1,1,0,1,...0} ・ ・ N={1,1,1,0,...1}
  73. 73. 73 Hashing b-bit-min local-sensitive Matrix Factorization
  74. 74. 74 まとめ
  75. 75. 75 ログの記録 性別推定 (NaiveBayes) Collaboration Filterling
  76. 76. 76 ご清聴 ありがとうござい ました

  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×