Riakを利用したパーソナライズ事例

2. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P2自己紹介 • 氏名：仁科朋也 • 入社年月： 2010年4月（新卒） • 担当業務：レコメンデーションシステム • システム設計、開発、運用 • ストレージ設置、運用 • 配信システム(APIのようなもの)の開発、運用

12. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P12ユーザデータ作成フロー（提供） Y!ニュース・・・ログデータ Hadoop ユーザデータ Riak ユーザデータ Optimizer (API) レコメンドデータ生成ロジック各サービス Y!検索 Uploader Y!TOP

13. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P13agenda • システムについて • パーソナライズ事例 • レコメンドシステムについて • 格納しているデータについて • Riak について • サーバ構成と設定・監視 • 運用事例

14. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P14格納するデータ • データの中身 • ユーザに対するワードとスコア • 格納の仕方 • Bucket: ユーザを識別するためのユニークID（13〜256Byte） • Key: スコアの計算ロジック等の識別子（5〜10Byteくらい） • Object: ワードとスコアの組（平均2KB）ロジックA ロジックB サッカー(0.894), W杯(0.734) 長友佑都(0.842),香川真司 (0.795) Key Object -> スコアの計算ロジックによって、複数のパターンがつく

15. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P15格納するデータ • Write • 50〜100GBのデータを一日数回 • Read • ピーク時1,200 qps（災害時などのピークは2,000qps越え） • レスポンス300 ms 以内

19. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P19サーバ構成・設定等 • サーバ22台 • SAS HDD 300GB*4 • メモリ 48GB • Raid 0 • ファイルシステム xfs • Riak • バージョン 1.4.0 • Ring size 256 • Back end eleveldb • レプリケーション 3

20. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P20サーバ構成・設定等 • サーバ22台 • SAS HDD 300GB*4 • メモリ 48GB • Raid 0 • ファイルシステム xfs • Riak • バージョン 1.4.0 • Ring size 256 • Back end eleveldb • レプリケーション 3 ディスクI/Oのチューニング

21. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P21ディスクI/Oのチューニング個人的にディスクI/O のチューニングが Riak のパフォーマンスの大部分を占めていると思っています。 1. Riak の書き込みバッファの変更 2. Raid 構成の変更 3. ファイルシステムの変更 4. I/Oスケジューラの変更

22. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P22ディスクI/Oのチューニング 1. Riak の書き込みバッファの変更 - write_buffer_size_min - write_buffer_size_max 2. Raid 構成の変更 - Raid0 3. ファイルシステムの変更 - xfs 4. I/Oスケジューラの変更 - deadline

23. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P23ディスクI/O 現在はピーク時30%前後と落ち着いているが、 90%前後出ていた時期があった・・・ WriteBuffer の変更とRaid の変更のみ -> xfs はとても効果的

24. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P24サーバ構成・設定等 • サーバ22台 • SAS HDD 300GB*4 • メモリ 48GB • Raid 0 • ファイルシステム xfs • Riak • バージョン 1.4.0 • Ring size 256 • Back end eleveldb • レプリケーション 3

25. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P25BackEnd について • Bitcask • bucket + key が全てメモリ上に乗っている • レイテンシ重視のハッシュ構造 • eleveldb • bucket + key が一部しかメモリに乗らない • ツリー型で保持 • bucket + key が多いときに有利以下の理由からeleveldb を採用 • 様々なロジックを追加したい • ユーザ数の増加

26. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P26その他のチューニング • sysctl • ファイルディスクリプタ • fs.file-max=65535 • ネットワーク関係 • net.core.wmem_max = 33554432 • net.core.rmem_max = 33554432 • net.ipv4.tcp_max_syn_backlog = 40000 • etc … • 仮想メモリ • vm.swappiness = 0 • iptables • アクセス制限 • ネットワーク制限

32. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P32クライアントについて基本的にパフォーマンス重視の使用方法 • （システムの都合上）C++ のクライアントを使用 • パフォーマンスを求めるため、Riak への接続はpb を使用 • read quorum = 1 ３つのレプリケーションからの１つでもレスポンスがあればOK • 使用したクライアントではタイムアウト制御が出来なかったため、 boost::thread を利用して強引にタイムアウト制御を実装

35. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P35サーバの追加 1. 監視設定・sysctl 等の設定変更 2. Riak のインストール 3. Riak へサーバを追加する riak-admin cluster join riak@xxx.xx.xx.xx riak-admin cluster plan riak-admin cluster commit

36. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P36サーバ投入時の帯域 • 新クラスタ作成後、初めてデータを流したとき • 既存クラスタにサーバを追加したとき ->帯域の使用量が多くなる Transfer-limit でしぼる riak-admin transfer-limit riak@xxx.xxx.xxx.xxx <設定値>

37. Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved. P37サーバダウン深夜に一台のサーバがハードウェア障害によりダウン -> ダウンした時に接続していたクライアントが一度エラーを出力 <応急対応開始> • 他のサーバから問題なく引かれていることを確認 • アラートの通知を切る <応急対応終了> <翌日出社後> • サーバリプレイスを行うサーバがダウンしたのは一度だけ

Riakを利用したパーソナライズ事例

Yahoo!デベロッパーネットワーク

Transcript

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Riakを利用したパーソナライズ事例

Yahoo!デベロッパーネットワーク

Transcript