メディカル分野のアナリティクスサービスを提供しているAdditiveAnalyticsのFounderのLaura Diane Hamiltonが、先日のNetflixのJeremy Edbergのプレゼン（110枚のスライド）をまとめてくれています。かなりの数になったNetflixのオープンソースのプロジェクトの全容がわかるので助かります。

Application Availability

• Hystrix: サーキットブレーカーのような役割を果たすことで、障害の雪崩現象を食い止め、分散システムの障害耐性を担保。
• The Simian Army: AWSクラスタを監視 & 障害耐性を確認。
  • Chaos Monkey: AWSインスタンスをランダムに停止
  • Chaos Gorilla: AWSゾーンをランダムに停止
  • Chaos Kong: AWSリージョンをランダムに停止
  • Latency Monkey: ランダムにネットワークを劣化させ、障害をおこす。
  • Conformity Monkey: 異常値の監視
  • Circus Monkey: インスタンスの停止/起動でゾーンのバランスを確認
  • Doctor Monkey: 万全でないリソースの修繕
  • Janitor Monkey: 未使用のリソースを掃除
  • Howler Monkey: SSL証明書の期限切れのアラート
  • Security Monkey: 設定変更履歴とAWSセキュリティポリシーの照合
• Turbine: Hystrixが適用された数千台のサーバからリアルタイムストリームを遅延なく高スループットでアグリゲートする。

Cloud Management

• Ice: AWSの利用状況 & コストのモニタリング
• Asgard: アプリのデプロイとクラウド管理のウェブインターフェイス
• Frigga: Asgardが利用する、AWSオブジェクト名を生成 & パースするロジック
• Glisten: Amazon Simple Workflow Service (SWF)でJVMアプリを構築するためのGroovyライブラリ

Infrastructure Services

• Edda: クラウドインフラの変更をモニタリング
• Suro: 大量のログデータやアプリのイベントデータを収集してアグリゲートするデータパイプラインサービス
• Eureka: 中間レイヤのサーバのロードバランスと障害復旧
• Zuul: 動的なルーティング、モニタリング、障害耐性、セキュリティなどの役割をもつ、ネットワークのエッジサービス

Platform Libraries

• Kayon: Netflixのオープンソースライブラリの情報をまとめた設計図
• Archaius: 設定管理のAPI
• Denominator: DNSクラウドを操作するJavaライブラリ
• Feign: Denominatorを安定してHTTPにバインドする際の面倒を減らすためのJava to HTTP クライアントバインダー
• Ribbon: AWSゾーンをソフトウェアでロードバランス
• Servo: アプリ監視のライブラリ
• Blitz4j: log4j上に構築された、高パフォーマンスで非同期のログフレームワーク
• Governator: Google Guiceを拡張し、クラスパスのスキャン、ライフサイクル管理、インジェクターの立上げ、フィールドマッピングの設定などを提供するライブラリ

Deployment

• animator: カスタマイズしたEBSイメージを作ってデプロイするためのライブラリ

Database

Netflixは全てのデータを９回（３重の冗長性 x ３回）保存する。

• Astyanax: マルチリージョンをサポートする、Cassandraに対するオブジェクト指向の抽象化Javaクライアント
• CassJMeter: Cassandraのクラスタを監視するJMeterプラグイン
• Curator: Apache ZooKeeperを使うためのJavaライブラリ群
• EVCache: AWS向けのmemcached & spymemcachedベースのキャッシュソリューション
• Exhibitor: インスタンスのモニタリング、バックアップ、データ復旧、クリーンアップ、バーチャライズ化をしてくれるZooKeeper向け監視システム
• Priam: Cassandra向けに、自動設定、ステート管理、トークンの適用、ノードの交換、S3のバックアップとデータ復旧を提供
• Staash: 共通のデータアクセスパターンを自動化し、データベースの複雑さを抽象化してくれる、RESTベースのウェブインターフェイス

#netflix #オープンソース