現在仕事で作っている異常検知システムについてPyCon mini Osakaで登壇してきました。異常検知というマイナーなトピックですが、多くの人に聞いてもらえてよかったです。
はい、はてなのMackerelチームの中の人です。
機械学習の人からすると「なんだただの混合ガウス分布か」と思われるかもしれませんが、異常検知のシステムを実際に作ろうとすると考えることが色々あります。今回の発表では
- ユーザーのどのような要望から異常検知機能を作るに至ったか
- 異常検知とはそもそも何か、どういった問題設定か
- 異常検知手法にはどういったものがあるか、どのようなメリット/デメリットがあるか
- どの手法だとコストをなるべく抑えながらサービス要件を満たせるか
- 実際のサービス提供するためにどのようなアーキテクチャ設計にしたのか
- 高頻度かつ不定期な学習Jobに対応するためにAWS Batchを採用
- 誤検知を少なくするためには、荒い粒度ではなく生データが重要。独自の時系列DBを構築
といった内容について話しました。
合わせて読みたい