20141220 tokyowebmining state_spacemodel

Transcript

• 1. データ分析の為の 状態空間モデルによる モデリング徹底入門 できずにドアノック。 2014/12/20 Tokyowebmining #41 KennyISHIMURA 1/20
• 2. 発表者自己紹介 • 某通信系グループのSE。 • 最近はセキュリティの分野に足を踏み込みつつあり ます。 • 今回は制御工学の分野の話が多くなりますが、素人 の独学なので、勘違い等あると思います。 お詳し い方のコメントをお待ちしております。 2/20
• 3. 目次 • はじめに • 状態空間モデルとは • 状態空間モデルの使い方 • 状態空間モデルの限界 • 今後の入門(モデリング方法) • 参考資料 3/20
• 4. はじめに１ • 今回の発表(学習)のモチベーションはこの文章でした • 「時系列解析で⽤いられるさまざまなモデルを、状 態空間モデルによって統一的に取り扱うことができ る。一方、時系列解析の多くの問題が状態空間モデ ルの状態推定の問題として定式化できる」 (参考文献1 時系列解析入門P.125) • 時系列解析といっても⼿法が⾊々あって全部学ぶの は結構大変そう。でも、結局は状態空間モデルとし て統一的に考えられる︖ 4/20
• 5. はじめに２ 5/20 AR、MA、ARMA、ARIMA ARCH、GARCH、VEC、DVEC、 CCC、DCC、CCgirls SV、ARFIMA、ARIMAX、東MAX、MAX VAR、VMA、VARMA 、 VARIMA TAR、SETAR、ST、LSTAR、RATS & STAR ・・・ 時系列分析で⽤いられるさまざまなモデルいっぱい(違う のもあるかも) 状態空間 モデル だけで済む︖
• 6. 状態空間モデルとは１ • 1960年にカルマン(カルマンフィルターで有名な方)に よって提案された。 • 制御工学の中では、現代制御(といっても1960－80年 ぐらい)に使⽤される重要なモデリング⼿法。 • 特徴としては、2つの式でシステムを表すこと。 • 1つは状態xを示す式で時系列で直前の値により変わ る (システム方程式) • もう1つは実際に観測される値yを示す式(観測方程式) であり、これは状態によって変わる システム方程式 観測方程式 6/20
• 7. 状態空間モデルとは２ 時間 システム状態 観測値 7/20 x1 x2 x3 xk y1 y2 y3 yk ・・・ ・・・ ・・・ • 時間が経つにつれてシステム状態は直前の状態のみ から決まったルールで変化(赤矢印)し、その時のシス テム状態から決まったルール(⻘矢印)で観測値が決ま る。(誤差項はあります) ⇒ただこれを素直に解釈すると混乱するかも(私はしました) 1 2 3 k
• 8. 状態空間モデルとは３ • 状態空間モデルは、簡単なモデルの場合かえってめんど くさい・難しいかも(私⾒です) • しかし、いったんモデルが決まれば(システム同定)、その 過去/現在/未来の状態や観測値予測が統一的な方法でわか るところが利点。(合ってますか︖) • 現在までの観測値から • 「フィルタ」 現在の状態の推定 • 「一期先予測」 一期先の観測値/状態の予測 • 「平滑化」 過去の状態の推定 8/20 x1 x2 x3 x4 y1 y2 y3 y4 現在 使⽤観測値 フィルタ 一期先予測平滑化 システム状態 観測値 x5 y5
• 9. 状態空間モデルとは４ 9/20 • 前ページの様なグラフィカルモデルの一種と考える と、このような整理になる。 グラフィカルモデル UPIN: Undiredted Probabilistic Independent Network ・MRF︓Markov Random Field ・Markov Networks ・Boltzmann machines ・Log-linear model DPIN: Directed Probabilistic Independent Network ベイジアンネットワーク 鎖状構造 グラフィカルモデル 一般状態空間モデル HMM (HiddenMar kovModel) SSM (State Space Model) 参考資料4より
• 10. 状態空間モデルとは５ 10/20 • 制御工学の枠組みでの位置づけ • 伝達関数(古典制御)と変換が容易
• 11. 状態空間モデルとは６ 11/20 • 状態/観測値の分布をどの様に考えるかはいくつかの 表現方法がある。 参考資料4より 真の分布（理論分布） ガウス分布(カルマンフィルタで 使⽤) ガウス分布の和 ヒストグラム（階段関数） 折れ線近似 モンテカルロ近似(粒⼦フィルタ)
• 12. 状態空間モデルの使い方１ 全体概要 12/20 時系列データを観測 状態空間 モデル AR等の時系列 モデリング その分野の知識を活か して直接モデリング 部分空間同定 法等 数学的⼿法 カルマンフィ ルタ(ガウス型) 目標 状態空間モデル作成 (システム同定) 状態空間モデル フィルタ 予測 平滑化 目標達成 非ガウス型 フィルタ 粒⼦フィルタ 正準系 説明変数 直接的な 状態空間モデリング 間接的な状態空間モデリング 参考文献4,5 参考文献7 参考文献1,5
• 13. 状態空間モデルの使い方２ 間接的モデリング • ARMA(AutoRegressive Moving Average)モデルの状態空間モデル例。 • 一旦ARMAモデル⽤のアルゴリズムで係数や次数を決定してか ら、正準系(Canonical Form)と呼ばれる形の一つに当てはめれば よい。複数の形があるので後の目的に応じて適切な形を選ぶ。 ⇒結局ARMAモデルのことは勉強しなきゃ。。。 • 可観測正準系 • 可制御正準系 13/20 β0=b0、β1=b1-a1b0、βn=bn-anb0 y(k)+a1y(k-1)+・・・＋any(k-n) = b0v(k)+b1v(k-1)+ ・・・+bnv(k-n)
• 14. 状態空間モデルの使い方３ • カルマンフィルタによるフィルタリング • ⾊々な例がWeb上でありますので、省略。。。 14/20
• 15. 状態空間モデルの(入門者の)限界 • 結局は、モデル化するためには時系列モデル特有の パラメータ推定⼿法を使⽤するか、部分同定法とい うちょっと入門者には難し目の⼿法を使⽤しなけれ ばならない。 • 実は、システムモデルにおける一期前の状態ベクト ルxtは、実時間tの値でなくてよいみたいですが、そ うなると結局なんでもできそうです。 • 制御理論系のやり方をおさえた実装は、MATLABの System Identification TOOLBOXというものであり、お⾦ がかかるかも。 • Rや他の言語の実装はあまり触っていない/調べてい なくてよくわかりません。 15/20
• 16. AR等の時系列モデリング 今後の入門１(モデリング) • ARMA等の時系列分析⼿法の状態空間モデル表現を整理 していきたい(様々な時系列分析⼿法を結局は押さえな いといけない︕) 16/20 AR、MA、ARMA、ARIMA ARCH、GARCH、VEC、DVEC、 CCC、DCC、CCgirls SV、ARFIMA、ARIMAX、東MAX、MAX VAR、VMA、VARMA 、 VARIMA TAR、SETAR、ST、LSTAR、RATS & STAR ・・・ 状態空間 モデル 時系列分析 手法 状態空間モデル AR MA ARMA ・・・
• 17. 部分同定法等 今後の入門２(モデリング) • 直接的に状態空間モデルを作成する⼿法の理解 17/20 MOESP法 (Multivariable Output Error State sPace) ４SID法 (Numerical Algorithm for Subspace State Space System IDentificaton ４つのS) 状態空間 モデル これらを理解するのに、 結構な量の線形代数の 計算を勉強しないと︕
• 18. 参考資料 1. 時系列解析入門 北川源四郎 2. システム同定の基礎 足⽴修一 3. カルマンフィルタの基礎 足⽴修一・丸⽥一郎 4. 予測にいかす統計モデリングの基礎 樋口知之 5. ビッグデータ時代のマーケティング 佐藤忠彦・樋口知之 6. はじめての現代制御理論 佐藤和也・下本陽一・熊澤典良 7. システム同定 -部分空間法からのアプローチ- 片山徹 18/20