畳み込みLstm

3. 3 今回読んだ論文  「Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting」  畳み込みLSTMを用いて短時間の天気（レーダーマップ）予報を行った実験  Moving mnistのフレーム予測とレーダーマップ予報を行った 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved https://arxiv.org/abs/1506.04214

4. 4 この論文を選んだ動機（脱線）  PredNet  「Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning」  Predictive Codingという脳科学の知見を深層学習に組み込んだネットワーク  教師なし学習による動画予測を行った論文 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved https://arxiv.org/abs/1605.08104

6. 6 PredNet（脱線） 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved  予測モジュールRに何やら見られない言葉が・・・・  前のフレームの誤差E(t-1)と、今のフレームの次の層の予測モジュールの出力Rが入力  同じ層のRのみが再帰  畳み込みLSTM なんとなく何やっているかは想像つくけど、詳しく調べないと実装できないので、今回読んでみました

7. 7 前提：CNN 画像処理でいうフィルタ処理を用いてデータの特徴を抽出していくニューラルネットワーク 2016/12/2 C8Lab Copyright 2014 C8Lab Inc. All rights reserved 縦線を検知したりぼかしを入れることが可能 http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_con volution

8. 8 前提：CNN  一般的に様々な特徴を検知するフィルタは確率されているが、どんなフィルタを採用すればいいかはわからない・・・ 2016/12/2 C8Lab Copyright 2014 C8Lab Inc. All rights reserved 畳み込みニューラルネットワークが学習するのは、このフィルタの値！・画像を扱う際に空間情報を意識・余計な結合が切り離されているために多層にしても大丈夫！ GOOD!!

9. 9 前提：CNN 2016/12/2 C8Lab Copyright 2014 C8Lab Inc. All rights reserved 32×32の1チャンネル画像を、 28×28の６チャンネル画像に畳み込み 32×32の1枚の画像を28×28の６枚の画像に変換したという認識で大丈夫！！画像は複数のチャンネル（画像）を重ね合わせているものであると理解する。 midiのチャンネルのようなもの

11. 11 Introduction  今回扱うのはForecasting(予報)ではなくNowcasting（実況予報）  明日は晴れとかではなく、何時間後にどのくらいの強さの雨が来るということを予測（0〜6時間程度のスパン）  空港などで事前に降雨注意を出したりすることに活用 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved 15分後

12. 12 Introduction  従来手法でこの手の予測をする手法は大まかに二つ 1. NWP（numerical weather prediction） • 確率モデルや数式を元に行う方法 • おそらく普通の天気予報とかで使われたりしている • Nowcastingを行う場合はかなり複雑な式を立てる必要がある 2. レーダーエコーの情報を外挿する • レーダーエコーの情報を入力してその動きそのものを予測する • 今回の手法もこちら • Real-time Optical flow by Variational methods for Echoes of Radar (ROVER) がstate-of-the-art 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved

13. 13 Introduction  しかしOptical flowを用いた手法は使用できる状況が限られている  予測と画像データの外挿のステップが分かれている？  モデルパラメータの推定が難しい（DeepLearningもだけどね・・・・） 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved 機械学習のアプローチでこれを解決しよう！画像の特徴を捉えるCNN + 長期時系列情報を扱えるLSTM 畳み込みLSTM

15. 15 Introduction (先行研究)  実は畳み込みLSTMはすでにされていた  「 Video (language) modeling: a baseline for generative models of natural videos. 」  フレーム予測が１フレームだけ  なぜか中間層=>中間層の畳み込みフィルタサイズが１×１のみ  「 Unsupervised learning of video representations using lstms.」  Seq to seqになって複数のフレーム予測はするようになった  でもなぜか中間層＝＞中間層が全結合のデフォルトLSTM 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved ・中間層同士もしっかり畳み込み・フィルタサイズもいろいろ変更・多層LSTM ・Seq to Seq を採用して未来の多フレーム予測このペーパーでは・・・

19. 19 Model  補足  中間層のチャンネル数は128とかにできるが、再帰していくので、入力も出力もそのチャンネル数に制限される（あたりまえ）  畳み込みはpaddingありで行って、元画像と同じサイズを維持  画像生成時に効いてくる  prednetの論文では書いてあったが、フレームの外から来る不特定要素を考慮する意味でもGood  個人的な感想：画像データを足し算するのはぶっちゃけいいのかなぁ・・・原形留めずにぶっ壊れてしまうのではないか 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved

20. 20 Model  画像生成時 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved 画像サイズが全てのレイヤで同じなので、最後は1×1で畳み込んで入力画像と同じshapeに変換！注意最終層を畳み込んでいるわけではない各層の出力をConcat（結合）して、それを畳み込み。チャンネル数＝レイヤーサイズ× 中間層のチャンネル数

22. 22 Experiments  まずはConvLSTMの性質をある程度理解するために、Moving MNISTで検証。  複数のパラメータで検証。FC-LSTMとも比較  画像サイズ６４×６４のグレースケール  １０フレームが入力、次の１０フレームを予測  訓練：10000セットバリデーション：2000セットテスト：3000セット  誤差関数が何故かクロスエントロピー(PredNetは絶対誤差の変化系)  最適化手法はRMSProp  学習率0.001、減衰率0.9 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved

23. 23 Experiments 結果  中間層-中間層は1×1で畳み込むと精度が悪いから必ず1以上  中間層のチャンネルが大きく層が浅いものより、少なくていいので多層にしたほうが精度が向上する  ２層から３層に変更して確かに精度は良くなったが、あまり変化はない 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved FC-LSTMは中間層2048が２層のLSTM

25. 25 Experiments 本題のレーダーマップ予測  前処理頑張ってます  レーダーマップの値をグレースケールに変換  330×330の領域を真ん中から切り抜き  Disk Filter?なるものをかけたあと100×100にリサイズ  ノイズがあるのでK-Meansで処理（それやっていいのかなぁ、、）  20フレーム１セット（入力5枚、予測15枚）  もちろんですが、晴れた日の情報は使いません  訓練：8148セットバリデーション：2037セットテスト:2037セット  ２層のConvLSTM  フィルタサイズは3×3（mnistより小さい）  誤差は相変わらずクロスエントロピー 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved

28. 28 Experiments  何故畳み込みLSTMがうまくいったのか？  境界部分もうまく処理してくれる  入力から予測、訓練までが一気通貫で行われているので、複雑な時空間パターンが学習できる？（飛躍しすぎな気が、、、、）  いい点悪い点  ROVERはある程度先のステップでも鮮明に予測するが、 ConvLSTMはどうしてもボケてしまう。（境界領域の不確定性を考慮しているため）=>ぼやーっと予測しているからスコアは高い 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved フレームの外側から新しい雲がやってくるのもある程度予測してみたりしている。

31. 31 お問い合わせご興味のある企業・団体・個人様は、以下までお問い合わせください。シンギュラリティ株式会社 http://snglrty.net 東京都港区浜松町 2-7-15 三電舎ビル6F Tel 03-5425-2545 取締役/CTO 新村拓也 E-mail：info@snglrty.net 2016/12/2 Singularity Copyright 2016 Singularity Inc. All rights reserved

畳み込みLstm

tak9029

畳み込みLstm