ディープラーニングで将来気温の上下を推定 京都大学が提案する新発想の気候予測https://univ-journal.jp/25854/
-
データ分析界隈の者です。初歩的な質問で申し訳ないのですが、モデル学習データと精度測定用のデータの分割はどのようになさったのでしょうか？ 私の再現では、ランダム分割ならば先生の精度が再現できましたが、時系列で分割すると精度が出ないという結果でした。 https://nbviewer.jupyter.org/github/k-harada/ML_climate/blob/master/could_NOT_predict_global_warming_by_ML.ipynb …
ランダム分割では検証としてダメなのは簡単なことで、例えば同じ地点で、テストデータの1年前のデータが学習データにあれば、画像としては少し横にずれただけなのでCNNがその学習データと同じ結果を返すことは容易で、目的変数も10年平均とのことですから1年ずれただけならほぼ変わらないと思います。
-
-
教師画像と検証画像が大きく重なる場合、算出されるaccuracyは高く見積もられるという現象が生じます。たとえば、地点Aの1901-1930のデータから教師画像を生成、おなじ地点の1902-1931のデータから検証画像を生成した場合。
Thanks. Twitter will use this to make your timeline better. UndoUndo
-
-
-
この研究では、乱数を使って教師画像と検証画像をまばらに取得しているため、この現象は軽減されています。どの程度まばらかを決めているのがパラメタC_tです。C_tがとても1に近い場合、大きく重なる教師画像と検証画像が使われる確率は下がります。
Thanks. Twitter will use this to make your timeline better. UndoUndo
-
-
-
この現象をゼロにするような実験も可能ですが、この研究に使えるデータ量は有限なため、そうしませんでした。本論文のaccurayはC_tとのセットで評価していただきたいと思います。
Thanks. Twitter will use this to make your timeline better. UndoUndo
-
-
-
なお現在、教師画像と検証画像が部分的に重なる確率をC_tから計算してaccuracyを補正する手法、もしくは感度分析（まったく重ならない検証画像のみを使った実験・教師画像とまったく同一の検証画像を使った実験などの比較）を検討しており、追加実験とともに発表する予定です。
- 4 more replies
New conversation -
-
-
学術論文についての議論と検証が行われるのはたいへん有意義ですが、twitterではなく学術雑誌のbrief communication的な方法でやるのはいかがでしょう？
- 2 more replies
New conversation -
-
-
10年後の予測精度を主張されるのならば、実用と同じ設定、つまりモデル学習時に使うデータ目的変数も含めてある時点までに得られるデータとし、その時点から10年後を予測して精度測定をするのが適切と考えます。 見解をお聞かせいただければと。よろしくお願いいたします。
-
リプライが前後してすみません。これはぜひやりたいです。つまり、1901-2006のデータでtraining & validationしたモデルを使い、2007-2016を予測。しかし、これをやってないからといって論文発表してはいけないわけではないですよね。速報的に発表してから追加実験していくスタイルを許してください。
-
論文を発表されるのは先生の自由ですが、この検証なしに10年後の予測ができるという主張をすることは、予測に関わる主張として検証が甘いでは済まない致命的な問題で、97%でなければプレスリリース等の修正が当然必要と思います。
-
私が発言してないことで批判されている部分もあるように思います。「精度97％で10年後の気候変動予測ができた」などとは主張していません。プレスリリースはこちら。 http://www.kyoto-u.ac.jp/ja/research/research_results/2019/documents/190426_1/01.pdf …
-
なるほど、「10年間の平均気温の上下を最大精度97%で推定できる」「予測に役立つことが示唆される」が主張であって、10年後が予測できるとはプレスリリースでは主張していないのですね。 論文の冒頭に予測できる旨の記述があったので誤解しておりました。
End of conversation
New conversation -
Loading seems to be taking a while.
Twitter may be over capacity or experiencing a momentary hiccup. Try again or visit Twitter Status for more information.