伊勢武史

データ分析界隈の者です。初歩的な質問で申し訳ないのですが、モデル学習データと精度測定用のデータの分割はどのようになさったのでしょうか？ 私の再現では、ランダム分割ならば先生の精度が再現できましたが、時系列で分割すると精度が出ないという結果でした。 https://nbviewer.jupyter.org/github/k-harada/ML_climate/blob/master/could_NOT_predict_global_warming_by_ML.ipynb …

ランダム分割では検証としてダメなのは簡単なことで、例えば同じ地点で、テストデータの1年前のデータが学習データにあれば、画像としては少し横にずれただけなのでCNNがその学習データと同じ結果を返すことは容易で、目的変数も10年平均とのことですから1年ずれただけならほぼ変わらないと思います。

なお現在、教師画像と検証画像が部分的に重なる確率をC_tから計算してaccuracyを補正する手法、もしくは感度分析（まったく重ならない検証画像のみを使った実験・教師画像とまったく同一の検証画像を使った実験などの比較）を検討しており、追加実験とともに発表する予定です。

ここだけ先にここでコメントさせてください。全く同一でなくても、近隣エリアであれば月平均気温レベルでは同様のデータが出ますので、完全一致を除くだけでは不十分と考えます。東京が冷夏や暖冬だとわかれば京都もまあ同様でしょう、ということです。