キャッシュ

データ分析界隈の者です。初歩的な質問で申し訳ないのですが、モデル学習データと精度測定用のデータの分割はどのようになさったのでしょうか？ 私の再現では、ランダム分割ならば先生の精度が再現できましたが、時系列で分割すると精度が出ないという結果でした。 https://nbviewer.jupyter.org/github/k-harada/ML_climate/blob/master/could_NOT_predict_global_warming_by_ML.ipynb …

ランダム分割では検証としてダメなのは簡単なことで、例えば同じ地点で、テストデータの1年前のデータが学習データにあれば、画像としては少し横にずれただけなのでCNNがその学習データと同じ結果を返すことは容易で、目的変数も10年平均とのことですから1年ずれただけならほぼ変わらないと思います。

10年後の予測精度を主張されるのならば、実用と同じ設定、つまりモデル学習時に使うデータ目的変数も含めてある時点までに得られるデータとし、その時点から10年後を予測して精度測定をするのが適切と考えます。 見解をお聞かせいただければと。よろしくお願いいたします。

リプライが前後してすみません。これはぜひやりたいです。つまり、1901-2006のデータでtraining & validationしたモデルを使い、2007-2016を予測。しかし、これをやってないからといって論文発表してはいけないわけではないですよね。速報的に発表してから追加実験していくスタイルを許してください。