なんか表現が下手だが、「論文の本数」= 「自分の主張する手法をtest setで評価した回数」 になってない人は厳密には全員アウトじゃね？ってのが言いたいこと
Show this thread
たとえば精度を上げるアイデアが10個あって、それをちゃんとtrain/val/testに切った上で評価して、どれか一つのアイデアが当たって論文にしたとする。そこで「それはお前が10回もtest set見たからだろ？」って言われたらどうするんだろう
-
-
-
-
private LBなしのtrain/val/test教は最終的にこのふざけた結論に辿り着くのでダメと思ってる。誰かこの主張が伝わって欲しい
Show this thread End of conversation
New conversation -
-
-
アイデア１個をtrain/val/testで評価して、駄目だったら次……を１０回繰り返すのではなく、 アイデア１０個をtrain/valでチューニングした後に、１０個のアイデアを同時にtestで評価ならOKってことですか？
-
もちろん理想的にはそうするのが正しいわけですが、それを行うためには「前以てアイデアを全て思いついておく必要がある」 という非現実的な仮定が必要になってしまいます。（後から新しいアイデアが出てきたらもうアウト）
-
「test setでearly stoppingは論外！」とか言ってる人がいますが、結局新しいアイデアが出た時点でもうアウトなのは同じなので、train/val/testみたいな「正しいやり方」と本質的にはそんな変わらんだろ、みたいなのが自分の言いたい内容です（表現が難しいけど伝わって欲しい）
End of conversation
New conversation -
Loading seems to be taking a while.
Twitter may be over capacity or experiencing a momentary hiccup. Try again or visit Twitter Status for more information.