はじめに
将棋ソフト不正疑惑に関する事件について新たな記事が出ていたので、また計算機を叩いてみました。
三浦九段については晴れて「シロ」判定がされて、これから名誉回復をどうしていくかという段で、このような記事が出てくるのには違和感があります。
ネット上でもあまり評判良くないようなので、今更内容に噛み付く必要もないのですが、データジャーナリズムの手習いとして公開してみます。
前提
ここでは、記事中にある一致率の推定値を真の値として扱います。
一致率については、将棋ソフトや局面の違いによって値に大きな差異が出る可能性が指摘されています。 そのような数字を基に組み立てたロジックは無意味だと一蹴することもできるのでしょうが、一致率を受け入れた上でも反論が可能と私は考えました。
設定
記事中である局で高い一致率の示される確率について2つの数字が提示されています。
- 10%: 「当方の計算では、出現率でいえば、良くて10%程度」
- 25%: 「第三者委員会の報告は、（中略）上位４分の１に入るような出来」
はっきりと「ある一局で高い一致率の示される確率」と書かれている訳ではないですが、文脈からそう判断して問題ないと思われます。
私も以前の記事で計算をしたのですが、一致率85%以上となる確率を9.79%と概算しています。 不安定な一致率の推定値から計算したものなので、これが正しいと考えてもいませんが、ここでは三浦九段に不利な10%を採用します。
確率計算
記事では「そんな出来の良い将棋が、疑いをもたれた短期間に、４局も」あったと指摘しています。「短期間」が何を指すか明らかではありませんが、私の前回記事では某まとめサイト情報を参考に12局としていました。
12局中4局以上で高い一致率が示される確率
r = 0.1 num = 12 lim = 3 s = 1.0 - scipy.stats.binom.cdf(lim, num, r)
2.56%となります。 教科書にあるような有意水準5%だと、通常では起こりにくいことが起こっていて疑わしいとなります。
以前の記事では12局というのが恣意的に切り取った一部なのでシロともクロとも言えないとコメントしていましたが、よくよく考えれば恣意的な切り取りについても数値的に評価できそうなので、その計算を今回追加します。
一致率の高くなる期間を切り取れる確率
三浦九段の2015年度対局数は42局です。 42局の中に一致率の高い4局を含む12局が出現するか、という問題に変わると、この確率は2.56%より高くなります。
解析的に解く方法が思いつかないので、モンテカルロ法を使ってみます。エレガントな解法があれば教えてください。
確率10%のクジを42回引いて、結果のrolling_sumの最大値が3を超えるか判定しています。
num_ext = 42 num_iter = 10000 res = np.zeros(num_iter) for ii in range(num_iter): samp = np.random.choice([0, 1], num_ext, replace=True, p=[1.0-r, r]) seq = pd.Series(samp).rolling(window=num).sum() res[ii] = seq.max() s = (res > lim).mean()
モンテカルロ法なので結果にブレはありますが、17%程度という結果になりました。
トップ棋士は、ベースの一致率が高くなりがちというだけでなく、対局数つまり試行回数が増えてしまうという構造がある訳です。
計算は以下にまとめています。 github.com
主張
サンプルを恣意的に切り取ることで、17%程度発生するありふれた事象を2%程度に見せることができます。 我々が統計の結果を作る・見るときには、このようなテクニックが使われていないか常に注意する必要があります。
いつもソフトを使ってる訳でないので、一致率の高い4局が問題で、12局だとか42局は関係ないという論を張っている人もいるようですが、これは誤りです。 無実の人が同じ試行をしたときに起こりそうもない結果が出たときのみ疑いをかけるのが正しい姿勢です。 羽生さんの対局から一致率の高い1局を引っ張ってきて、いつもはソフト指ししていないけれど、当該局ではソフト指ししていたという主張は馬鹿げています。
弁護記事では試験のカンニングについて言及されていますが、もし教師の方がいらっしゃたら記事のような手続きで生徒を疑うのはやめてください。個人的に疑いを持って物的証拠を探すのはセーフかもしれませんが、疑いを同僚教師に話したりするのはアウトです。 過去の偏差値から取れそうもない点数を取るくらいの確率であれば、「卒業までに受ける試験の数×カンニングが疑われるような素行の生徒数」の回数の試行があれば、簡単に起こってしまいます。
最期に
最近、話題のBIGについて計算したのですが、そちらでは直感通りのつまらない結果になりました。