「将棋のプロ棋士は将棋ソフトに勝てない?情報処理学会が勝利を宣言」
http://matome.naver.jp/odai/2144461135407442101?page=2
に、以下のような記述がありました。
「現役プロで最も将棋ソフトに詳しいといわれる千田翔太でさえ、特別な対策をせずに電王戦に出場するような強豪ソフトと真っ向から戦った場合で『勝率は7パーセント』」
「羽生善治らトップ棋士でも千田を相手に90パーセント以上勝つことは難しいため、『ソフトは既に人間を超えている』との推論が出てもおかしくない」
そこで統計の問題。
[1] ソフト対人間でも、人間対人間でも、1回の対局は(互いに分散が等しい)正規分布をしたくじを、自分の壺から1つ引き、数が大きいほうが勝つようなものとする。もちろん壺は各自で異なり、強者ほど平均値の大きい壺を持っている。
[2] [1]のルールで多数回の施行を行ったところ、千田のソフトXへの勝率は7%で、羽生の千田への勝率は90%だった
という前提から、「ソフトXが羽生より有意に強い」と言えるか、ざっくりとした計算経過とともに答えてください。
よろしくお願いいたします。
施行回数が分からなければどうにもなりません。
> [1] ソフト対人間でも、人間対人間でも、1回の対局は(互いに分散が等しい)正規分布をしたくじを、自分の壺から1つ引き、数が大きいほうが勝つようなものとする。もちろん壺は各自で異なり、強者ほど平均値の大きい壺を持っている。
このような大胆なモデルを設定しても、くじの数値自体を観測するわけではなく、観測するのはあくまで勝敗です。ですから、羽生が勝つのをコインで表が出ると解釈して、コインが表が出る確率が1/2と言えるかどうかを検定する問題とみるべきです。それだと、n回実験した場合は、両側検定であれば、
|勝率-1/2|>1.96√{(1/2)(1/2)/n}=0.98/√n
で有意水準5%で棄却です。
片側検定であれば、1.96でなく1.645にして片側に棄却域を設けますが、ただし注意しなければならないのは、結果を見てから片側検定を選んではいけません。
計算できたっぽい
カードを引いてその大小で勝ち負けを決めるということは、カードの数字の差がゼロよりも大きい確率が勝つ確率ということになります。
独立した正規分布からの標本の差の分布は、平均が 、分散が
の正規分布に従う、を使います。
http://lbm.ab.a.u-tokyo.ac.jp/~omori/meiji2/sec4/sec4.html
強豪ソフト と千田
の差の分布、
は、分散が同じなので、こうなります。
千田が強豪ソフトに勝つ確率が 7% ということは、確率分布で 0 以下が 7% ということです。
標準正規分布表を持ち出します。
http://www.koka.ac.jp/morigiwa/sjs/standard_normal_distribution.htm
表で 43% のところは Z = 1.475 くらいです。
なので、以下となります。
同様に、羽生 と千田
の差の分布、
では、表から 40% は Z = 1.280 くらいです。
先と同様に、
問題の、強豪ソフト と羽生
の差の分布を考えます。
先の式から、
標準正規分布表から Z = 0.17678 のときは、面積が 0.0701 くらいです。
つまり、0 以上になる確率が 57% 、つまり強豪ソフトが勝つ確率が 57% ということです。
後は、これが有意な差かどうかを検定します。
適合度検定を使います。
先に求めた強豪ソフトと羽生の勝率通りに対戦結果 57 : 43 が得られたとして、勝ち負けがどっこいどっこいの 50 : 50 と有意な差があるかどうか、です。
統計検定の説明は端折ります。
http://next1.msi.sk.shibaura-it.ac.jp/MULTIMEDIA/statistics/node21.html:強豪ソフトと羽生の勝率は等しい
有意水準:
統計量:
カイ二乗分布表 http://www.biwako.shiga-u.ac.jp/sensei/mnaka/ut/chi2disttab.html より
よって帰無仮説は棄却できず、 を容認。
つまり、強豪ソフトと羽生の勝ち負けには有意な差はない、ということになります。
やっぱり、直しました。
a-kuma3様、丁寧な解説、ありがとうございます。この計算で正しいと自分には思えますが、皆様、いかがでしょうか?
ちょっと早とちりしていました。羽生と千田とソフトの三者がいるわけですね。すると単純ではありませんが、施行回数が分からなければ検定としてはどうにもならないことは確かです。
2015/10/14 21:42:51みやど様、ご回答ありがとうございました。了解です。
2015/10/14 23:14:53