【統計の問題・将棋ソフトは羽生より強い?】


「将棋のプロ棋士は将棋ソフトに勝てない?情報処理学会が勝利を宣言」
http://matome.naver.jp/odai/2144461135407442101?page=2
に、以下のような記述がありました。

「現役プロで最も将棋ソフトに詳しいといわれる千田翔太でさえ、特別な対策をせずに電王戦に出場するような強豪ソフトと真っ向から戦った場合で『勝率は7パーセント』」

「羽生善治らトップ棋士でも千田を相手に90パーセント以上勝つことは難しいため、『ソフトは既に人間を超えている』との推論が出てもおかしくない」

そこで統計の問題。

[1] ソフト対人間でも、人間対人間でも、1回の対局は(互いに分散が等しい)正規分布をしたくじを、自分の壺から1つ引き、数が大きいほうが勝つようなものとする。もちろん壺は各自で異なり、強者ほど平均値の大きい壺を持っている。

[2] [1]のルールで多数回の施行を行ったところ、千田のソフトXへの勝率は7%で、羽生の千田への勝率は90%だった

という前提から、「ソフトXが羽生より有意に強い」と言えるか、ざっくりとした計算経過とともに答えてください。
よろしくお願いいたします。

回答の条件
  • 1人1回まで
  • 13歳以上
  • 登録:2015/10/14 18:47:36
  • 終了:2015/10/21 18:47:36

回答(2件)

id:MIYADO No.1

みやど回答回数233ベストアンサー獲得回数532015/10/14 19:42:44

施行回数が分からなければどうにもなりません。

> [1] ソフト対人間でも、人間対人間でも、1回の対局は(互いに分散が等しい)正規分布をしたくじを、自分の壺から1つ引き、数が大きいほうが勝つようなものとする。もちろん壺は各自で異なり、強者ほど平均値の大きい壺を持っている。

このような大胆なモデルを設定しても、くじの数値自体を観測するわけではなく、観測するのはあくまで勝敗です。ですから、羽生が勝つのをコインで表が出ると解釈して、コインが表が出る確率が1/2と言えるかどうかを検定する問題とみるべきです。それだと、n回実験した場合は、両側検定であれば、
|勝率-1/2|>1.96√{(1/2)(1/2)/n}=0.98/√n
で有意水準5%で棄却です。

片側検定であれば、1.96でなく1.645にして片側に棄却域を設けますが、ただし注意しなければならないのは、結果を見てから片側検定を選んではいけません。

id:MIYADO

ちょっと早とちりしていました。羽生と千田とソフトの三者がいるわけですね。すると単純ではありませんが、施行回数が分からなければ検定としてはどうにもならないことは確かです。

2015/10/14 21:42:51
id:lionfan2

みやど様、ご回答ありがとうございました。了解です。

2015/10/14 23:14:53
id:a-kuma3 No.2

a-kuma3回答回数4009ベストアンサー獲得回数15692015/10/14 21:57:17

計算できたっぽい


カードを引いてその大小で勝ち負けを決めるということは、カードの数字の差がゼロよりも大きい確率が勝つ確率ということになります。

独立した正規分布からの標本の差の分布は、平均が ¥mu_1-¥mu_2 、分散が {¥sigma_1}^2+{¥sigma_2}^2 の正規分布に従う、を使います。
http://lbm.ab.a.u-tokyo.ac.jp/~omori/meiji2/sec4/sec4.html

強豪ソフト X_x と千田 X_c の差の分布、
X_x - X_c ¥sim N ( ¥mu_x-¥mu_c ¥hspace{5}, ¥hspace{5}{¥sigma_x}^2+{¥sigma_c}^2 )
は、分散が同じなので、こうなります。
X_x - X_c ¥sim N ( ¥mu_x-¥mu_c ¥hspace{5}, ¥hspace{5}{2 ¥sigma}^2 )

千田が強豪ソフトに勝つ確率が 7% ということは、確率分布で 0 以下が 7% ということです。
f:id:a-kuma3:20151014212654j:image

標準正規分布表を持ち出します。
http://www.koka.ac.jp/morigiwa/sjs/standard_normal_distribution.htm

表で 43% のところは Z = 1.475 くらいです。
なので、以下となります。
¥mu_x-¥mu_c ¥hspace{5} = ¥hspace{5} 1.475 ¥sqrt{2} ¥sigma


同様に、羽生 X_h と千田 X_c の差の分布、
X_h - X_c ¥sim N ( ¥mu_h-¥mu_c ¥hspace{5}, ¥hspace{5}{2 ¥sigma}^2 )
では、表から 40% は Z = 1.280 くらいです。
先と同様に、
¥mu_h-¥mu_c ¥hspace{5} = ¥hspace{5} 1.280 ¥sqrt{2} ¥sigma


問題の、強豪ソフト X_x と羽生 X_h の差の分布を考えます。
X_x - X_h ¥sim N ( ¥mu_x-¥mu_h ¥hspace{5}, ¥hspace{5}{2 ¥sigma}^2 )

先の式から、
¥mu_x-¥mu_h
= ¥mu_c + ¥hspace{5} 1.475 ¥sqrt{2} ¥sigma - (¥mu_c + ¥hspace{5} 1.280 ¥sqrt{2} ¥sigma )
= ¥hspace{5} 1.475 ¥sqrt{2} ¥sigma - ¥hspace{5} 1.280 ¥sqrt{2} ¥sigma
= ¥hspace{5} 0.125 ¥sqrt{2} ¥sigma
= ¥hspace{5} 0.17678 ¥sigma

標準正規分布表から Z = 0.17678 のときは、面積が 0.0701 くらいです。
つまり、0 以上になる確率が 57% 、つまり強豪ソフトが勝つ確率が 57% ということです。



後は、これが有意な差かどうかを検定します。

適合度検定を使います。
先に求めた強豪ソフトと羽生の勝率通りに対戦結果 57 : 43 が得られたとして、勝ち負けがどっこいどっこいの 50 : 50 と有意な差があるかどうか、です。

統計検定の説明は端折ります。
http://next1.msi.sk.shibaura-it.ac.jp/MULTIMEDIA/statistics/node21.html

H_0:強豪ソフトと羽生の勝率は等しい
有意水準:¥alpha = 0.05
統計量:
¥chi_0^2 = ¥frac{57^2}{50} + ¥frac{43^2}{50} - 100
¥hspace{20}= 1.96

カイ二乗分布表 http://www.biwako.shiga-u.ac.jp/sensei/mnaka/ut/chi2disttab.html より
¥chi_{0.05,2-1}^2 = 3.8416

よって帰無仮説は棄却できず、H_0 を容認。
つまり、強豪ソフトと羽生の勝ち負けには有意な差はない、ということになります。

他1件のコメントを見る
id:a-kuma3

やっぱり、直しました。

2015/10/14 22:20:43
id:lionfan2

a-kuma3様、丁寧な解説、ありがとうございます。この計算で正しいと自分には思えますが、皆様、いかがでしょうか?

2015/10/14 23:14:11

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません