最近よく見かける「日本の英語力××位！」という調査はいったい何なのか？

日本の英語力、世界35位に下落 - 東京五輪を前に今やるべきこととは - BIGLOBEニュース

留学・語学教育事業のEF、世界最大の国別英語能力指数 EF EPI 2016 発表：時事ドットコム

【EF EPI 2016】6年で16位もダウン…日本の英語力が世界72ヵ国中35位に低迷する理由とは？

「日本の英語力××位！」と報じたニュース風の記事をよく見かけるなあと感じたことはないだろうか。この手の記事のソースは、十中八九、EF（イーエフ）という留学斡旋企業が発表している英語力「指標」だろう。

ここで、英語力「指標」とカギカッコでわざわざ強調したことに注意して欲しい。なぜなら、これは英語力調査ではなく、あくまで指標＝参考情報だからだ。

以下がEF社がEF英語力指標について説明しているものである。

EF EPI - この指標について

非常に長いのだが、ポイントは次の通りである。

要は、EF社のオンラインテストの受験者情報を各国比較に利用（悪く言えば流用）したもの、言ってみれば「副産物」がこの英語力指標である。

そもそも国ごとの英語力の調査が目的なら、もう少しマシな調査設計にするだろう。たとえば、各国の「国民」からランダムに受験者を募集したり、それが難しいのであれば属性（年齢・ジェンダー・居住地域・学歴・職種など）で層化し、各グループから偏りなくサンプルをとってくることが考えられる。調査であれば当然の手続きを省略している事実を見れば、EF社としては当初からそこまでの正確性・妥当性を追求していないことがわかる。

どれだけ信頼できるか

スコアは、EF社のオンラインテストにアクセスできるかどうかに大きく左右される―――ネット環境の有無だけでなく、このテストを知っているかどうか、英語学習意欲があるか、留学志向があるかも影響する。

その結果として、国によってはスコアの乱高下が激しい。（図）

以下、特に変動の大きい三カ国のトレンドを示す（ちなみに、日本は過去5年で最高が55.14（2012年）、最低が51.69（2016年）で分散 1.1 であり、精度は比較的優秀である）。

言語習得には非常に長い年月がかかるものであり、「国民の英語力」が数年で大きく変動するということはあり得ない。この乱高下は、「EF英語力指標は国民の英語力を代表していない」と考えれば簡単に説明がつくのである。つまり、この指標は特定の集団の英語力を示していて、その「特定の集団」は年ごと・国ごとに異なるということである。

なお、誠実と言うべきか開き直りと言うべきか、「調査」ではない点、そして受験者に大きな偏りがある点について、EF社はきちんと断っている。

ただ、「調査」ではない点について断っているからと言って、EFの発表の仕方を見る限り、明らかに国別比較調査を思わせる書き方である。

国別ランキングや、スコアをもとにした世界地図の色分けは、「その国全体のレベルを代表」しているように受け取っても仕方がない。実際、メディア記事のなかにはそういった誤解に基いて執筆されているものも散見される。

国別ランキングを広報する意味

「調査」でもない国別ランキングをメディアが積極的に報道する意義は何なのか？

究極的には各メディア、そしてEF社に聞いてみないとわからないが、おそらくは (a) 企業としての知名度をあげること、(b) 英語力テストの認知度をあげ受験者を増やすこと、(c) 受験してもらうことで本業の顧客になり得る人々（留学志望者等）の情報を得ることなどが考えられる。

認知度があがればそれだけ潜在的な顧客が増えるので、調査でなかろうが何であれ、広報することに意味があると考えているのだと思う。

そう言えば、私のところにも以前、以下のようなメールが来た。

「書いてもいいですけど、でしたら集計済みデータじゃなくて生データが欲しいです」と答えたところ、断られてしまったのでこの話は立ち消えになった。「研究者に生データは提供しない、でも何か書いて欲しい」というのは、「正確な分析は期待しないけど、言及してほしい」ということで、要は認知度アップを主眼にしているのだろう。