TOEICを大学で教える人たち:英語教師のTOEIC談義
あるパーティーで、テスト理論にやたら詳しいアメリカ人の先生(以下「US先生」)と、大学でTOEIC向けのコースを教えているイギリス人の先生(以下「UK先生」)に挟まれる格好で TOEIC 談義を聞かされ、なかなかいい勉強になりましたので、その内容をかいつまんでお伝えしようと思います。
その前に大学で TOEIC を教えるって、いったい何をやるんだというごもっともな疑問をいだかれた方のためにちょっと補足しますと、大企業の半分以上が TOEICスコアを重視するご時世ですから、大学側も放置するわけにもいかず、いわば就職活動の支援のために TOEICコースを設けているところが増えているのです。こんなもの大学でやらず、自助努力に委ねるべきだと思っています。私自身は。
問題は、このテスト自体、英語のスキルがあるかを直接テストするというのでなく、過去の受験者を含めた受験者全体の中でどのあたりに位置づけられるかを統計学的手法で推理するものだということです。自動車免許の試験なら実際に車を運転させて直接、テストするわけですが、こうした間接的なテストは、択一問題などの正答率を通じて、この程度できるのだから、これまでテストを受けた人をずらりと並べた場合、このあたりのグループにランクされるだろうと決めているだけです。こうしたテストの性格上、特別な準備などできるはずもなく、練習問題を解かせてその解説をするといった域を出ていないというのが私の理解です。
要するに受験者の英語力全般の底上げを通じてスコアアップを手伝っているにすぎません。ですから、こんなコースにネイティブスピーカーを使うのはもったいない限りです。しかもそのネイティブスピーカーの多くが内心このテストを馬鹿にしているのが実情です。まともに英語を話したり書くことができない、担当クラスの学生が結構いいスコアを出すから無理もありません。
本題に戻って、TOEIC の先生たちの話です。US先生は日本に来てまだ日が浅く、TOEICブームに目を白黒させているタイプです。それなのに、初めて担当する大学での授業が TOEICコースというのですから、皮肉なものです。そもそも日本に来るまでTOEICを耳にしたこともなく、英語能力の検定なら IELTS (International English Language Testing System) がいいに決まっているという姿勢で凝り固まっている人ですから、TOEIC をやれと言われてさぞや驚いたことでしょう。
ケンブリッジ大学とブリティッシュ・カウンシルが共同運営しているIELTSは、15分のインタビューを含め4技能のすべてを3時間近くかけてテストするものです。オーストラリアは学生ビザの取得要件にしていますし(オーストラリアではTOEFLは通用しません)、ニュージーランドやカナダは移民を希望する人にこのテストを課しています。また、私自身、今回、はじめて知ったのですが、イギリス英語のテストではなく、北米バージョン、オーストラリア版、そして、何と南アフリカ版までそろっているそうです。
日本では知名度の低いIELTS(US先生は"eye-ELts"と発音していました)ですが、アメリカもTOEFL一辺倒というわけでなく、全米で300を超える大学がIELTSによる評価を受け入れて入学の可否を判定していると言います。
ちなみにIELTSの9段階評価のうち5レベルがどの程度かをwww.ielts.orgで調べてみると、こう言っています。Has partial command of the language, coping with overall meaning in most situtions, though is likely to make many mistakes. Should be able to handle basic communication in own field.(英語を不完全ながら使うことができ、ほとんどすべての状況において大体の意味をつかみながら対処できるが、多数のミスをおかしがち。自分がわかっている分野でなら基本的コミュニケーションをこなせる)
一方、UK先生はTOEICのコースを担当しているというのに、TOEICがどういったテストかに格別興味がなく、基本的によくわかっていないという豪傑。一つだけ、繰り返し言っていたのが、写真問題のバカバカしさ。私は見たことがないので、よくわかりませんが、とても大人がやるものではないと不満たらたらでした。
あの写真のどこがビジネスなんだと驚くような、そういったとぼけた写真に、これまたとぼけたコメントがいくつか付いており、TOEICをビジネス英語のテストと勘違いしている人たちの気が知れないと言うのです。
★ TOEICはやはり「標準テスト」の一種
話はUS先生がTOEICコースを専門にしているUK先生をからかって、君が一生懸命やればやるほど、そして成功していくほど、君は失業の危険が高くなるよねと水を向けたところから始まりました。US先生が言いたかったのは、TOEICの根底にある、受験者の得点分布をもとにした正規分布曲線(釣り鐘の形をしている、いわゆるベルカーブ)においては、サンプルつまり個々の受験者の英語力にばらつきがあることが前提ですから、みんなが同じような勉強をして粒がそろってしまったら統計的に破綻してしまうということです。
なるほどと思ったのは、テストの作成業者というのは、最初から得点分布がベルカーブを描けるような出題をするのだそうです。つまり大多数が平均点を取って、ベルのまんなかの部分に集まるようにする一方で、ベルのすそ野に来る低スコア組と高スコア組が少数になるように計らうということでした。このため、アメリカで行われている子供の学力測定テストの例で言えば、受験者の4割から6割が正答するような「ほどほどの」問題を選んで出題しているのだそうです。標準テストというのは、何が何でも受験者の得点を「分布させる」という不思議なテストです。
言い方を変えれば、TOEICで毎回満点を取る人を10万人集めてテストをした場合でも、少なくともその半分の5万人はベルカーブの中心線より左の領域、つまり平均以下の領域に来る運命にあるということです。この種の標準テストのおもしろくもあり、悲しくもある現実を見る思いがします。
もう一つおもしろかったというか、言われてみれば当然のことですが、統計学的手法によるテストである以上、必ず誤差はあるという話です。US先生が見るところ、TOEICのスコアの誤差はプラスマイナス25から30ぐらいだそうですから、前回と比べてプラスマイナス30程度の違いなら誤差の範囲内でしかなく、一喜一憂すべきではないということになります。
そうとすれば、海外派遣の条件として730というスコアを求めている会社の場合、前回700点だった従業員が今回730になったということで海外に派遣してしまうのは、考えものです。前回との点差として100程度は求めないと話にならないと思います。
★ TOEICの985点は1問だけ間違えたということではない
テスト理論の進化と言うべきなのか、研究が進んでいることを知らされたのは項目反応理論 (item response theory)の話です。ことは、UK先生が、自分のクラスの学生が前回700点だったのに、今回、600点の前半までスコアが落ちたけれど、そういったことはありうるのかと質問したのに対して、US先生が、それはおかしいなと応じて始まりました。
前回の成績と今回の成績とでばらつきがあるとテストの信頼性を左右するということで、TOEICは、item response theory(項目反応理論)というものを取り入れているのだそうです。何問中何問に正答したかという正答数での評価ではなく、受験者の英語力と問題の難易度を別々に捉えた上、受験者のパフォーマンスをどの程度の難易度の問題につきいくつ正しかったのか、あるいは、間違っていたのかという「フィルター」にかけて評価するようなものだとの説明でした。
実際には様々なバージョンがあるものの、基本的には難易度の高い設問に正答した方が易しい設問に正答したときに比べより高い点が得られるようにしてあるそうです。項目反応理論が活かされていない標準テストだと、中学生が自分の英語の期末テストで80点取ったケースも、大学生が歴史の期末で80点とっても、最終的な評価としては同じ扱いになるのに対して、項目反応理論が使われていると、設問のむずかしさが反映されて、大学生の80点の方がより高い最終評価に結びつくということになります。
このように、各人の得点が項目反応理論によるフィルターで処理されるという2段がまえの評価法によっている関係から、「990満点で、5点きざみだから、自分の点が985点だということは、1問間違えただけ」という論法が通用しなくなります。1問5点という単純な配点では、上の項目反応理論を使った複雑なスコア評価ができなくなってしまうわけで、そう簡単ではないようです。実際、UK先生のクラスの学生には、リスニングで数問間違えたにもかかわらず満点を取れた人がいるそうです。いよいよもって不思議なテストです。
また、項目反応理論に基づく評価であることから、今回は問題が難しかったので、いい点数が取れなかったという論法も通用しないということでした。毎回異なるレベルのグループが受験していても、スコアに不合理な変動が生じないよう、毎回のテストごとに問題は違っていても、評価基準がぶれないようにできるのがこの数理モデルのいいところだというのです。
★ さいごに
こうして解説を聞いてみると、たしかに統計学的手法を用いた標準テストとしては、完成度が高いという印象は受けます。しかし、英語を素材にその人をテストしてみたところ、全体の中でこのあたりにランクされるという間接的な測定だというTOEICの本質に変わりはありません。ですから、今なお、TOEICは満点だけれど、電話一本ろくにこなせない、問い合わせのメールが書けないという人がいくらでもいるのです。
それよりも問題は、こうした限界を抱えているTOEIC一本でものごとを決めることに疑問を感じない社会になりつつあることです。TOEICのスコアが就職や昇進まで左右しうる時代になっていますから、おおごとです。
昔おとなしかった株主たちが今では必要とあれば株主代表訴訟を起こすような時代になりましたから、一方的にTOEICのスコアでふりまわされている人たちもいずれ牙をむく日が来るのかもしれません。
何しろ、アメリカでは、ベルカーブを前提とする標準テストでことを決めるのは人権侵害だという訴訟がたくさん起こされていますし、米教育省もスコアだけで入学や進級といった大事なことを決めてしまうのは不適当であるし、場合によっては、人権侵害になりうると言っているぐらいですから、いずれ … と、ここまで書いてから思い出しました。わが文部科学省は英語の教員にTOEICスコアでたしか730点をクリアせよと求めているんですよね。われらの税金で正しい方向を見いだし、そちらへと流れを向け変えるべきお役所がこれでは言うだけ無駄です。やめておきます。
・
・
・
今回の記事がよかったと思われた方、よろしかったら、これをクリックしてください。人気blogランキングへ
| 固定リンク | コメント (3) | トラックバック (0)