2005年7月21日 (木曜日)

TOEICを大学で教える人たち:英語教師のTOEIC談義

あるパーティーで、テスト理論にやたら詳しいアメリカ人の先生(以下「US先生」)と、大学でTOEIC向けのコースを教えているイギリス人の先生(以下「UK先生」)に挟まれる格好で TOEIC 談義を聞かされ、なかなかいい勉強になりましたので、その内容をかいつまんでお伝えしようと思います。

その前に大学で TOEIC を教えるって、いったい何をやるんだというごもっともな疑問をいだかれた方のためにちょっと補足しますと、大企業の半分以上が TOEICスコアを重視するご時世ですから、大学側も放置するわけにもいかず、いわば就職活動の支援のために TOEICコースを設けているところが増えているのです。こんなもの大学でやらず、自助努力に委ねるべきだと思っています。私自身は。

問題は、このテスト自体、英語のスキルがあるかを直接テストするというのでなく、過去の受験者を含めた受験者全体の中でどのあたりに位置づけられるかを統計学的手法で推理するものだということです。自動車免許の試験なら実際に車を運転させて直接、テストするわけですが、こうした間接的なテストは、択一問題などの正答率を通じて、この程度できるのだから、これまでテストを受けた人をずらりと並べた場合、このあたりのグループにランクされるだろうと決めているだけです。こうしたテストの性格上、特別な準備などできるはずもなく、練習問題を解かせてその解説をするといった域を出ていないというのが私の理解です。

要するに受験者の英語力全般の底上げを通じてスコアアップを手伝っているにすぎません。ですから、こんなコースにネイティブスピーカーを使うのはもったいない限りです。しかもそのネイティブスピーカーの多くが内心このテストを馬鹿にしているのが実情です。まともに英語を話したり書くことができない、担当クラスの学生が結構いいスコアを出すから無理もありません。

本題に戻って、TOEIC の先生たちの話です。US先生は日本に来てまだ日が浅く、TOEICブームに目を白黒させているタイプです。それなのに、初めて担当する大学での授業が TOEICコースというのですから、皮肉なものです。そもそも日本に来るまでTOEICを耳にしたこともなく、英語能力の検定なら IELTS (International English Language Testing System) がいいに決まっているという姿勢で凝り固まっている人ですから、TOEIC をやれと言われてさぞや驚いたことでしょう。

ケンブリッジ大学とブリティッシュ・カウンシルが共同運営しているIELTSは、15分のインタビューを含め4技能のすべてを3時間近くかけてテストするものです。オーストラリアは学生ビザの取得要件にしていますし(オーストラリアではTOEFLは通用しません)、ニュージーランドやカナダは移民を希望する人にこのテストを課しています。また、私自身、今回、はじめて知ったのですが、イギリス英語のテストではなく、北米バージョン、オーストラリア版、そして、何と南アフリカ版までそろっているそうです。

日本では知名度の低いIELTS(US先生は"eye-ELts"と発音していました)ですが、アメリカもTOEFL一辺倒というわけでなく、全米で300を超える大学がIELTSによる評価を受け入れて入学の可否を判定していると言います。

ちなみにIELTSの9段階評価のうち5レベルがどの程度かをwww.ielts.orgで調べてみると、こう言っています。Has partial command of the language, coping with overall meaning in most situtions, though is likely to make many mistakes. Should be able to handle basic communication in own field.(英語を不完全ながら使うことができ、ほとんどすべての状況において大体の意味をつかみながら対処できるが、多数のミスをおかしがち。自分がわかっている分野でなら基本的コミュニケーションをこなせる)

一方、UK先生はTOEICのコースを担当しているというのに、TOEICがどういったテストかに格別興味がなく、基本的によくわかっていないという豪傑。一つだけ、繰り返し言っていたのが、写真問題のバカバカしさ。私は見たことがないので、よくわかりませんが、とても大人がやるものではないと不満たらたらでした。

あの写真のどこがビジネスなんだと驚くような、そういったとぼけた写真に、これまたとぼけたコメントがいくつか付いており、TOEICをビジネス英語のテストと勘違いしている人たちの気が知れないと言うのです。

★ TOEICはやはり「標準テスト」の一種

話はUS先生がTOEICコースを専門にしているUK先生をからかって、君が一生懸命やればやるほど、そして成功していくほど、君は失業の危険が高くなるよねと水を向けたところから始まりました。US先生が言いたかったのは、TOEICの根底にある、受験者の得点分布をもとにした正規分布曲線(釣り鐘の形をしている、いわゆるベルカーブ)においては、サンプルつまり個々の受験者の英語力にばらつきがあることが前提ですから、みんなが同じような勉強をして粒がそろってしまったら統計的に破綻してしまうということです。

なるほどと思ったのは、テストの作成業者というのは、最初から得点分布がベルカーブを描けるような出題をするのだそうです。つまり大多数が平均点を取って、ベルのまんなかの部分に集まるようにする一方で、ベルのすそ野に来る低スコア組と高スコア組が少数になるように計らうということでした。このため、アメリカで行われている子供の学力測定テストの例で言えば、受験者の4割から6割が正答するような「ほどほどの」問題を選んで出題しているのだそうです。標準テストというのは、何が何でも受験者の得点を「分布させる」という不思議なテストです。

言い方を変えれば、TOEICで毎回満点を取る人を10万人集めてテストをした場合でも、少なくともその半分の5万人はベルカーブの中心線より左の領域、つまり平均以下の領域に来る運命にあるということです。この種の標準テストのおもしろくもあり、悲しくもある現実を見る思いがします。

もう一つおもしろかったというか、言われてみれば当然のことですが、統計学的手法によるテストである以上、必ず誤差はあるという話です。US先生が見るところ、TOEICのスコアの誤差はプラスマイナス25から30ぐらいだそうですから、前回と比べてプラスマイナス30程度の違いなら誤差の範囲内でしかなく、一喜一憂すべきではないということになります。

そうとすれば、海外派遣の条件として730というスコアを求めている会社の場合、前回700点だった従業員が今回730になったということで海外に派遣してしまうのは、考えものです。前回との点差として100程度は求めないと話にならないと思います。

★ TOEICの985点は1問だけ間違えたということではない

テスト理論の進化と言うべきなのか、研究が進んでいることを知らされたのは項目反応理論 (item response theory)の話です。ことは、UK先生が、自分のクラスの学生が前回700点だったのに、今回、600点の前半までスコアが落ちたけれど、そういったことはありうるのかと質問したのに対して、US先生が、それはおかしいなと応じて始まりました。

前回の成績と今回の成績とでばらつきがあるとテストの信頼性を左右するということで、TOEICは、item response theory(項目反応理論)というものを取り入れているのだそうです。何問中何問に正答したかという正答数での評価ではなく、受験者の英語力と問題の難易度を別々に捉えた上、受験者のパフォーマンスをどの程度の難易度の問題につきいくつ正しかったのか、あるいは、間違っていたのかという「フィルター」にかけて評価するようなものだとの説明でした。

実際には様々なバージョンがあるものの、基本的には難易度の高い設問に正答した方が易しい設問に正答したときに比べより高い点が得られるようにしてあるそうです。項目反応理論が活かされていない標準テストだと、中学生が自分の英語の期末テストで80点取ったケースも、大学生が歴史の期末で80点とっても、最終的な評価としては同じ扱いになるのに対して、項目反応理論が使われていると、設問のむずかしさが反映されて、大学生の80点の方がより高い最終評価に結びつくということになります。

このように、各人の得点が項目反応理論によるフィルターで処理されるという2段がまえの評価法によっている関係から、「990満点で、5点きざみだから、自分の点が985点だということは、1問間違えただけ」という論法が通用しなくなります。1問5点という単純な配点では、上の項目反応理論を使った複雑なスコア評価ができなくなってしまうわけで、そう簡単ではないようです。実際、UK先生のクラスの学生には、リスニングで数問間違えたにもかかわらず満点を取れた人がいるそうです。いよいよもって不思議なテストです。

また、項目反応理論に基づく評価であることから、今回は問題が難しかったので、いい点数が取れなかったという論法も通用しないということでした。毎回異なるレベルのグループが受験していても、スコアに不合理な変動が生じないよう、毎回のテストごとに問題は違っていても、評価基準がぶれないようにできるのがこの数理モデルのいいところだというのです。

★ さいごに

こうして解説を聞いてみると、たしかに統計学的手法を用いた標準テストとしては、完成度が高いという印象は受けます。しかし、英語を素材にその人をテストしてみたところ、全体の中でこのあたりにランクされるという間接的な測定だというTOEICの本質に変わりはありません。ですから、今なお、TOEICは満点だけれど、電話一本ろくにこなせない、問い合わせのメールが書けないという人がいくらでもいるのです。

それよりも問題は、こうした限界を抱えているTOEIC一本でものごとを決めることに疑問を感じない社会になりつつあることです。TOEICのスコアが就職や昇進まで左右しうる時代になっていますから、おおごとです。

昔おとなしかった株主たちが今では必要とあれば株主代表訴訟を起こすような時代になりましたから、一方的にTOEICのスコアでふりまわされている人たちもいずれ牙をむく日が来るのかもしれません。

何しろ、アメリカでは、ベルカーブを前提とする標準テストでことを決めるのは人権侵害だという訴訟がたくさん起こされていますし、米教育省もスコアだけで入学や進級といった大事なことを決めてしまうのは不適当であるし、場合によっては、人権侵害になりうると言っているぐらいですから、いずれ … と、ここまで書いてから思い出しました。わが文部科学省は英語の教員にTOEICスコアでたしか730点をクリアせよと求めているんですよね。われらの税金で正しい方向を見いだし、そちらへと流れを向け変えるべきお役所がこれでは言うだけ無駄です。やめておきます。




anio-haori2anio-kimono2

今回の記事がよかったと思われた方、よろしかったら、これをクリックしてください。人気blogランキングへ

| | コメント (3) | トラックバック (0)

2005年5月20日 (金曜日)

TOEICを批判する人:企業はTOEICをどう位置づけているのか、それはどうあるべきなのか

このビジネス英語雑記帳の5月15日号の記事で、「TOEICをわかっていない人たち:TOEICのスコアに対する認識不足と誤解を憂う」というタイトルの下、TOEICがグローバルスタンダードであるかのように思われているけれど、日本と韓国の受験者が大半を占めている現状からそうは言えないこと、また、TOEICは英語でかかってきた電話に出られるのか、メールを書けるのかといった能力を測定するテストではなく、受験者の相対的レベルを毎回の受験者総数との関係で割り出すだけのテストであり、受験者全体のレベルが低ければ、どんぐりの背比べを数量化しているだけだという趣旨のことを申しあげました。

ついでに言うと、TOEICはアメリカで昔から実施されている世界的な英語検定のように誤解されているようですが、あれは日本人(故人ですが、北岡さんという方です)がアメリカのテスト作成業者である Educational Testing Services (ETS) に発注して作らせたもので、この点からも、グローバルうんぬんという見方は間違っています。ちなみに、ETSはよく非営利団体と称されていますが、事業目的が営利か非営利かは別として、事実としては、年商が6億ドルというビッグビジネスです。http://arbiter.wipo.int/domains/decisions/html/2004/d2004-0324.html

こういった思い込みが是正されないといつまで経っても日本人の英語は資格のための英語というレベルに留まり、外国人と交渉できるようなきちんとした実用英語の域に達さないだろうと心配でなりません。これで文部科学省あたりが何か手を打ってくれるのかと思いきや、何と、その後、このお役所が打ち出した「英語が使える日本人育成のための戦略構想」において英語教員の英語力の目標値がTOEICのスコアで730点以上とされていることを知り、愕然としました。英語教育の基本方針を定める役所からしてTOEICが英語力を測定するものではないことを見過ごしており、何とも悲しい限りです。

こんなことばかり言っていると、何か英語オタクの偏屈老人が勝手なことを言っているように聞こえるかも知れませんが、TOEIC一辺倒を問題視する人は私ばかりではありません。そこで、今回は、あまり日の目を見ないTOEICの批判的研究を紹介させてください。

★ TOEIC側の宣伝文句の検証

TOEIC批判の中で最も説得力があるのは北海道大学のMark Chapmanという方(以下「チャップマン」)がまとめられたペーパーだと思いますhttp://www.jalt.org/pansig/2003/HTML/Chapman.html。これはJALTつまり全国語学教育学会という語学教育の専門家集団が集まる場で発表されたもので、The role of the TOEIC in a major Japanese companyと題されています。どういう経緯での調査かまではわかりませんが、この研究報告は、創業90年、国内だけでも従業員数が約7万というかなりの大企業を対象に、その会社の従業員がどういった英語のスキルを必要としているのか、また、TOEICが社内でどのように位置づけられているのかを調査した結果がもとになっています。

この研究報告が説得力を有するのは、TOEICのスコアが高いのに会話ができないじゃないかといった見当違いの批判(5月15日号で指摘したとおり、TOEICは英語力を測定するものではありません)と異なり、TOEICの主宰団体自身が自分たちのウェブサイトに載せている宣伝文句や、TOEICからの依頼を受けて、TOEICの効果ないし効用を検証した研究者の調査結果を逐一、検証しているからです。

第一に、TOEICはリスニングとリーディングのテストしかないけれど、統計上なんたらかんたらでスピーキングとライティングの能力までチェックできるという宣伝文句が検証されています。例えば、TOEICのオフィシャルサイトwww.toeic.or.jpの中のFAQ集にも「TOEIC実施にあたって予めListeningとSpeaking、ReadingとWritingとの相関関係について検証し、それぞれが非常に高い相関関係を示すことから、ListeningとReadingのみの試験からSpeakingとWriting能力を含めた英語能力が測定できることを統計的に証明しています。そのため、TOEICはListeningとReadingのみで構成されています」とあるわけですが、これについて、チャップマン報告は、日本人285名を含む400名近いサンプルを対象としたTOEIC側のデータを検証して、スピーキングだけのテストを別途実施した場合、TOEICから推定されるスピーキング能力と結果が一致しそうだとは言えず、従って、社員の英会話能力を判定するのにTOEICだけに頼るのは、よりうる手段の中で最も正確なものを用いているとは言えまいとしています。

またこの流れの中で、Childsの研究報告(JALTが出したLanguage Testing in Japan (1995)所収のGood and bad uses of TOEIC by Japanese companies)を引用しながら、企業研修の中でのTOEICの扱いにも目を向け、次のような指摘をしています。第一に、TOEICは、研修の外注先を選別するため、グループ別の成果を比較することに使うことはできても、個別学習者の進捗度などを測定するのには不向きであること。第二に、英語の学習がどの程度進んでいるかを確認するためには、TOEICのように受験者集団の中での個別受験者の位置づけを割出すだけのテストは不十分で、これに加えて、一定の作業を満足すべきレベルでこなせるのかを見極めるテストで補完する必要があること。第三に、長期的に見た場合、英語がらみのニーズの多くは、TOEICではなく、自社固有の英語スキルを具体的にチェックするテストによって満たされるべきであること。

同様に引用されているHirai, M. (2002). Correlations between active skill and passive test scores.という研究報告は、TOEICスコアの意味あいを数字として出しており、興味深いものがあります。この研究は、TOEICのスコア、社員に対するインタビュー形式の試験結果、それとライティグ能力も判定される英語検定として定評のあるBusiness Language Testing Service (BULATS)のスコアを比較して相関係数を算出したもので、これによると、TOEICのスコアが400から650という中程度の学習者の場合、インタービューでのスコアとTOEICスコアとの相関係数はたったの0.49、また、BULATSのライティングテストとTOEICのスコアとの相関係数は0.66でした。一方で満点なら他方でも満点というのが相関係数1ですから、この相関係数が物語るTOEIC受験者の「実力」には考えさせられるものがあります。

チャップマン自身も調査対象とした企業の従業員169名を集めてインタービュー形式の試験を行い、その結果をTOEICスコアと対比しています。1989年にTOEICの作成業者であるETSが発表しているスピーキング能力とTOEICスコアとの相関係数は0.7だとのことですが、それと比べてチャップマンが手がけた調査の方では0.5から0.6という結果でした。

以上を踏まえて、チャップマンは、TOEIC外の独立した第三者による調査結果を見る限り、ETSがTOEICに関して主張している点を裏づけることはできなかったという結論に至っています。このことから、調査対象とした企業はTOEICを偏重しているのではないか、TOEICはスピーキングの測定において果たして信頼するに足るものかといった問題提起もしています。

★ 企業内での英語研修とTOEICの位置づけ

次のステップで、チャップマン報告は、企業は社員の英語力改善に向けどうしたらいいのかという問題を取り上げています。

英語ができるということは、いわゆる4技能、つまり「話し」「聴き」」かつ「読めて」「書ける」ことができなければならないわけで、理想を言えば、これら4つのスキルを直接測定し、評価できるテストがあっって欲しいものです。しかし、実際は費用や手間から考えてそうも行かず、これに近いテストを追求するということになります。

この点、チャップマン報告は、あるテストがその意図通りのものを測定していると証明できて初めてテストとして「使える」のだという構成概念妥当性(construct validity)というものを持ち出し、これに照らして果たしてTOEICだけでコミュニケーション能力を評価できるのだろうかと切り出します。

その上で、調査対象企業のような国際的ビジネスの場合、社員の英語力中、測定されるべきものは、話す能力と書く能力だろうと守備範囲を見極めてから、テストには「直接的に測定されるべき技能を有しているかを見るべく、その技能を披露してもらう」直接的テストと「テストの結果が実際の、あるいは、いつものパフォーマンスとは異なるものと観念される」間接的テストがあるとした上で、アーサー・ヒューズの著作を根拠に、間接的テストが測定しようとするものは、テスト実施者が関心を持っているスキルそのものではなく、その背後に横たわっている能力に留まるという点に注意を喚起しています。そして、作成業者であるETS自身、TOEICはコミュニケーション能力を間接的に測定しようというものであると言っているのだから、コミュニケーション能力を直接測定しているわけではなく、効果的コミュニケーションに必要な前提としての能力を測定しているだけだと言い切っています。

こうした見地から、企業は、TOEICだけに頼って海外派遣要員を決めたりすると、海外事業において無形の損失ないし不利益を被る結果にもなるし、また、英語のできない社員に対して、業務に役立つ英語のスキルを身につけようという動機づけとなるようなテストが必要であることを考えると、直接的テストの導入に取り組むべきだと説いています。

話は、前回、取り上げた集団参照的テストと基準参照的テストの違いにも及び、TOEICのような集団参照的テストはある従業員が他の従業員との関係で相対的にどの程度できるのかを見定める上では役立つかも知れないが、従業員が英語で何ができるかを測定したいなら、基準参照的テストによる方が確実だと強調しています。TOEICを通じてある従業員が、一緒に受験した従業員のグループの中で上位20パーセントに入っていることがわかったとして、会社のためにその授業員がどういったことができるかはわからないから、直接スキルの有無・程度を測定するテストを少なくとも併用すべきだということです。

★ まとめ

チャップマンが得た結論は2点です。第一に、調査対象とした事業会社の場合、TOEIC偏重の結果、十分なコミュニケーション能力を備えていない人が海外に派遣され、無形の損失を被る可能性のあること。第二に、スピーキングとライティングの能力を直接測定し、評価するテストが導入されるべきこと、の2点です。

その一方で、チャップマンは、TOEICスコアを参照しながら部下の昇進などを左右する管理職が英語検定の本質を的確に理解してくれることを望むのはむずかしいだろうし、知名度の低いテストを果たして受け入れるだろうかといったことにも触れています。何と言っても、英語のことなんかわからなくても、TOEICのスコアが850なら高得点で、350なら低得点である程度のことはわかりますし、社内の平均が650といった数字があれば、ますます納得できるわけで、こういった背景から、The TOEIC mentality is entrenched in the company and changing it will not be simple.(何でもTOEICといった感覚は会社内にすっかり定着しており、これを変えるのは容易ではない)と言っています。同感である共に、ため息が出ます。

こうしたなか、日々TOEIC受験指南を目的とするサイトやブログが増え続けていますが、そういったものをのぞくと、TOEICは英語力の基準だとか、実践的英語の力をつけるのにもってこいといった記述ばかりです。聖書に、If the blind leads the blind, both shall fall into the ditch.という一節がありますが、この底知れぬ穴に次々善男善女が吸い込まれていくのを見る思いがすると共に何とかしなければとの思いにも駆られます。

kurofuku_a

この記事、いかがでしたか?よろしかったら、応援の一票をお願いします。人気blogランキングへ

| | コメント (0) | トラックバック (0)

2005年5月15日 (日曜日)

TOEIC好きのTOEIC知らず:TOEICのスコアに対する認識不足と誤解

資格のための英語を社内標準としているのをやめて、実際に仕事をこなすために必要な普通の英語に目を向けて欲しいとの思いから、be208 [注記] の導入を働きかけるべく、つてを頼って様々な大手企業へのアプローチを続けています。その関係で、企業の研修担当者にお目にかかる機会が多いのですが、英語研修の担当者ですら、あの有名なTOEICがどういうものであるかよくおわかりでないか、あるいは誤解しているふしがあり、気になります。ふと思うに、スコアアップを期して何度も受験している方々も、特別、このテストの特殊性など考えたこともないのではないでしょうか。

[注記:be208というのは、私が実用英語の決まり文句を6分野に整理してまとめたパッケージで、右のサイドバーでご紹介している各種プロダクトを通じて既に9万人以上の利用実績があります]

★  TOEICは日本と韓国だけで有名な英語テスト

まず最大の誤解はTOEICが国際的な英語検定ないしはグローバルスタンダードであるかのように受け止められていることでしょう。事実、訪問した企業で、こう言われたりするのです。TOEICはグローバルスタンダードなのに、あなたのbe208とやらは、グローバルどころか国内でも認知度がない云々といったことを。それだけ、余計カチンと来ているのは認めざるを得ません。

しかし、それはともかく、TOEICが世界的に通用している著名な英語検定かのように言うのは間違っています。日本と韓国での受験者が総数の9割以上というものを指して、グローバルスタンダードとは言えないからです。(この点、詳しくは、「TOEICは国際社会に通用しない」という記事をご覧ください。 書いてらっしゃるのは、驚くことに、TOEIC受験界で神様のように言われている中田達也さんその人です)実際、大学で英語を教えているようなネイティブスピーカーの中でも、日本に来てまだ日の浅い人々の感覚からすると、「日本で偉くはやっているTOIECとか言うテスト、あれって何?」程度の知名度でしかないのです

★ TOEICはただの相対評価

もう一つ何だか変だな、わかってないんじゃないと感じさせられるのは、「うちの海外部門の人間はTOEICが大体800とか900以上なのに、電話一本満足にこなせないのがいっぱいいる」とぼやく方がいらっしゃることです。こう嘆くこと自体に、TOEICという試験の性格に対する認識不足が現れています。何よりも困るのは、嘆く人が街頭インタビューで答えているようなフツーの人ではないことです。聞けば誰でも知っているような有名企業の総務や研修の責任者がそんなことを言うのですから、驚きます。いや、がっかりします。

どういうことかと言うと、英語のテストにはTOEICのように受験者の相対的位置づけをするに留まるものと、直接、英語がどの程度できるかを測定するものとがあり、本来、両者は区別して論じられるべきものなのに、実際は、それが一緒くたにされているというケースがほとんどなのです。

そもそもテストには、おおざっぱに言って二種類、メジャーなものがあります。TOEICのようなものは、英語のnorm referencedの直訳で、集団基準準拠とか集団参照的と称される区分に属し、他の受験者との関係で、つまりは受験者全体との関係で個々の受験者がどのあたりに位置づけられるのかを見るために行われます。この種のテストでは「その言語を用いてどんなことができるのかについての情報は直接には得られない」のです(アーサー・ヒューズ著 静 哲人訳 『英語のテストはこう作る』研究社、2003年)。従って、TOEICのスコアを引き合いに出して、英語で電話やメールをこなせないと嘆くのは見当違いもいいところです。

ここで出てくる集団基準というのは、要するに受験者全員の得点分布を正規分布曲線(以下「ベルカーブ」)で表した上、その中で個別の受験者がどのあたりに位置するかを示そうというものです。ですから、TOEICを受けた人への成績通知上もリスニング(100問)とライティング(100問)の各得点、合計点、それにパーセンタイルなるものが記載されていると承知しています。

★ パーセンタイル

パーセンタイルというのは、得点を低い方から大きいほうに順にならべ、全体を100とした場合、下から何番目にあたるかを示したものです。ですから、海外赴任の資格要件とされるTOEICスコア730レベルの人の場合、パーセンタイルで言うと80あたりとなりますが、その人が受験した時の受験者総数の80%がその人よりも正答率が悪かったということです。逆に言えば上位20%内という意味です。

もっと乱暴に言ってしまえば、TOEIC 900点はパーセンタイルだと97%前後なので、1-0.97=0.03ということで受験者中30人に1人というレベル、TOEIC 950以上は大体99.7ぐらいとされているので、1-0.997=0.003ということで300人に1人という計算になります。

しかし、ここで考えておかねばならないのは、TOEICスコアは「あなたの英語は一緒に受験した人たちの中でこのレベル」と言っているだけで、後述するとおり、「あなたは英語で仕事をしていく上で必要なスキルをこれだけ身につけている」とは言っていないことです。趣味で受けている人、単なる資格マニアといった本来英語とは関係のない有象無象も受けたりしていますから、極論すれば、どんぐりの背比べの世界です。

ところで、TOEICファンがよく口にするパーセンタイルという言葉が統計用語であることに示されるとおり、TOEICのスコアは統計的処理を前提としています。そこで、以下のように、われわれの直感ないし常識的感覚からはわかりにくい技術的側面があります。(以前、証券・金融関係の翻訳をやっていた折、ファンド(投資信託)の運用成績がらみでやたらパーセンタイルやらクォータイルなるものにつきあわされ、おかげで妙な雑学が頭に残ってしまいました。)

a) 全部が全部やさしい問題というのでは、97パーセンタイルと98パーセンタイルとの差がつかず、収拾がつかなくなりますから、どこかにむずかしい問題を入れるのが普通だそうです。いわゆる引っかけというやつのことでしょう。

b) 釣り鐘のような形のベルカーブに即して統計的に処理されますので、毎回必ず半分の人は、成績においても半分以下という烙印をおされます。

c) 各パーセンタイルは同格というものではなく、ベルカーブの真ん中あたりに位置する25パーセンタイルから75パーセンタイルにかけての領域では、18ポイント未満の動きは統計上、意味がないのだそうです。これに対して、88から99パーセンタイルの領域内では、6ポイントも動いたら大変大きな意味があるということです。と言うことは、真ん中の50前後のところでは、ちょっとしたことで意外とランクが大きく動くのに、上位部分では同じ努力量でも「統計の壁」に阻まれて数字として現れにくく、以前、中級者レベルで大幅ランクアップを確保したときと同じぐらいの出来だったのに、なまじっか成績上位者のグループにいると、なかなか上に行けないことにもなります。

c) どのように測定が行われるが研究され、いわゆる試験対策が行われるようになるに応じ、その試験自体の 信頼性、有用度が低下してきます。

d) 人為的に区切ったランク付けが行われるので、例えば、TOEICのリスニング100問中、数問程度間違っても、リスニング部門の成績としては満点とされることがあり得ます。(TOEICの採点評価の実務は知りませんが、ファンドの成績を収益率、安定性(年度別の変動比)など数項目で評価するようなとき、部門別のスコアリングにおいて、こういったことが実際にあります)

e) ある人の得点が985で、パーセンタイルのランクでは100.0なのに、それより上の990点の人がいるといった不思議なことも起きたりするようです。

以上がTOEICスタイルのテストの話ですが、これと対照的な、もう一つのテストのスタイルは、これも英語のcriterion referencedの直訳で、目標基準準拠とか基準参照的と称されます。TOEIC型が受験者の相対的位置づけしか測らないのに対して、こちらは、「一定の作業を満足すべきレベルでこなせるのかを見極める」テストです。言語テストではありませんが、自動車の運転免許試験などはその代表例でしょう。また、電話での応答例といった出題内容が事前にわかっていて、これにつき7割の正答率を求めるbe208検定などがこれに当たります。

要するに企業の関係者の中には、TOEICがグローバルスタンダードであるかのように思っている人がいるけれども、日本と韓国の受験者が大半を占めている現状に照らし、そうは言えないということです。また、TOEICは英語でかかってきた電話に出られるのか、メールを書けるのかといった能力を測定するテストではなく、受験者の相対的レベルを過去の受験者が描く正規分布曲線との関係で割り出すだけだということです。

もとよりTOEICを否定する気持ちはありません。英語好きの人や実用英語の習得を目指している人が自分の「現在位置」につきおおよその目安を得て、つまりマイルストーン(里程標)として利用し、自分の総合的英語力を確かめ、次のステップへとつなげる上で不可欠だとも言えます。

ところが、残念なことに多くの人は、TOEICのスコアアップだけを目標にしています。しかし、TOEICで満点を取ったところで、そのこと自体に大きな意味はないのです。単にそのときの受験者の中で最高レベルにあるというだけのことで、「どんぐりの中のどんぐり」という栄に浴した程度の話です。

★ TOEICのスコアは通用する英語力のスコアに非ず

斉藤兆史先生が『英語襲来と日本人』の中で「いまの日本が必要としているのは、エリート母語話者を向うに回して政治・外交・文化を議論しても互角以上に渡り合える英語の使い手である。そのような英語達人を一人でも多く育成することが英語教育の急務」であると述べてらっしゃいますが、私もそのとおりだと思っています。だからこそ、自分の英語に関する知識・経験のすべてを勉強している方々にお伝えすべく、このブログの記事を書いているのです。ガイジンと友達になれればいいといったレベルの人は最初から相手にしているつもりはありません。英語できちんと仕事のできる人間を少しでも応援したい、増やしたいとの思いから書いているのです。

ところが現状は、ただただTOEICのスコアアップを願って受験を繰り返す大学生、社会人と言い、TOEICの何たるかもよくわからないままTOEICを唯一最大の指標にしている企業関係者と言い、展望が開けません。これに加え、本来、自動車の運転と同じくスキルの一つでしかない英語を教養の一部と捉え、あるいは修行の道と間違えて、あらぬ方向に駆け出したまま戻ってこない人々が増え続ける一方です。そうだと言うのに、うっかり親切で道を踏み誤っている人を助けようとすると、手をさしのべても、払いのけられてしまいます。

実際、こんなことがありました。自分では実用英語を目指しているつもりなのに、教養英語ないし資格英語とでも言うべき摩訶不思議な世界に染まっている人を引き戻してあげようと、信仰の道なら写経もいいけれど、そうじゃんないだから、役に立たないものをいくら書き写しても効率が悪いですよと注意してあげたところ、一生懸命書き写しながら勉強している人の気持ちを察してあげなさい、それでも教育者なのかといった抗議が来たのです。がっかりします。

そうは言うものの、数こそ少ないけれど、社会に蔓延している試験のための英語、資格のための英語に毒されていない人々がいるのも事実なので、こういった方々をお手伝いしながら、心ある方々からの支持の拡大を待つことにします。

banner_03

手応えを確かめながら書いておりますので、恐縮ですが、この記事がよかったと感じられた方、一票投じていただけるとうれしいことです。人気blogランキングへ

| | コメント (2) | トラックバック (1)

2005年4月18日 (月曜日)

TOEIC高得点者の弱点を補うビジネス英語本

記事のタイトルは、石倉由さんという方のブログにあった記事のタイトル「おすすめビジネス英語本 TOEIC高得点者の弱点を補う」から取らせていただきました。記事は、http://ish.parfe.jp/mt/archives/000891.htmlにあるのですが、アーカイブに入っているためか、試したかったトラックバックができませんでした。残念です。

さて、石倉さんによる拙著に対する評価ですが、まずは

「これができればなんとかなる」「これができないと話にならない」という必要十分なパターン208に絞って徹底反復させるものです。来客応対、電話、会議、交渉、プレゼン、ライティング、の必須6分野をバランス良くカバーしています。

と、切り出し、次いで、

それだけなら類書がいくらでもありそうですが、この本の良いところは、「なぜこの言い回しなのか」を徹底して解説しているところです。別パターンと比較から、「なぜここは定冠詞であって不定冠詞ではないのか」「willをwouldにすることでどう変わるのか、willではダメなのか」「なぜここは過去進行形なのか、過去形にするとどう意味が変わるのか」等々、偏執的なまでに読者の疑問に先回りして詳細な説明が付けられているのです。時にしつこすぎてうっとうしくなるくらいです。

と、内容というか特徴を的確につかんでくださっています。著者冥利に尽きるというものです。本を書いている以上、様々な評価にさらされますが、正鵠を射ると言うんでしょうか、ここまで著者の意図をつかんでくださった方はいらっしゃいません。偏執うんぬんの部分もまさにそのとおりで、編集者がもういいのではと言うのを、重要だから是非と繰り返させてもらっているのです。

他面、「TOEIC高得点者の弱点を補う」という見方は、このこと自体は別段意識していなかったことですが、実は、慶応義塾外国語学校の特別講座として設置されているBusiness English 208の受講生の大半がこの検定でのスコアが800以上で、900台の方もざらという事実を言い当てています。興味深いことだと思いました。みなさん、仕事で英語を使っている方が大多数を占めますが、自分のスコアはこんなに高いのに、英語だと電話一本とれない、問い合わせのメールも、書き出すことすらできないとがっかりして、このコースで出直しを期しているのです。

機会を改めて書きますが、英語の資格と英語の実力とはまるで別世界の話であることにほとんどの人が気づかないままでいます。生け花その他の習い事でご立派な資格をとっているのに、本人はアーティスティックという雰囲気からほど遠く、着ているものもセンスがないということがあります。あれとよく似ています。

くろふく


kurofuku_a

この記事、いかがでしたか?このリンクをクリックしてくださると、執筆意欲のモトになっている人気ブログランキングに一票入ります。深夜零時に再スタートするしくみなので、前回、投票してくださった方も、新たな一票をお願いします。どうぞよろしくお願いします。人気blogランキングへ

| | コメント (0) | トラックバック (2)