「評価」によって歪められる理系と文系
KPI至上主義とゲーム化する研究
グローバリゼーションや気候変動、社会の分断、戦争など、多くの複雑に絡み合った「やっかいな課題」を前にして、アカデミアの役割を問い直し、新たな知のフレームワークを探っていく特集「文理のエコロジー」。
今回は「評価」から見える文理の違いについて取り上げる。デジタル庁の評価をはじめ、政府関連の委員などを数多く歴任してきた国立情報学研究所の佐藤一郎教授は、大学ランキングや論文の被引用数、外部資金獲得額といった、私たちが当たり前のように使っている「評価指標」が、実は理系に有利であると指摘する。政府の評価委員会などでの経験をもとに、「評価」がもたらす文理の非対称性と研究活動の「ゲーム化」の実態に迫る。
編集:田井中麻都佳
いただいたお題は「理系と文系」です。理系と文系の違いを鮮鋭化することに建設的意味があるとは思えません。一方、理系と文系というカテゴライズに対する批判も、すでに多くの方々がなされています。そこで今回は、「評価」という観点から理系と文系を概観してみることにします。というのも、私は理系分野のコンピュータサイエンス、または情報学の分野の研究者なのですが、霞が関(政府)の検討会などに関わることも多く、法学系の学術雑誌に論文を寄稿することもたびたびあるためです。さらに理系から文系、芸術系まで多数の競争的研究助成や奨学金の審査に関わっており、デジタル庁の「デジタル庁政策評価・行政事業レビュー有識者会議(旧事業仕分け)」の座長をはじめ、いくつかの研究開発法人および大学の外部評価委員も務めた経験があります。こうした経験を踏まえて、「評価」から見える文理の違いについて述べたいと思います。
なぜ文系は評価で不利になるのか
いま世の中は理系偏重の傾向があり、「理系は役立つが、文系は役立たない」といった極端な論調も少なくありません。こうした論調には思い込みも多く含まれていますが、大学や研究機関においても、論文数・被引用数や外部資金の獲得額などの評価指標で理系が高くなる傾向があります。だからといって、これによって理系を偏重すべきという根拠になるとは言い難いのです。
というのも、学術に関する現在の定量的評価指標、たとえば被引用数、インパクトファクター、外部資金額、特許件数などは、いずれもそもそもが理系に有利だからです。理系の中でも分野によって違いますが、特に文系には不利です。たとえば文系では研究発表の手段として論文より書籍を重視する分野があり、その場合は当然、論文の被引用率やインパクトファクターは低くなります。
評価の時間軸も理系有利になっています。理系の中でも生命科学・医学分野では論文の被引用数のピークはその発表後2〜3年とされ、5年後以降は被引用数が大きく減る傾向にあります。一方、文系の場合は、被引用ピークが遅く、10年、20年と引用され続ける論文も少なくありません。これにより、大学の理系学部・学科や理系の研究機関に在籍している文系の研究者は、理系の時間軸に基づいて業績が評価されてしまうため、人事評価で不利になるという問題が起こりえます。総合大学でも学部間の不公平感につながります。
また、国立大学を含む多くの独立行政法人は5年間の中期計画を求められますが、文系の論文は前述のようにその期間中に被引用数が伸びるとは限りません。これは競争的研究助成の獲得額にも影響します。研究助成の申請では過去5年間の主要論文に加えて、その被引用数の提示が求められることがあります。仮に理系と文系の研究提案を同列に評価した場合、文系は理系と比べて見劣りしてしまいます。また、理系の場合でも、短期間での評価は研究者を長期的研究から遠ざける方向に誘導します。また、特許は理系でも分野によって取得のしやすさが異なり、ましてや文系には不利な指標といえます。
そもそも文系における研究成果は定量的評価に向かないといえます。たとえば法学における法解釈は司法判断や行政施策に大きな影響を与えますが、その影響を定量的に判断することは難しい。また、地域文化調査などは記録・保存すること自体が重要であり、定量的な価値に置き換えるのは簡単ではないでしょう。
2023年、科学技術基本法の振興対象に「人文科学のみに係る科学技術」を含める改正が行われました。理系の研究だけで社会的課題を解決できるとは限らないため、この改正そのものは適切といえますし、周囲の人文系の研究者たちは、科学技術向け研究助成が人文科学に振り分けられることを喜んでいました。ただ、その分、既存の人文科学向け研究助成が減らされる事態も想定されます。というのは、一部の研究助成が理系に加えて人文科学の応募も可能になったとしても、現状のように評価指標が理系有利のままであれば、審査でも理系からの提案が有利になり、結果的に人文科学向けの予算が減る可能性も考慮しておくべきです。
ゲーム化する研究と「グッドハートの法則」
一方、定量的指標による評価がしやすい理系も、必ずしも幸福な状況にあるとは言えません。グッドハートの法則(Goodhart's law)をご存じでしょうか。これは「ある指標が目標になると、その指標は良い指標ではなくなる(When a measure becomes a target, it ceases to be a good measure.)」というものです。多くの場合、指標が与えられると、その指標を上げることが目的化してしまい、他者よりも指標を上げるというゲームが起きやすくなります。特に研究者は、これまでの競争を勝ち抜いてきた優秀な人たちなので、指標を上げるための戦略をすぐに考え出して、ゲームを始めてしまう方々もおられるでしょう。
たとえば研究者の評価には、その研究者が執筆した論文の被引用数が用いられることが少なくありません。その被引用数が指標になると、研究そのものよりも、被引用数を上げることが目的となりがちです。ちなみに被引用数を上げる手法としては、簡単な手法として自分の論文で過去の自分の論文を過度に引用する手法があります。また、知り合い同士で引用し合う「引用カルテル」を形成する方々もおられるようです。
ところで論文は共著者が多いほど被引用数が増える傾向があります。というのは新しい論文を執筆する際、研究者は自身の過去論文に対する新規性や優位性を示すため、既発表論文を引用することが多いためですが、その被引用数が共著者全員に加算されることから、全員の利益になるのです。最近では、少人数で実施可能な研究でも共著者が過度に多い論文が見受けられますが、被引用数という指標が背景にあるのではないかと疑念を抱かざるをえません。
また、残念なことに、査読者が自身の論文への引用を条件として投稿論文の採録を認める「引用強要(coercive citation)」も珍しくありません。さらには被引用数は買うことができ、その兆候があるという指摘もあります[★01]★01。
なお、論文の被引用数が評価指標として最初から不適切だったわけではありません。しかし、前述のグッドハートの法則に従えば、指標が目標になると、研究者の行動は研究そのものより、その指標を上げることに最適化されてしまい、研究の本質が歪められてしまいます。たとえば被引用数を増やすために、引用されやすいトピックス、引用してくれる研究者が多い分野に関心が向かってしまい、新しい分野や境界領域のように研究者数が少なく、論文も少ない分野は敬遠されてしまいます。これは学会では調整が難しく、研究者を雇う大学や研究機関が対処すべき課題といえますが、大学によっては大学ランキングという指標を上げることに熱中してしまっており、指標に研究内容が誘導されてしまう状況を抑制することは難しいかもしれません。
KPI至上主義の弊害
大学や研究機関において定量的指標による人事、予算配分、政策決定が増えている背景には、企業においてKey Performance Indicator(KPI)が重用されており、それを大学や研究機関にも適用したいという動きがあります。企業は利益を上げ、株主価値を最大化するという明確かつシンプルな活動目的を持ち、評価期間も四半期などと短くてもよいので、KPIも設定しやすいのですが、大学や研究機関は活動内容や目的が多様であり、ましてや学術研究をKPIのような単純な定量的指標で測ることはできません。KPIは大学や研究機関の学術評価には適していないことは明白です。
しかし、行政を含めて評価する側が学術を多面的に評価する能力を持っているとは限りません。そうなるとはKPIという単純化された評価指標を大学や研究機関に求めることになってしまいます。また、大学の内部評価でも企業の評価手法しか知らない外部評価委員の中には、KPIが向かない評価対象であっても、KPIの設定と達成を執拗に求めることが起きえます。
その結果として、大学や研究機関はKPIを求められることに困惑しながらも、定量的に評価しやすい指標を無理に設定し、それをKPIとして掲げることになりますが、それが必ずしも良い結果につながるとは限りません。たとえば行政が大学に地域貢献に関するKPIを求めた場合、大学は地域文化調査のような本来行うべき活動であっても、それでは指標化しにくいため、地域住民向けの市民講座を取り上げ、その受講者数のように測りやすい指標をKPIに設定することになります。その結果、市民講座では受講者数を増やすために多額の謝礼を用意して、知名度の高いタレントなどを講師として招き、地域とも学術とも関係のない話題で講演をしてもらうといったことがおこりえます。そうすればたしかに受講者数というKPIは達成できますが、その多額の謝礼のために前述の地域文化調査の予算が減ってしまうという本末転倒な展開が起きるでしょう。この市民講座の例は当方の創作ですが、筆者が関わった評価でも極めて似たような事態を拝見したことがあります。
なお、KPIは企業においても弊害を生み出すことがあります。というのは、KPIは「(短期に)測れる部分」を研ぎ澄ます強力な手段ですが、測れない価値を縮ませる副作用も伴うからです。
また、KPIが有効な業種や組織とそうではない業種や組織があるはずです。たとえば企業が文化やコンテンツの創造を扱う業種の場合、人気コンテンツに特化したり、コンテンツを分割すれば販売数やページビュー、シェア/フォロワー数などのKPIは短期的には高められるかもしれません。しかし、文化は多様性によって価値が高まる以上、長期的には企業における文化活動も多様性を高めていくべきでしょう。
たとえば出版などのコンテンツを扱う業種の場合、KPIに寄与しない活動、またはKPIとして測れない活動――たとえばニッチなコンテンツなども充実させて多様性を高めていくことも求められます。また文化の醸成には時間がかかりますので、評価の時間軸も一般の事業よりも長くすべきでしょう。
外部資金獲得の光と影
近年の物価上昇や研究の高度化により、研究にかかる費用は増加傾向にありますが、日本では大学や研究機関の予算が減少傾向にあります。その結果、大学や研究機関は国からの助成金や補助金、授業料以外の資金獲得手段を模索せざるをえません。
その中で注目されているのが民間企業からの研究資金です。日本では大学に多額の寄付を行う企業は少なく、多くの場合、企業が求めるテーマに関する研究を行い、その対価として研究資金を得る仕組みになっています。その結果、大学や研究機関では、企業が望むテーマに対応できる教員や研究者が人事上重視されるようになります。この影響は研究内容にも波及します。そして、まだ企業から研究資金を得ていない教員や研究者自身が企業に受け入れられやすいテーマへと研究をシフトさせる可能性があります。しかし、企業が求める研究は学術的に意義があるとは限りません。その結果、研究テーマの偏りが懸念されます。
理系と文系を比べると研究に必要な費用は理系の方が多いことから、企業からもらう研究資金も理系の方が多くなる傾向があります。外部資金がほしい大学は企業から多額の研究費を集める理系の教員や研究者を優遇してしまう事態がありえます。しかし、これは分野の特性による違いにすぎません。
また、大学や研究機関の教員や研究者は、霞が関などの委員会で有識者として意見を述べることもありますが、そこで企業に不利な発言をすると、将来的に企業からの研究資金を得られなくなる可能性が危惧されれば、明に企業を配慮した発言はしないまでも、企業に不利な発言を避ける行動が促されるおそれもあります。そうなった場合、企業に配慮しない教員や研究者も含めて、有識者としての発言の中立性を疑われてしまう事態が予想されます。行政における施策立案において有識者は一定の影響力があることを考えると、企業による有識者の誘導は施策立案におけるロビー活動のひとつともいえ、有識者と企業との関係性には透明性が求められます。企業側も透明性を疑われるような行為は自重すべきです。
結びにかえて
評価そのものが悪いわけでもないし、評価指標がないと評価が難しいのも現実です。しかし、ここまで述べてきたように、多くの場合、重要なことを評価するのではなく、定量化しやすい項目が評価されがちです。理系は定量的な評価指標を設定しやすいがために、その指標を良くすることが目的化されてしまい、対象を適切に評価できなくなるだけでなく、研究自体を歪めてしまうことがあります。文系の場合、内容的にも時間的にも評価指標が設定しにくいために、理系に比べて不利になるという状況が起きます。
ひとつの解決策としては、評価の時間軸を柔軟に設定し、学術分野や研究ごとの特性に応じた評価を導入することが挙げられます。ただし、この場合、分野や研究によって評価軸が異なるため、公平性に疑問が生じるという別の課題が発生します。従って、多様な評価を組み合わせるしかなく、たとえば分野に応じた評価と分野横断的な評価を組み合わせるとともに、それぞれの評価結果を合算せずに、多面的に評価していく必要があるでしょう。
また、それぞれの分野の特性に合った時間軸を設定するとともに、社会貢献や多様性などの評価しがたい事項にも積極的に配慮する必要があります。また、研究活動のゲーム化を防ぐためには、評価指標を頻繁に見直し、競争条件を柔軟に更新していくとともに、被引用数のような量的指標については上限値を設け、それを超えた部分は質的評価を導入するなどの工夫も有効です。
ところで学術をどう評価していくのかの問題は、日本学術会議の組織改革とも関連しています。同会議の組織改革については、法人化の妥当性に加えて、学術と軍事研究の関係性が注目されがちですが、軍事研究への参加可否は大学や研究機関の判断する事項であり、同会議の関与は大きいとはいえません。むしろ同会議が大きな役割を果たしているのは研究分野の選定や調整のはずです。というのも、日本には理系と文系を横断して議論できる場がほとんどなく、日本学術会議がその数少ない場だからです。
実際、同会議には他分野の研究者が参加しており、研究者同士の相互の議論を通じて、たとえば法学や情報学といった大きな研究分野を定めて、さらにその中の細かな研究領域を定めていきます。この同会議による分野・領域設定は科研費の審査区分にほぼ直結するといえます。従って、科研費の場合、応募された研究提案が日本学術会議が定めた分野に含まれていれば、その分野に対応した審査区分があることになり、その分野の専門家によって審査されます。逆に含まれない場合は別分野の研究者による審査となることが多く、提案内容や意義の理解不足から不採択となることがありうるのです。それが繰り返されると研究分野として維持が難しくなります。
筆者は同会議の連携会員をさせていただいており、その立場としては責任がないわけではありませんが、同時に同会議が世の中の変化に対応できていたかについては疑問を感じるところです。その意味では今回は政府主導となってしまいましたが、何らかの改革は必要だったといえないでしょうか。
一方で今回の改革により、政府は会議への関与を強められるようになります。仮に政府が同会議の研究分野の選定・調整に過度に関与するようになれば、科研費などの配分を通じて、学術研究の方向性にまで影響を与える可能性があります。従って、法人化後の同会議の新しい枠組みが、政府と学術界の適切なバランスを保つものとなるかどうか、今後も注視していく必要があります。
★01 brahim, H., Liu, F., Zaki, Y. et al. Citation manipulation through citation mills and pre-print servers. Sci Rep 15, 5480 (2025). https://doi.org/10.1038/s41598-025-88709-7
- 佐藤一郎さとう・いちろう
- 国立情報学研究所 情報社会相関研究系教授/国立大学法人 総合研究大学院大学 先端学術院情報学コース教授(兼任)。専門はミドルウェアやOSなどのシステムソフトウェア。慶應義塾大学理工学部電気工学科卒、同大学理工学研究科大学院計算機科学専攻後期博士課程修了、博士(工学)。デジタル庁「デジタル庁政策評価・行政事業レビュー有識者会議」座長、経済産業省・総務省「企業のプライバシーガバナンスモデル検討会」座長などを歴任。また、テレビ朝日系列『仮面ライダーゼロワン』(2019年9月〜2020年8月)のAI技術アドバイザーを務めたほか、ニュース番組のコメンテーターなどでも活躍中。