査読システムはもはや学術的厳密性を保証できない – 新たなアプローチが必要

査読は学術活動の中心的な特徴である。これは研究が学術雑誌に掲載されるまでのプロセスであり、独立した専門家が他の研究者の研究を精査し、出版社による採用の可否や、改善の必要性とその方法について推奨を行うものである。

査読は品質を保証するものと考えられることが多いが、実際にはうまく機能していない場合がある。すべての研究者には、数年に及ぶ遅延から、複数回にわたる退屈な修正作業まで、それぞれの査読に関する恐ろしい経験がある。この循環は、論文がどこかで採用されるか、著者が諦めるまで続く。

一方で、レビュー作業は無償で、かつ目に見えないものである。多くの場合匿名性を保つレビュアーは、その作業が研究コミュニケーションにおいて不可欠な部分であるにもかかわらず、報酬も認知も得られない。ジャーナルの編集者は、査読の確保が ますます困難になっていることを認識している。

そして、いかに称賛されようとも、査読が機能していないことは周知の事実である。時として偏見が入り込み、エラーや学術的な不正までもが紛れ込むことが多すぎる。

明らかに査読システムは機能不全に陥っている。遅く、非効率で負担が大きく、レビューを実施するインセンティブは低い。

先に公開する

近年、査読システムの問題点の一部を修正しようとする、研究精査の代替手段が出現している。その一つが「publish, review, curate（公開・レビュー・キュレーション）」モデルである。

このモデルは、従来の「レビューしてから公開する」モデルを逆転させたものである。論文はまず先にオンラインで公開され、その後査読が行われる。このアプローチは従来の出版形式との比較を理解するには新しすぎるが、レビュープロセスの透明性向上が科学の進歩を加速させるという点で、その可能性に期待が寄せられている。

我々は、メタリサーチ（研究システム自体についての研究）の分野において、このpublish, review, curateモデルを使用するプラットフォームを設立した。我々の目的は、この分野における査読の革新と、この革新自体をある種のメタリサーチ実験として研究することの両方である。このイニシアチブは、他の研究分野にも影響を与えることが期待されるピアレビューの改善方法の理解に役立つだろう。

MetaROR（MetaResearch Open Review）と呼ばれるこのプラットフォームは、学術団体であるAssociation for Interdisciplinary Meta-Research and Open Scienceと、非営利のメタリサーチ・アクセラレーターであるResearch on Research Instituteとの提携により、つい最近立ち上げられたばかりである。

MetaRORの場合、著者はまずプレプリントサーバーに研究を公開する。プレプリントとは、研究の普及を加速させる手段として、著者が査読前に公開する研究論文のバージョンである。プレプリントは数十年前から一部の学術分野で一般的だったが、パンデミック期間中には科学をより早く公開領域に出すための手段として、他の分野でも増加した。MetaRORは実質的に、プレプリントサーバーの上にピアレビューサービスを構築するものである。

著者は、プレプリントされた論文へのリンクをMetaRORに提供することで、自身の研究を投稿する。その後、マネージング・エディターが、その論文の研究対象や研究方法、あるいはその両方に精通した専門家を査読として採用する。利害の対立するレビュアーは可能な限り除外され、利害関係の開示は必須となっている。

査読はオープンに行われ、レビューはオンラインで公開される。これによりレビュアーの作業が可視化され、レビューレポートそのものが学術的コミュニケーションへの貢献であることが反映される。

我々は、レビュアーが自身の役割を、認知された参加者として学術的な対話に参加することだと ますます認識するようになることを期待している。ただし、MetaRORではレビュアーが実名か匿名かを選択することができる。我々の希望は、大多数のレビュアーが自身のレビューに署名することが有益だと考えるようになり、それによって匿名での軽視的なレビューやその他の悪意あるレビューの問題が大幅に減少することである。

MetaRORに投稿される論文はすでに公開されているため、査読は論文の改善を目的とした関与に焦点を当てることができる。査読は、門番的役割を重視するプロセスではなく、建設的なプロセスとなる。

証拠によれば、プレプリントと最終論文は実際にはほとんど違いがないが、改善の余地はしばしばある。publish, review, curateモデルは、著者がレビュアーと関わることを助ける。

レビュープロセスの後、著者は論文を改訂するかどうか、どのように改訂するかを決定することができる。MetaRORモデルでは、著者は論文をジャーナルに投稿することも選択できる。著者にスムーズな体験を提供するため、MetaRORは、自身のレビュープロセスでMetaRORのレビューを使用することを約束する複数のジャーナルと協力している。

他のpublish, review, curateプラットフォームと同様、MetaRORは実験的な取り組みである。その成功と失敗を理解するために、我々は評価を行う必要がある。我々は、他者も同様の評価を行うことを期待している。これにより査読に関する恐ろしい経験を減らしつつ、科学研究の普及と評価をどのように最適に組織化するかを学ぶことができるだろう。

---

本記事は、シェフィールド大学 情報サービス管理学教授Stephen Pinfield氏、ナンシー・バートン奨学生、ボストン大学法学部教授Kathryn Zeiler氏、ライデン大学定量科学研究教授Ludo Waltman氏らによって執筆され、The Conversationに掲載された記事「The peer review system no longer works to guarantee academic rigour – a different approach is needed」について、Creative Commonsのライセンスおよび執筆者の翻訳許諾の下、翻訳・転載しています。