相対引用率（RCR）は新たな研究評価の指標となり得るか？

学術ジャーナルに掲載されたみずからの論文が、どのような評価を受けるのか。研究者なら誰もがやきもきすることではないでしょうか。現状の評価システムではそれを正しく測定することはできないと考える向きも少なくありません。そんな中、学術界を変えるかもしれない新たな評価指標が、注目を集めています。
■　現状の評価システムが抱える問題
昨今、政府機関の奨学金や連邦補助金の審査においても、査読委員会は研究成果の評価に数理的なアプローチを用いるようになってきました。最もシンプルなアプローチは、論文の筆頭著者および共同著者の被引用数を見ることです。加えて、その論文が掲載されたジャーナルのインパクト・ファクター（掲載論文が特定の期間にどれだけ引用されたかを見る指標）やh指数（h-index：被引用数と論文数のバランスで相対的な貢献度を示す指標）^*1も、重要な指標としてあげられます。
学術ジャーナルのインパクト・ファクターとは年度ごとに計測される尺度であり、そのジャーナルの平均被引用数に基づきます。多くの場合、これがジャーナルのその分野での重要性を示します。一般的には、インパクト・ファクターが高ければ高いほどそのジャーナルは重要度が高いと見なされます。一方のh指標とはジャーナルの審査ではなく、執筆者それぞれの生産性と影響力の尺度です。h指標は、対象となる学者の最も引用数の多い論文と他の公刊物への被引用数から算出されます。
これらの指標は広く用いられていますが、学術界ではそれぞれの指標に対し、まだまだ不十分さを感じています。まず第1に、シンプルな被引用数だけでは、数字が個々の論文の価値を十分に反映できないという問題です。第2に、インパクト・ファクターは研究者の資金獲得や雇用の機会を左右するのにもかかわらず、ジャーナルの特殊性に縛られがちで、学際的・脱領域的な成果としてはとても限られた分析しかできません。第3に、h指標は個々の論文に重きを置くことをめざしている反面、論文執筆年数の短い若手研究者に不利に働くことが多いと言われています。

このような問題を抱えるがゆえ、多種多様で膨大な数の対象研究者・論文を適正に評価するためには、もっと効果的な評価基準が必要だ、との叫びが絶えません。情報の大量化と研究分野の特殊化・細分化が進むにつれ、個別の分野内での研究者の貢献度を評価するための新たなパフォーマンス測定指標が必要とされてきました。
■　相対引用率（Relative Citation Ratio: RCR）の導入
そこに登場したのが、相対引用率（Relative Citation Ratio: RCR）です。これは、米国の国立衛生研究所（NIH）の科学者グループが開発した新しいアルゴリズムです。RCRは、評価対象の論文を審査する際に、その論文が引用された場において同様に引用された他の論文もチェックします。この作業によって、対象論文の被引用数に対する分野の正規化を行い、論文の影響度を測定するというものです。つまり、ある執筆者が他の執筆者の論文を引用する場合、これによってその論文が関連付けられ、研究審査をする責任者などに対し有用な追加情報を提供することになります。NIHではこのRCRを重要な助成管理ツールとして利用しており、毎年100万本以上もの報告が提出されるバイオメディカル分野の研究を支援する機関でも、これを導入する動きが広がりつつあります。この動きは分野を超えて広がると予想されています。
■　RCRの算出方法
RCRは、実際の被引用数の計数を、期待され得る引用数（期待被引用数）をもとに算出します。これはより解釈しやすい、事前の期待被引用数と事後の実態被引用数を対置した比率で提示することになるため、引用数が少ない論文であっても、RCRを算出すると目立ってくることもあります^*2。RCRは十進法で構成されており、その値が１であれば、論文のパフォーマンスが期待とまったく同じだったこと、つまり調査対象とした論文の被引用数が当該学術誌中の論文の被引用数の平均値に相当することになります。1以上であれば、よりよい成果を意味し、この論文がその年の他の同分野の論文より多く引用されたことを示します。
このようにRCRは、各論文の専門分野に焦点を絞った視点をもたらし、平均値もまた、より明確な引用行動を示したものになります。
■　RCRへの期待と課題
ドイツの研究グループUberResearchは、出版社、研究資金援助機関、研究所を含むその提携先と共に、このRCRの検証を行いました。そして、学際的な論文の引用比較に関して、RCRは大きな前進を見せていることを明らかにしました。このUberResearchの調査結果に基づき、Digital Science社は多くの分野でRCRの運用を始めており、既に同社のラインアップである文献管理ソフトReadCubeのReadCube viewer や研究助成金データベース Dimensions databaseでRCRの値を見ることができます。出版物を共通の価値基準で比較できるというのはワークフロー上、大きな利点です。
RCRの開発に携わったNIHのチームは今も改善を続けており、RCRの算出とアプローチをもっと強化する、さらなるアイデアや視点を模索中です。既に多くの出版社や資金提供者などが、自分たちの評価プロセスやワークフローにRCRを取り入れ始めていますが、この動きは今後も拡大することでしょう。その中で、RCRの有用性、将来展開へのアイデアが提供されてくるかもしれません。
現状ではいまだに、科学研究における完璧な評価尺度というものは存在していませんが、RCRについて特筆すべき点は、そのアプローチにおいて諸要素を取り込むことで評価尺度としての改善がなされ、異なる学問分野にも適用可能である上、急速に市場に適応しているということです。今後もRCRが改善されていけば、今以上に有用な評価尺度として利用される可能性はあります。
とはいえ、マックス・プランク研究所（ドイツ）の計量書誌学の専門家である Lutz Bornman氏のように、RCRは「あまりに複雑かつ制約が多く」また「バイオメディカルに強みを持つPubMedのデータベースに依存しているため、物理科学など他の分野の分析には不向きでは」と見る声（2016年11月9日付のNatureのオンライン版）も出ており、普及を楽観的に捉えるのには、まだまだ注意が必要なようです。

注釈
*1　Relative Citation Ratio (RCR): A New Metric That Uses Citation Rates to Measure Influence at the Article Level（2016/9/6 published）
http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002541
*2　研究評価における 相対的引用度の 役割と利用上の 留意点　大野博教（電中研）
http://www.jaist.ac.jp/coe/library/jssprm_p/2003/pdf/2003-2C24.pdf
参考
Enago academy掲載の英文はこちら：Is the Relative Citation Ratio a Better Metric to Evaluate Scientific Papers?