いま話題の新しい論文評価指標「オルトメトリクス（Altmetrics）」
学術論文の影響度を測る指標には、インパクトファクター（Impact Factor）やh指数（h-index）などが知られていますが、近年、「オルトメトリクス（Altmetrics）」という新しい論文評価指標が注目されています。オルトメトリクスは、論文の引用数を反映するだけでなく、論文の閲覧数、ダウンロード数、フェイスブックやツイッターなどソーシャルメディアや報道機関でのコメント数など、論文がもつ影響力のさまざまな面を反映しています。オルトメトリクスはインパクトファクターに取って代わることはできるのでしょうか？ 専門家たちに聞いてみました。
出版とは本質的にマーケティングそのもの
近年、オルトメトリクスが、とくにジャーナルなどの学術系出版物の認知度を調査・向上させるために最良な方法かどうかについて、多くの賛否両論が交わされています。学術論文、とくに専門的なトピックについての論文の数がここ数十年で急激に増えるにつれて、多くの学者がかねてから指摘してきたように、査読、引用数など多くの伝統的な評価方法がその影響力を失ってきています。より多くの学者が論文発表の場をウェブ上に移すようになるにしたがい、彼らの多くがオルトメトリクスを論文の成否を判断するための新たなマーケティングツールと見なしつつあります。オルトメトリクスを利用することの副産物として、論文内容のクラウドソーシング化が推し進められる可能性が挙げられられます。これにより、学術的な重要性の指標を探すうえでの迅速かつ信頼性の高い手段を得られます。
しかし、学術界の多くの研究者たちは、この指標を非専門的で非学術的なものとみなしています。同様に、彼らは自身の研究への注目を集めるために考案された、より消費者目線に立ったマーケティング手段という考え自体を忌避する傾向にあります。たとえば多くの研究者は、ソーシャルメディアを利用した消費者目線の学術論文マーケティングを、アクセスや注目を集めるための「不正行為」と見ています。多くの者がそのようなマーケティング的な競争が起こる可能性や、論文へのアクセス数自体が論文の品質を的確に示すものではないことを指摘しています。オルトメトリクスの発案者であるEuan Adie氏自身がいみじくも認めてきたように「オルトメトリクスのスコアは注目度を測るものであって、品質を測るものではない」のです。
多くの研究者たちが指摘してきたように、超大手のジャーナル出版社は、ベストなマーケティング能力と、高いオルトメトリクスを得るために十分な資金を持ち合わせています。しかしオルトメトリクスが論文の質を明確に推し量る材料にはなり得ないかもしれず、マーケティングとプロモーションをもとにした単なるアクセス数にすぎないという問題点も、同時に提起されているのです。
出版とは本質的にマーケティングそのものです。研究者や著者は、論文の内容が他の人に読まれ、賞賛されたいために論文を発表するのです。オルトメトリクスは伝統的な引用数ベースの論文評価方法への代替手段ではありますが、はるかに多くの読者に訴えるマーケティング・コンテンツを評価する新しい方法を、出版社や著者に提供するかもしれません。
アメリカでの校正歴25年以上。学術出版社の営業部長
科学には社会的な側面もある
近年、SNSやブログ、ウェブサイトは、科学者たちにとって実験について議論し、データを共有し説明をしたりするための新たな議論やコミュニケーションの場となっています。ツイッターやリンクトイン（LinkedIn）といったソーシャルネットワークが、論文の引用や科学者どうしのコミュニケーションにおける新たな手段として活用されることにより、オルトメトリクスは、科学系出版物を評価し、研究をこれまで以上に可視的かつ利用しやすいものとする新たな方法となります(http://refractiveindex.wordpress.com/2012/10/19/scientists-and-the-web-new-territories-of-science-communication/)。
しかし科学者たちはあまり認めようとはしないものの、科学には、さまざまなグループが実験データについて異なるモデルを適用して説明するさいにしばしば見られるように、社会的側面があります。こうした傾向の中、ブログやソーシャルネットワークの活用により上記のような社会的側面がどのように強調され、広がっていくのでしょうか？ そしてオルトメトリクスはどのようにそれらを反映するのでしょうか？
一方、もし科学の世界でより多くの論文へのアクセスが容易になることが歓迎されても、私は引用されるまでにかかる時間とジャーナルでの出版という現状が、先駆的研究の価値を決定するための重要な二大要素であると考えています。これらの要素は科学的手法の本質的部分であり、時間は科学的研究のインパクトを判定する究極の存在なのです。
アメリカでの校正歴38年。微生物学専門
現時点での評価は時期尚早
オルトメトリクスは、SNSのようなインターネットリソースを通じて研究データを迅速に広めるための効果的なツールであると期待されています。ほかのあらゆる新技術と同様、オルトメトリクスには大きなメリットとデメリットがあります。
オルトメトリクスがインパクトファクターの代替手段となり得るかどうかを決めるのは、あまりに時期尚早に思われます。インパクトファクターのあらゆる欠点を考慮しても、インターネットで単純に「インパクトファクター」という語を検索し、画面に表示された上位3つのジャーナルを見るだけで、それらジャーナルが最も質の高い研究を掲載していると結論づけることが妥当だと思われます（たとえばランダムに選んだ「Medical Journal Impact Factors」というウェブサイトを参照のこと）。基礎生物医学分野のジャーナル（Cell、Science、Natureなど）を見るだけでも、おそらく私の意図することが直感的に理解いただけると思います。
オルトメトリクスについて最も興味をかき立てる点は、それが世界中の研究者どうしの瞬時のコンタクトを容易にし、互いのアイデアや試薬、技術を共有できるようにするだけでなく、利益の一致する議題についてのコラボレーションも可能にするかもしれない、ということです。しかし、査読という制度には確かに多くの欠点があるが、それ自体を貶めて論文発表に盲進するのは、最も好ましからざる不幸な結果−−医学でいう“有害事象”−−に終わるでしょう。
もしジャーナルが（発表の場にかかわらず）事前申込段階における原稿発表を禁じ、効果的な査読を保証し続けるのであれば、科学的完全性は維持されるかもしれません。オルトメトリクスについて調べている間、「ごみを入れればごみしか出てこない（どんなによいい容れものでも、入れる中身が問題である）」という格言がいつも私の頭の中にありました。オルトメトリクスについてのあらゆる考察は、以下の記事を読んでからなされるべきです。
研究室でのトラブル（『エコノミスト』2013年10月19日）
http://www.economist.com/news/briefing/21588057-scientists-think-science-self-correcting-alarming-degree-it-not-trouble
アメリカでの校正歴20年。生物物理学専門
インパクトファクターもオルトメトリクスも現状肯定の指標にすぎない
インパクトファクターとオルトメトリクスのどちらが「ベストな」科学的情報を広めるのに適しているのかを論ずることは、インパクトファクターかオルトメトリクス、どちらが「真の」科学的進歩を保証できるのか、といった最も重要な点を見逃すことにつながります。インパクトファクターやオルトメトリクスでの高い評価は、その分野の専門家たちの間で広く認知され、同意を得られていることを示します。しかし科学者でさえ偏見をもっており、彼ら自身の特定の世界での視野を肯定する考えを推進しがちなのです。したがってインパクトファクターもオルトメトリクスも、ジャーナルや発表された論文が現状を肯定していることの指標にすぎないのです。
科学史家のトマス・クーン（Thomas Kuhn）は、1970年に発表した『科学革命の構造（原題：The Structure of Scientific Revolutions）』（中山茂訳、みすず書房）において、真の科学的進歩はある特定分野での漸進的かつ直線的な情報の蓄積によって達成されるものではない、と述べています。どんな時代でもあらゆる科学分野は、あるモデルやパラダイムの枠組みの中で活動してきており、そうしたパラダイムを支持する論文が最もしばしば最高のものであると考えられてきたのです（インパクトファクターやオルトメトリクスの高い評価に見られるように）。しかしクーンが指摘するように、どんなモデルやパラダイムもすべての必要要素をカバーすることはできず、真の科学的進歩は「旧来の」考えに取って代わるような「パラダイムシフト」が起こったときにのみ達成されるものなのです。
したがって、インパクトファクターやオルトメトリクスでの高い評価（という概念）は、科学者や専門家たちが現状のパラダイムを推進する傾向にあったり、真に目覚ましくパラダイムの破壊につながるような発見を否定したりするようなことがある限り、実際には科学的進歩の妨げとなるでしょう。
アメリカでの校正歴20年。サイエンス雑誌勤務
引用という行為はいまもなお学術論文の基盤
学術出版における変革は、ジャーナルの論文がどのような関連性をもっているか、またそのような関連性をどのように検証するか、ということにおける認識などに多くの変化をもたらしました。ソーシャルメディアを含む複数の情報源から情報を集めるオルトメトリクスは、従来の伝統的なジャーナルによるインパクトファクターの代替手段として考えられています。
学術論文の世界では、論文提出から発表までの時間は近年急激に縮まり、発表までの時間を早めようとする志向がいまなお存在します。そのような見解から、私は伝統的な意味での査読とは研究を差別化しその正当性を評価するものであり、引用という行為はいまもなお学術論文において基盤となるものであると考えています。
他のすべてのものと同様、学術論文のモデルは進化し続けるものです。それらモデルを活用することによって、とくに研究ブログなどといった科学の議論や理解の場に新たな価値がもたらされます。そうしたことから、利用法や情報などを伝統的な情報源の外に求める重要性は、確かに認められます。今日のツイッターは数年後にはまったく別のものになっているかもしれない、ということがこれまでの歴史から推定できるように、今後注視すべきもののひとつとしてソーシャルメディアの進化が挙げられます。オルトメトリクスを使用して研究結果に影響をもたらすことは、従来のインパクトファクターを使用するよりも簡単ではないと認めることが大切です。そのデータを追跡する方法を見いだすこともまた重要となるでしょう。
イギリスでの校正歴20年。化学博士
