研究評価に関するサンフランシスコ宣言

科学研究の成果を助成機関や研究機関などの諸団体が評価する際の方法を改善することは、喫緊の課題である。

この課題への対策を議論するために、2012 年 12 月 16 日、学術雑誌の編集者と出版者のグループがサンフランシスコで開催された米国細胞生物学会（ASCB）年次会議の際に会合を持った。同グループは、「研究評価に関するサンフランシスコ宣言」という一連の勧告を起草した。我々はすべての科学分野の関連団体に署名による同宣言への支持表明を求める。

科学研究の成果というものは数多くかつ多様であり、新たな知見を報じる研究論文、データ、試薬、ソフトウェアや、知的財産権、あるいは熟練した若手研究員等もこれに含まれるといえる。助成機関や研究者を雇用する研究機関、また研究者自身も、科学的成果の質やインパクトについての評価を望み、また必要としている。したがって、科学的成果が正確に測定され、賢明な方法で評価されることはきわめて重要である。

ジャーナルインパクトファクター（以下、インパクトファクター）は、研究者個人や研究機関の科学的成果を比較する上で最重要の指標として頻繁に利用されている。インパクトファクターは、トムソン・ロイター*によって算出されるもので、そもそもは図書館員が購入すべき雑誌を判断する際の補助ツールとして開発されたのであり、論文に示された研究内容の科学的品質を計るためのものではなかった。それを念頭に、研究評価ツールとしてのインパクトファクターの欠点について数多くの指摘がなされていることを理解しておくことは重要である。欠点とは、例えば以下の点である。

A)雑誌内における引用の分布は非常に偏っていること[1-3]、B)インパクトファクターの性質は分野によって異なること、原著論文とレビュー記事といった、複数のきわめて性質の異なるタイプの記事が混在してできあがっていること[1,4]、C)インパクトファクターは編集方針によって左右される（あるいは”操られる“）可能性があること[5]、D)インパクトファクターの計算に用いられるデータは不透明であり、また公衆に公開されていないこと[4,6,7]。

以下に、研究成果の質の評価方法を向上させるための数々の勧告を行う。研究の有効性を評価するにあたり、研究論文以外の成果の重要性は今後増していくにしても、研究の到達点を示す研究成果の中核は査読付き研究論文であり続けるだろう。したがって、我々の勧告は、第一義的には、査読誌に掲載された研究論文に関する実践方法に焦点を当てる。しかし、データセットなどの追加生産物についても重要な研究成果と見なすことで、これらの勧告の適用を拡大することは可能であり、そうすべきであろう。これらの勧告は、助成機関、学術機関、学術雑誌、数量的指標を提供する機関、そして、個々の研究者に向けたものである。

これらの勧告に一貫しているいくつかの論点は次のとおりである。

  • 資金助成、職の任命や昇進の検討の際に、インパクトファクターのような雑誌ベースの数量的指標の使用を排除する必要性
  • 研究が発表される雑誌をベースにするのではなく、研究自体の価値に基づく評価の必要性、そして
  • オンライン出版が提供する機会（例えば論文における単語や図表、参考文献の数についての無意味な制限の緩和、および重要性やインパクトに関する新しい指標の探索）を十分に活用する必要性。

私たちは、助成機関、研究機関、出版者や研究者の多くが、研究評価について改善したやり方の使用を奨励しつつあることを認識している。 こういった動きが次第に、評価にかかわる主な関係者のすべてがそれを踏まえて適用できるような、より精緻で有意義な研究評価の方法を目指す機運を高めつつある。

「研究評価に関するサンフランシスコ宣言」の署名者は、研究評価における以下のような方法の適用に賛同する。

一般勧告

  1. 個々の科学者の貢献を査定する、すなわち雇用、昇進や助成の決定をおこなう際に、個々の研究論文の質をはかる代替方法として、インパクトファクターのような雑誌ベースの数量的指標を用いないこと。

助成機関へ

  1. 助成申請者の科学的生産性の評価に用いられる判断基準が明示的であること。また、特にキャリアの初期段階にある研究者に対して、出版物の数量的指標やその論文が発表された雑誌がどのようなものであるかということよりも、その論文の科学的内容の方がはるかに重要であることを、はっきりと強調すること。
  2. 研究評価を行う上で、研究出版物に加えて（データセットやソフトウェアを含む）研究のすべての成果の価値とインパクトを検討すること。また、政策や実用化への影響といった研究インパクトの質的な指標を含む、幅広いインパクトの評価基準を考慮すること。

学術機関へ

  1. 雇用、任期、昇進の決定する際に用いられる判断基準が明示的であること、特にキャリアの初期段階にある研究者に対して、出版物の数量的指標やその論文が発表された雑誌がどのようなものであるかということよりも、その論文の科学的内容の方がはるかに重要であることを、はっきりと強調すること。
  2. 研究評価を行う上で、研究出版物にくわえて研究の（データセットやソフトウェアを含む） すべての成果の価値とインパクトを検討すること。また、政策や実用化への影響といった研究インパクトの質的な指標を含む、幅広いインパクトの評価基準を考慮すること。

出版社へ

  1. 販売促進手段としてのインパクトファクターの強調を大幅に縮小させること、理想的にはインパクトファクターの宣伝を中止すること、または雑誌のパフォーマンスについてより豊富な視点を与える様々な数量的指標（例、5-year impact factor、EigenFactor [8]、SCImago[9] 、h-index、編集 と出版に要する時間等）の文脈に沿った上でインパクトファクターを提供すること。
  2. 様々な論文レベルでの数量的指標を利用可能にすること、それによって論文が発表された雑誌についての数量的指標ではなく、論文自体の科学的内容を基にした評価への転換を促すこと。
  3. 責任あるオーサーシップの慣行と各著者個別の貢献についての情報提供を促すこと。
  4. 雑誌がオープンアクセスであろうと購読モデルであろうと、研究論文の参考文献リストについての再利用の制限を取り除き、それらをクリエイティブコモンズのパブリックドメインの下で利用できるようにすること[10]。
  5. 研究論文のレファレンスの数についての制限を縮小、または廃止させること、そして必要に応じて、最初に発見を報告したグループの功績を認めるために、レビューではなく原著論文の引用を義務付けること。

数量的指標を提供する機関へ

  1. すべての数量的指標は、それを計算するために使われたデータと方法とを提供することにより、オープンかつ透明であること。
  2. 無条件の再利用を認めるライセンス下でデータを提供し、可能な限りコンピュータからアクセスできるようにすること。
  3. 数量的指標の不正な操作が決して許されないよう明確に示すこと、また不正な操作に相当するものとは何か及びこれに対する措置について明示的に示すこと。
  4. 数量的指標が使われ、集約され、あるいは比較される際に、論文のタイプ（例、 レビュー記事 vs 研究論文）あるいは異なる対象領域において生じる数量的指標の差異について、説明すること。

研究者へ

  1. 研究助成、雇用、任期、昇進について決定する委員会に参加した場合は、出版物の数量的指標ではなく科学的内容を基にして評価を下すこと。
  2. 認めるべき功績を認めるために、適切である限り、レビュー記事ではなく観察結果が最初に報じられた原著論文を引用すること。
  3. 個人の発表した論文やその他の研究成果のインパクトの根拠として、自己推薦書では、論文に関する様々な種類の数量的指標を用いること。
  4. インパクトファクターに不適切に依存している研究評価の慣例を批判し、個別の研究成果の価値や影響に注目するベストプラクティスを推進し、振興すること。

参考文献

  1. Adler, , Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.

（訳注：翻訳版あり：IMU-ICIAM-IMS 報告 Citation Statistics http://mathsoc.jp/IMU/CitationStatisticsJp20080930.pdf）

  1. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
  2. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
  3. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometrics 92, 211–238.
  4. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
  5. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
  6. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
  7. http://www.eigenfactor.org/
  8. http://www.scimagojr.com/
  9. http://opencitations.wordpress.com/2013/01/03/open-letter-to- Publishers
  10. http://altmetrics.org/tools/ (Link to archived site)

*インパクトファクターは現在、クラリベイト・アナリティクス社より提供されている。

PDF: DORA_Japanese.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Hayahiko Ozono, Shinya Kato, Shigeki Sugita, Masako Suzuki, Ikuko Tsuchide, Masamitsu Kuriyama, and Shun Tsuchiya and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.