샌프란시스코 연구 평가 선언

과학자의 연구 성과를 평가하는 방식이 개선되어야 한다는 요구가 날로 커지고 있다. 이를 논의 하기 위하여 2012년 12월 16일, 캘리포니아주 샌프란시스코에서 열린 미국세포생물학회(American Society for Cell Biology) 연례 회의에 몇몇 학술지 편집자들과 출판인들이 모였다. 이들이 만든 제안서를 ‘연구 평가에 관한 샌프란시스코 선언(San Francisco Declaration on Research Assessment)’이라 부른다. 영문 약어로 DORA인 이 선언을 우리는 ‘새로운 연구 평가 선언’이라 부르고자 한다. 우리는 모든 과학 분야의 이해관계자들이 이 선언에 그들의 이름을 올려 함께 지지해 주길 바란다.

과학 연구의 성과물은 매우 방대하고 다양하다. 이 성과는 새로운 내용 (지식, 데이터, 시료, 소프트웨어)을 담은 학술 논문, 지적 재산권, 그리고 고도로 숙련된 젊은 과학자들을 양성하는 것을 포함한다. 연구 성과의 질과 영향력은 연구비를 지원하는 기관들이나 과학자를 고용하는 연구소들, 그리고 과학자들 간에서도 끊임없이 평가된다. 따라서 이러한 평가 방법은 정확하면서도 현명하게 이루어 져야 한다.

연구 성과를 평가할 때 가장 많이 사용하는 주요 지표는 학술지 인용지수(Journal Impact Factor; JIF; 임팩트 팩터)다. 톰슨 로이터(Thomson Reuters) 사가 만든 이 지표는 본래 도서관 사서들이 도서관에 비치할 학술지를 구매하는데 참고하도록 만들어진 것으로, 어떤 연구 논문의 과학적 질을 평가하기 위한 것은 아니었다. 그러므로 연구 성과를 평가하는 도구로 현재 흔히 쓰이는 이 학술지 인용지수에는 몇 가지 결함이 있다는 점을 꼭 이해해야 한다. 그 한계는 다음과 같다. A) 학술지 내의 개별 논문의 인용 분포가 극단적으로 왜곡되어 있다[1-3]; B) 학술지 인용지수의 특성이 각 분야마다 다르다. 게다가 인용지수는 학술논문과 종설논문 등 여러 종류의 글을 복합적으로 아우른 결과이다[1,4]; C) 학술지 인용지수는 편집 방침에 따라 조작될 수 있다[5]; D) 학술지 인용지수를 계산하는 데 사용되는 자료의 공개가 투명하지 않고, 대중이 쉽게 구할 수 없다[4,6,7]. 따라서 연구 성과의 질을 평가하는 방식을 개선할 것을 다음과 같이 제안한다. 우리는 앞으로 연구 성과를 입증하는 데 연구 논문만이 아닌 다른 성과들의 비중 역시 커지길 바란다. 여전히 동료 평가(peer-reviewed)를 기반으로 하는 학술 논문은 연구 성과를 평가하는 핵심 요소가 될 것이다. 그러므로 우리의 제안은 동료 평가를 기반으로 한 학술 논문을 중심으로 하되, 논문만이 아니라 기초 데이터와 같은 결과물들도 중요한 연구 성과로 포함될 수 있도록 확대하자는 것이다. 이 제안은 연구비 지원 기관, 연구 기관, 학술지, 각종 학술 지표를 제공하는 단체, 그리고 개별 연구자 모두를 대상으로 한다.

본 제안에는 다음과 같은 세부 주제가 있다.

  • 연구비 책정, 고용, 승진 등을 심사할 때 학술지 인용지수(IF)와 같이 학술지 지표 사용을 제한할 필요성
  • 연구 평가시 그 연구가 출간된 학술지가 아니라 그 자체의 가치로 평가할 필요성
  • 논문의 온라인 출간을 장려할 필요성 (논문의 글자 수, 그림 수, 참고문헌 수의 불필요한 제한이 사라지고, 연구의 영향력과 중요성을 판단할 새로운 지표를 확인할 기회 등)

우리는 여러 연구비 지원 기관, 연구 기관, 학술지 출판사, 그리고 연구자들이 이미 연구 평가시 개선안을 장려하고 있는 것을 알고 있다. 그런 노력들은 더 정교하고 의미 있는 연구 평가 방식을 위한 첫걸음이자 앞으로 주요 구성원들 모두가 함께 정립할 평가 방식의 기반이 될 것이다.

‘연구 평가에 관한 샌프란시스코 선언’의 서명인들은 연구 평가에서 다음의 지침을 행동으로 옮기는 것을 지지한다.

일반 제언

  1. 학술지 인용지수(JIF)와 같이 학술지 자체의 지표를 과학자 개인의 기여도나 임용, 승진, 연구비 수여 결정을 위해 연구 논문의 품질을 평가하는 대리 지표로 사용하지 않는다.

연구비 지원 기관들은

  1. 연구비를 신청하는 이들에게 과학적 생산성을 평가하는 기준을 명확하게 설명하고, 특히 경력이 짧은 연구자들에게는 학술 논문에 담긴 과학적 내용이 출판 지표나 그 논문이 발표된 학술지의 정체성보다 훨씬 중요하다는 것을 분명히 알린다.
  2. 연구 평가를 위해 학술 논문만이 아니라 기초데이터나 소프트웨어 등 모든 연구 결과물의 영향력과 가치를 고려한다. 나아가 정책 결정이나 실생활에 미치는 영향력처럼 연구 결과가 가져올 영향을 정성적으로 판단할 수 있는 지표들을 두루 고려한다.

연구 기관들은

  1. 경력이 짧은 초기 단계 연구자들에게 출판 지표나 논문이 발표된 학술지의 정체성보다 논문의 과학적 내용이 중요하다고 설명하고, 연구 기관 고용, 테뉴어 결정, 승진 결정 등의 기준을 명확히 밝힌다.
  2. 연구 평가 시 학술 논문만이 아니라 모든 연구 성과물 (데이터셋이나 소프트웨어 등)의 영향력과 가치를 고려한다. 나아가 정책 결정이나 실생활에 미치는 영향 등 연구의 파급력을 정성적으로 판단할 수 있는 지표들을 두루 고려한다.

출판사들은

  1. 학술지 인용지수를 홍보용으로 강조하는 것을 현저히 줄인다. 이상적으로는 인용지수 홍보를 멈추거나 학술지의 성과를 보다 풍부하게 제공할 수 있도록 인용지수를 다른 학술지 기반 지표(5년간 인용지수, Eigen지수, SCImago, h-index, 학술지의 편집 및 출간 기간 등)들과 함께 보여준다.
  2. 개별 논문의 성과를 보여주는 여러 지표들을 제공함으로써 논문이 발표된 학술지 출판 지표보다 개별 논문의 과학적 내용을 바탕으로 평가되도록 변화를 촉진한다.
  3. 책임감 있는 저자권 습관을 촉구하고 저자들의 구체적인 기여도 정보를 제공하게 한다.
  4. 개방형(open-access) 학술지와 구독형(subscription-based) 학술지 모두에 대하여 학술 논문 내 참고문헌 목록에 대한 재사용 제한을 모두 제거하고 이를 크리에이티브 커먼즈 퍼블릭 도메인 기증(Creative Commons Public Domain Dedication) 라이선스로 모두에게 공개한다.
  5. 학술 논문에 쓸 수 있는 참고문헌 개수 제한을 없애거나 줄이고, 가능하다면 해당 사실을 처음으로 보고한 사람들이 인정받을 수 있게 리뷰논문 대신 1차 저작물을 인용하게 한다.

지표를 제공하는 단체들은

  1. 지표를 계산하는 모든 방법과 사용한 자료들을 제공하여 투명성을 유지한다.
  2. 자료를 제공하되 제한 없이 재사용할 수 있게 하고, 가능하면 개인이 자료를 가지고 직접 계산을 할 수 있게 한다.
  3. 평가를 위해 학술지의 여러 지표를 부적절하게 조작하는 것은 절대 허용되지 않음을 명확히 한다. 부적절한 조작이 정확히 무엇인지, 그리고 이에 대응하기 위해 어떤 조치들을 취할 것인지 명백히 한다.
  4. 학술지 지표를 사용하고, 집계하고, 비교할 때에는 글의 종류가 다름을 염두에 두고(종설 논문과 학술논문), 학술 분야마다의 차이도 고려한다.

개별 연구자들은

  1. 연구비 수여, 고용, 테뉴어, 혹은 승진을 결정하는 위원회에 소속되어 있을 때에는 평가의 기준을 출판 지수가 아니라 과학적 내용으로 한다.
  2. 가능한 한 인정을 받아야 할 이가 인정받을 수 있도록, 리뷰보다는 관찰 결과가 처음으로 보고된 1차 저작물을 인용한다.
  3. 자기 소개서 등을 쓸 때는 출간된 논문의 영향력과 다른 연구 성과를 다양한 개별 논문 지수나 지표 등을 이용해 보여준다.
  4. 학술 인용지수에만 부적절하게 의존하는 연구 평가 방식에 이의를 제기하고, 특정 연구 성과의 가치와 영향력에 초점을 두는 최선의 방식을 가르치고 홍보한다.

References

  1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
  2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
  3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
  4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
  5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
  6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
  7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
  8. http://www.eigenfactor.org/
  9. http://www.scimagojr.com/
  10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
  11. http://altmetrics.org/tools/ (Link to archived site)

*학술지 인용지수는 현재 Clarivate Analytics 사에서 출간하고 있다.

PDF: DORA_Korean.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Hee-Kyung Ahn and Sejeong Kim and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.