Sanfranciská deklarace o hodnocení výzkumu

Existuje naléhavá potřeba zlepšit způsob, jakým jsou výstupy vědeckého výzkumu hodnoceny poskytovateli podpory, akademickými institucemi a dalšími stranami. K řešení tohoto problému se během výročního zasedání Americké společnosti pro buněčnou biologii (ASCB) 16. prosince 2012 v San Franciscu (Kalifornie) sešla skupina editorů a vydavatelů vědeckých časopisů. Skupina vypracovala soubor doporučení, označovaný jako Sanfranciská deklarace o hodnocení výzkumu. Deklarace vyzývá zúčastněné strany napříč všemi vědními obory, aby vyjádřily svou podporu připojením svého jména k deklaraci.

Vědecký výzkum produkuje rozmanité výstupy, jako jsou: výzkumné články, které přinášejí nové poznatky, data, chemické sloučeniny a software, ale také duševní vlastnictví a vysoce kvalifikované mladé vědce. Poskytovatelé podpory, instituce, které zaměstnávají vědce, i samotní vědci mají zájem i potřebu hodnotit kvalitu a dopad vědeckých výstupů. Proto je nezbytné, aby vědecké výstupy byly měřeny přesně a hodnoceny objektivně.

Impakt faktor časopisu se často používá jako hlavní parametr pro porovnávání vědeckých výsledků jednotlivců a institucí. Impakt faktor časopisu, jak jeho výpočet stanovila společnost Thomson Reuters*, byl původně vytvořen jako pomocný nástroj knihovníkům, aby věděli, které časopisy je žádoucí zakoupit, nikoli jako měřítko vědecké kvality výzkumu v jednotlivém článku. Proto je zřejmé, že impakt faktor časopisů jako nástroj hodnocení výzkumu má řadu závažných a dobře zdokumentovaných nedostatků. Mezi tato omezení patří: A) rozdělení citací v časopisech jsou vysoce zešikmená (nesymetrická) [1-3]; B) Vlastnosti impakt faktoru jsou oborově specifické: vzniká složením z mnoha velice různorodých typů článků, od původních výzkumných sdělení až po přehledové studie (reviews). [1, 4]; C) politika redakce může s impakt faktorem manipulovat [5]; a D) údaje používané k výpočtu impakt faktoru nejsou transparentní ani veřejně dostupné [4, 6, 7]. Dále proto uvádíme řadu doporučení, jak způsob hodnocení kvality výzkumných výstupů zlepšit. Význam jiných výstupů než výzkumných článků při hodnocení efektivity výzkumu v budoucnu poroste, ale recenzovaný výzkumný článek zůstane ústředním výstupem výzkumu, který formuje hodnocení výzkumu. Naše doporučení se proto zaměřují především na postupy týkající se výzkumných článků publikovaných v recenzovaných časopisech, ale mohou a měla by být rozšířena o uznání dalších produktů, jako např. datových sad, jako důležitých výstupů výzkumu. Tato doporučení jsou určena poskytovatelům podpory, akademickým institucím, vydavatelům časopisů, organizacím, které poskytují ukazatele, i jednotlivým výzkumným pracovníkům.

V doporučeních se objevuje řada témat:

  • potřeba upustit od používání ukazatelů založených na hodnocení úrovně časopisů, jako je impakt faktor časopisu, při rozhodování o financování výzkumu, jmenování či povýšení do funkcí;
  • potřeba hodnotit výstupy výzkumu na základě jeho vlastního přínosu, nikoli podle časopisu, ve kterém je výzkum publikován;
  • potřeba využít možnosti, které poskytuje publikování online (jako je upuštění od zbytečných omezení počtu slov, obrázků a odkazů v článcích a zkoumání nových indikátorů významu a dopadu výzkumu).

Uvědomujeme si, že mnoho poskytovatelů podpory, institucí, vydavatelů i výzkumných pracovníků již podporuje lepší postupy pro hodnocení výzkumu. Tím se dává do pohybu posun k propracovanějším a smysluplnějším přístupům k hodnocení, na nichž všechny klíčové zainteresované strany mohou začít stavět.

Signatáři Sanfranciské deklarace o hodnocení výzkumu podporují přijetí následujících obecných doporučení.

Obecná doporučení

  1. Nepoužívejte na časopisu založené ukazatele typu impakt faktor jako zástupné měřítko kvality jednotlivých vědeckých článků, k hodnocení výzkumného pracovníka nebo při rozhodování o přijetí do zaměstnání, kariérním postupu/povýšení či poskytování podpory.

Poskytovatelům podpory

  1. Stanovte jednoznačná kritéria pro hodnocení vědecké produktivity žadatelů o granty a jasně zdůrazněte, zejména začínajícím výzkumným pracovníkům, že obsah publikovaného článku je mnohem důležitější než bibliometrické indikátory nebo prestiž časopisu, ve kterém je článek zveřejněn.
  2. Při hodnocení výstupů výzkumu mějte na zřeteli také hodnotu a dopad všech výstupů daného výzkumu (včetně datových sad a softwaru) vedle vědeckých publikací a zohledněte další širokou škálu měřítek, včetně kvalitativních ukazatelů dopadu výzkumu, jako je např. vliv na politiku a na praxi.

Institucím

  1. Explicitně uvádějte kritéria používaná při rozhodování o přijetí do zaměstnání, jmenování do funkce či povýšení. Zejména začínajícím výzkumníkům výslovně zdůrazněte, že obsah publikovaného článku je mnohem důležitější než bibliometrické indikátory nebo prestiž časopisu, ve kterém je článek zveřejněn.
  2. Při hodnocení výstupů výzkumu mějte na zřeteli také hodnotu a dopad všech výstupů daného výzkumu (včetně datových sad a softwaru), vedle vědeckých publikací, a zohledněte další širokou škálu měřítek, včetně kvalitativních ukazatelů dopadu výzkumu, jako je např. vliv na politiku a na praxi.

Vydavatelům

  1. Významně snižte důraz na výši impakt faktoru jako nástroje propagace, ideálně tak, že jej přestanete propagovat nebo jej uvedete v širším kontextu spolu s dalšími bibliometrickými údaji (např. pětiletý impakt faktor, EigenFactor [8], SCImago [9], h-index, redakční a publikační časy atd.). To umožní rozsáhlejší pohled na výkonnost časopisu.
  2. Zpřístupněte větší množství relevantních bibliometrických ukazatelů, abyste podpořili posun k hodnocení založenému na vědeckém obsahu článku namísto ukazatelů vztahujících se k časopisu, kde byl článek publikován.
  3. Podporujte odpovědné autorské postupy a důsledné poskytování informací o konkrétních příspěvcích jednotlivých spoluautorů.
  4. Bez ohledu na to zda jde o časopis s otevřeným přístupem (Open Access) či s předplatným, odstraňte všechna omezení pro opakované využití bibliografických odkazů a zpřístupňujte jejich seznamy pod licencí Creative Commons Public Domain Dedication [10].
  5. Odstraňte nebo zredukujte omezení počtu bibliografických odkazů v článku a upřednostněte citování původních výzkumných sdělení oproti přehledovým studiím (reviews), aby se dostalo uznání těm, kdo svá zjištění publikovali jako první.

Organizacím poskytujícím ukazatele

  1. Buďte otevření a transparentní při poskytování dat a metod použitých k výpočtu všech ukazatelů.
  2. Poskytněte data pod licencí, která umožňuje neomezené opakované použití, a pokud je to možné, poskytněte data ve strojově čitelném formátu.
  3. Dejte jasně najevo, že nevhodná manipulace s ukazateli je nepřípustná; jasně uveďte, v čem nevhodná manipulace spočívá a jaká opatření budou přijata k jejímu vymýcení.
  4. Při používání, agregaci či porovnáván ukazatelů zohledněte variabilitu v typech článků (např. přehledová studie vs. původní sdělení) a v různých tematických oblastech.

Výzkumným pracovníkům

  1. Pokud zasedáte v komisích, které rozhodují o financování, přijímání zaměstnanců, jmenování do akademických pozic nebo povýšení, svá stanoviska opírejte o vědecký obsah výzkumu spíše než o publikační ukazatele.
  2. Kdykoliv je to vhodné, citujte původní výzkumná sdělení, v nichž jsou pozorování poprvé uvedena, spíše než přehledové studie (reviews), aby se dostalo uznání těm, komu přísluší.
  3. K prokázání dopadu jednotlivých publikovaných článků a dalších vědeckých výstupů, používejte ve svých osobních přehledech a podpůrných stanoviscích, větší množství ukazatelů a indikátorů vztahujících se k dotyčným článkům [11].
  4. Poukazujte na postupy hodnocení výzkumu, které se nevhodně opírají o hodnotu impakt faktoru časopisu, a naopak podporujte, doporučujte a vyučujte osvědčené postupy, které se opírají o hodnotu a vliv specifických výstupů výzkumu.

Literatura

  1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
  2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
  3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
  4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
  5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
  6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
  7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
  8. http://www.eigenfactor.org/
  9. http://www.scimagojr.com/
  10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
  11. http://altmetrics.org/tools/ (Link to archived site)

*Impakt faktor časopisu (Journal Impact Factor) publikuje v současnosti společnost Clarivate Analytics.

PDF: DORA_Czech.pdf

This is a translation of the DORA text at https://sfdora.org/read , contributed by Eva Dibuszová, Mariana Hanková, Eva Hnátková, Radana Kahánková, and Martin Svoboda and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.