Organizace poskytující finance, akademické instituce a další subjekty hodnotí výstupy vědeckého výzkumu metodami, které je nezbytné zlepšit. K vyřešení tohoto problému se sešla skupina editorů a vydavatelů vědeckých časopisů na výročním zasedání Americké společnosti pro buněčnou biologii (The American Society for Cell Biology – ASCB) v San Franciscu v Kalifornii dne 16. prosince 2012. Skupina vypracovala soubor doporučení známý jako Sanfranciská deklarace o hodnocení výzkumu. Vyzýváme zúčastněné strany ve všech vědeckých oborech, aby vyjádřily svou podporu a tutu deklaraci podepsali.

Výstupů vědeckého výzkumu je mnoho a jsou různorodé, zahrnují odborné vědecké články sdělující nové poznatky, data, chemické sloučeniny a software; dále také duševní vlastnictví i vysoce kvalifikované mladé vědce. Organizace poskytující finance, instituce zaměstnávající vědecké pracovníky i samotní vědci potřebují zhodnotit kvalitu a význam vědeckých výstupů. Je proto nezbytné, aby vědecké výsledky byly posuzovány a hodnoceny objektivně a spravedlivě. 

Impakt faktor vědeckých časopisů je často používán jako primární parametr, pomocí kterého se porovnávají vědecké výstupy jednotlivců a institucí. Impakt faktor časopisu, dle výpočtu společností Thomson Reuters*, byl původně vytvořen jako nástroj pro knihovníky, aby mohli identifikovat časopisy k zakoupení, nikoli jako měřítko vědecké kvality výzkumu publikovaného ve vědeckém článku. S ohledem na to, je důležité pochopit, že impakt faktor má řadu známých a zdokumentovaných nedostatků, jakožto nástroj pro hodnocení výzkumu. Tato omezení zahrnují: A) distribuce citací v časopisech je velmi zkreslená [1–3]; B) hodnota impakt faktoru časopisu je specifická pro danou vědeckou oblast: je složena z několika velmi rozmanitých typů publikací, včetně výzkumných článků a recenzí [1, 4]; C) hodnotou impakt faktoru lze manipulovat (nebo si s ní „hrát“) pomocí redakční politiky [5]; D) údaje použité pro výpočet impakt faktoru nejsou transparentní ani veřejně přístupné [4, 6, 7]. Níže uvádíme řadu doporučení, jak zlepšit způsob hodnocení kvality výzkumných výstupů. Při hodnocení kvality výzkumu budou v budoucnu čím dál více figurovat i jiné výstupy, nicméně recenzované vědecké články zůstanou ústředním výstupem pro hodnocení výzkumu. Naše doporučení se proto zaměřují především na postupy týkající se vědeckých článků publikovaných v recenzovaných časopisech, ale mohou a měly by být rozšířeny i pro další důležité výstupy reflektující kvalitu výzkumu, jako například soubory dat. Tato doporučení jsou určena organizacím poskytující finance, akademickým institucím, časopisům, organizacím poskytujícím metriky hodnocení a také samotným výzkumným pracovníkům.

Napříč těmito doporučeními se prolíná několik témat:

  • potřeba eliminovat použití metrik založených na hodnocení časopisů, jako je impakt faktor časopisu, při rozhodování o finanční podpoře a personálních otázkách (jmenování a povýšení);
  • potřeba hodnotit výzkum na základě jeho vlastního významu, nikoli na základě časopisu, v němž je článek publikován; 
  • potřeba využít příležitosti, které poskytuje online publikování  (např. upuštění od nepotřebných omezení počtu slov, obrázků a odkazů v článcích a zkoumání nových ukazatelů významu a dopadu).

Víme, že mnoho financujících organizací, grantových agentur, institucí, vydavatelů a výzkumných pracovníků již podporuje zdokonalené postupy při hodnocení výzkumu. Tyto postupné kroky vedou k sofistikovanějším a smysluplnějším přístupům hodnocení výzkumu, na kterých lze nyní stavět a mohou je přijmout všechny zúčastněné strany. 

Signatáři Sanfranciské deklarace podoporují přijetí uvedených postupů pro hodnocení výzkumu. 

Obecné doporučení

  1. Nepoužívejte měřítka hodnocení založená na impakt faktoru časopisů jako náhražku za hodnocení kvality jednotlivých vědeckých článků, k hodnocení příspěvků jednotlivých vědců ani v personálních otázkách (přijímání, povýšení) nebo při rozhodování o financování. 

Organizacím poskytujícím finance

  1. Jasně definujte kritéria používané pro hodnocení vědecké produktivity žadatelů o grant a zdůrazněte, zejména pro začínající výzkumné pracovníky, že vědecký obsah článku je mnohem důležitější než publikační měřítka nebo renomé časopisu, ve kterém byl publikován.
  2. Pro účely hodnocení výzkumu zvážte, kromě výzkumných publikací, hodnotu a dopad všech výstupů výzkumu (včetně kolekce dat a softwaru) přičemž je třeba brát v úvahu širokou škálu měřítek dopadu, včetně kvalitativních ukazatelů dopadu výzkumu, jako jsou například vliv na používané metody a praxi.

Institucím

  1. Jasně definujte hodnotící kritéria používaná při rozhodování o přijetí do zaměstnání či pracovního poměru a o povýšení, přičemž zdůrazněte především mladým začínajícím výzkumníkům, že vědecký obsah jejích výzkumu je daleko důležitější než bibliometrické indikátory nebo renomé časopisu ve kterém jsou výsledky jejich výzkumu publikované. 
  2. Při hodnocení vědy, zvažte hodnotu a význam všech vědeckých výstupů (včetně sdílení dat a zdrojových kódů softwarů), nejen recenzovaných vědeckých článků a vezměte v potaz i široké spektrum jiných ukazatelů významu, včetně kvalitativních indikátorů jako je vliv na obecné postupy a praxi.

Vydavatelům

  1. Výrazně omezte důraz kladený na hodnotu impakt faktoru časopisů jako propagačního nástroje, v ideálním případě jej přestaňte propagovat nebo tento ukazatel prezentujte v širším kontextu dalších bibliometrických údajů časopisu (např. hodnota impakt faktoru časopisu za posledních 5 let, EigenFactor [8], SCImago [9], h-index, ediční a publikační časy, atd.) poskytujících širší přehled o hodnoceném časopisu.
  2. Zpřístupněte větší množství údajů týkající se článku, abyste podpořili přechod k hodnocení na základě vědeckého obsahu článku, namísto používání bibliometrických údajů časopisu, ve kterém byl článek publikován.
  3. Podporujte odpovědné uvádění autorství a poskytujte informace o konkrétním podílu každého autora.
  4. Bez ohledu na to zda jde o časopis s otevřeným přístupem (Open Access) nebo časopis dostupný na základě předplatného, odstraňte všechna omezení přístupu a opětovného využití seznamů citované literatury ve vědeckých článcích a zpřístupněte je pod licencemi Creative Commons Public Domain Dedication [10].
  5. Odstraňte nebo zredukujte omezení počtu citací ve článcích a tam, kde je to vhodné, upřednostněte citace primární literatury oproti přehledovým studiím (reviews), aby se tak dostalo uznání skupině nebo skupinám, které dané zjištění publikovaly jako první. 

Hodnotícím organizacím

  1. Buďte otevření a transparentní při poskytování dat a metod použitých pro výpočet všech hodnotících ukazatelů.
  2. Pokud je to možné, poskytujte data v rámci licence umožňující neomezené použití a ve strojově čitelném formátu.
  3. Jasně upozorněte, že nevhodná manipulace s ukazateli hodnocení nebude tolerována; definujte co představuje nevhodnou manipulaci a jaká opatření budou v boji proti ní přijata.
  4. Při hodnocení a všude, kde se hodnotící metriky používají, agregují nebo porovnávají, berte v úvahu různé typologie odborných článků (např. přehledové studie versus odborné články) a různé vědecké obory.

Vědcům

  1. Pokud budete součástí komisí nebo orgánů rozhodujících o finanční podpoře výzkumu, o pracovních úvazcích nebo povýšení, hodnoťte podle vědeckého obsahu nikoli na základě metrik časopisu, kde byl výzkum publikován.
  2. Pokud je to vhodné, citujte původní zdroje, ve kterých byly zjištěné výsledky poprvé zveřejněny a nikoliv přehledové články (review), aby se uznání dostalo těm co si je zaslouží. 
  3. K hodnocení významu jednotlivých publikovaných článků a dalších vědeckých výstupů, ve svých osobních a dalších prohlášeních, používejte větší množství ukazatelů a indikátorů vztahujících se ke článku [11].
  4. Poukazujte na nevhodné praktiky hodnocení vědy založené na hodnotě impakt faktoru časopisu, podporujte a učte dobré praktiky zaměřené na hodnotu a vliv konkrétních vědeckých výsledků.

Reference

  1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
  2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
  3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
  4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
  5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
  6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
  7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
  8. http://www.eigenfactor.org/
  9. http://www.scimagojr.com/
  10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
  11. http://altmetrics.org/tools/

*Impakt faktor časopisu (Journal Impact Factor) publikuje v současnosti společnost Clarivate Analytics.


This is a translation of the DORA text at https://sfdora.org/read which was prepared with the contribution of Mariana Hanková, Eva Hnátková and Radana Kahánková and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.