Sanfranciská deklarácia hodnotenia vedeckého výskumu

Spôsoby, akými grantové agentúry, akademické inštitúcie a iné subjekty hodnotia výstupy vedeckého výskumu, je nevyhnutné zlepšiť. Editori a vydavatelia vedeckých časopisov, ktorí sa zišli 6. decembra 2012 počas výročného stretnutia Americkej spoločnosti bunkovej biológie (Annual Meeting of The American Society for Cell Biology – ASCB) v San Franciscu, preto vytvorili súbor odporúčaní, nazvaný Sanfranciská deklarácia hodnotenia vedeckého výskumu. Vyzývame vedecké subjekty s podobným názorom, aby iniciatíve vyjadrili podporu podpísaním tejto deklarácie.

Početné a rôznorodé výstupy vedeckej činnosti zahŕňajú vedecké články, informujúce o nových poznatkoch, dáta, reagensy a softvéry; duševné vlastníctvo či erudovaných mladých vedcov. Grantové agentúry, inštitúcie, zamestnávajúce vedeckých pracovníkov, a vedcov samotných spája spoločný záujem a potreba hodnotenia kvality a významu vedeckých výstupov. Je preto žiadúce, aby boli vedecké výsledky posudzované a hodnotené objektívne a spravodlivo.

Ako základné kritérium na porovnanie vedeckých výstupov jednotlivcov a inštitúcií sa často používa impakt faktor časopisu. Tento indikátor, každoročne vypočítavaný spoločnosťou Thomson Reuters*, bol pôvodne vytvorený ako pomôcka pre knihovníkov pri nákupe časopisov; nebol zamýšľaný ako ukazovateľ vedeckej kvality výskumu obsiahnutého v článkoch. S ohľadom na túto skutočnosť je dôležité brať do úvahy, že používanie impakt faktoru časopisu ako nástroja na hodnotenie výskumu sa vyznačuje niekoľkými dobre zdokumentovanými nedostatkami. Tieto obmedzenia zahŕňajú: A) rozdelenie počtu citácií v rámci časopisov je veľmi skreslené [1-3]; B) vlastnosti impakt faktoru časopisu sa v jednotlivých vedeckých disciplínach odlišujú: každý odbor vytvára jedinečný súbor výstupov, vrátane pôvodných vedeckých článkov a recenzií [1, 4]; C) impakt faktor časopisu môže byť ovplyvnený taktizovaním a manipuláciou vydavateľmi časopisov [5]; a D) impakt faktor časopisu sa určuje netransparentne a na základe dát, ktoré nie sú verejne dostupné [4, 6, 7]. V nasledujúcom texte navrhujeme niekoľko odporúčaní na zlepšenie spôsobu, akým sa hodnotí kvalita vedeckých výstupov. Recenzovaný vedecký článok ostane hlavným indikátorom kvality vedeckého výskumu aj naďalej, hoci v budúcnosti bude pri posudzovaní efektivity výskumu narastať význam ostatných vedeckých výstupov. Naše odporúčania sa teda vzťahujú predovšetkým na prístupy spojené s pôvodnými vedeckými článkami, publikovanými v recenzovaných časopisoch, ale v rozšírenej podobe by mali byť používané aj na hodnotenie ďalších dôležitých vedeckých výstupov, napríklad dát. Tieto odporúčania sú určené grantovým agentúram, akademickým inštitúciám, časopisom, organizáciám zaoberajúcim sa bibliometriou, a samotným vedeckým pracovníkom.

Hlavné myšlienky sú zhrnuté do nasledovných odporúčaní:

  • nutnosti obmedziť používanie metriky, založenej na hodnotení časopisov (napr. impakt faktoru) pri rozhodovaní o finančnej podpore výskumu, pracovných úväzkoch a povýšeniach;
  • nutnosti hodnotiť výskum na základe jeho vlastného významu, nie na základe časopisu, v ktorom bol článok publikovaný;
  • nutnosti zužitkovať výhody online publikovania (napr. upustiť od nepotrebných obmedzení počtu slov, ilustrácií a bibliografických odkazov v článkoch a preskúmať možnosti nových ukazovateľov dôležitosti a významu, teda skutočného impaktu výskumu).

Vieme o tom, že viaceré grantové agentúry, inštitúcie, vydavateľstvá a vedci už podporujú zlepšené postupy hodnotenia výskumu. Postupné zmeny prispievajú k zdokonaľovaniu a implementácii prepracovanejších, zmysluplnejších prístupov všetkými zúčastnenými stranami.

Signatári Sanfranciskej deklarácie hodnotenia vedeckého výskumu podporujú prevzatie uvedených postupov pri hodnotení vedeckého výskumu.

Všeobecné odporúčania

  1. Nepoužívajte hodnotenia založené na bibliometrii časopisov (napr. impakt faktor) ako zástupný ukazovateľ kvality vedeckých článkov pri posudzovaní príspevkov jednotlivých vedcov, pri prijímacom procese, ako kritérium pre povýšenie alebo pri rozhodnutiach o financovaní projektov.

Agentúram poskytujúcim granty

  1. Jasne definujte kritériá používané na hodnotenie vedeckej produktivity žiadateľov o granty a zdôraznite, predovšetkým začínajúcim mladým vedcom, že vedecký obsah článku je oveľa dôležitejší ako publikačné metriky alebo renomé časopisu, v ktorom sa vedecká práca publikuje.
  2. Pri hodnotení vedeckého výskumu zvážte hodnotu a význam všetkých výstupov výskumu (vrátane dát a softvérov), nielen recenzovaných vedeckých článkov, ale aj široký rozsah iných ukazovateľov významu, vrátane kvalitatívnych indikátorov, napr. vplyvu na politické riešenia a ich realizácie v praxi.

Inštitúciám

  1. Jasne definujte kritériá využívané pri rozhodovaní o prijatí do zamestnania či pracovného pomeru a o povyšovaní, pričom zdôraznite, predovšetkým mladým začínajúcim vedcom, že vedecký obsah ich výskumu je oveľa dôležitejší ako publikačné metriky alebo renomé časopisu, v ktorom sú výsledky ich výskumu publikované.
  2. Pri hodnotení vedeckého výskumu zvážte hodnotu a význam všetkých výstupov výskumu (vrátane dát a softvérov), nielen recenzovaných vedeckých článkov, al aj široký rozsah iných ukazovateľov významu, vrátane kvalitatívnych indikátorov, napr. vplyvu na politické riešenia a ich realizácie v praxi.

Vydavateľom

  1. Výrazne znížte dôraz na hodnotu impakt faktoru vedeckých časopisov ako reklamného nástroja, v ideálnom prípade tým, že ho prestanete podporovať alebo začnete uvádzať tento ukazovateľ v kontexte ďalších spôsobov hodnotenia vedeckých časopisov (napr. priemernej hodnoty impakt faktoru za posledných 5 rokov, EigenFactoru [8], SCImaga [9], h-indexu, priemerného času editovania a vydávania článkov, atď.), poskytujúcich bohatší prehľad o význame časopisov.
  2. Sprístupnite široký rozsah hodnotiacich kritérií založených na článkoch, aby sa pri hodnotení kvality článku kládol dôraz na jeho vedecký obsah, nie na bibliometrické ukazovatele celého časopisu.
  3. Podporujte zodpovedné uvádzanie autorstva a poskytovanie informácií o konkrétnom podiele každého autora na publikovanej práci.
  4. Či už ide o časopis s otvoreným prístupom (open-access) alebo časopis dostupný iba predplatiteľom, odstráňte všetky obmedzenia opätovného použitia a spracovania zoznamov citovanej literatúry v pôvodných vedeckých článkoch a sprístupnite ich v rámci licencie verejnej sféry “Creative Commons Public Domain Dedication” [10].
  5. Odstráňte alebo znížte obmedzenia počtu citácií použitej literatúry v pôvodných vedeckých článkoch a, ak je to nutné, požadujte odcitovanie pôvodnej literatúry namiesto prehľadových článkov, s cieľom poskytnúť zásluhu skupine alebo skupinám, ktoré uverejnili objavy či zistenia ako prvé.

Organizáciám poskytujúcim hodnotenia

  1. Buďte otvorení a transparentní pri poskytovaní dát a metód, ktoré sa používajú na hodnotenie.
  2. Uvádzajte licencované dáta, umožňujúce neobmedzené opätovné použitie, a poskytnite prístup k dátam, ak je to možné.
  3. Jasne uveďte, že nebudete tolerovať manipuláciu s hodnoteniami, zadefinujte, čo predstavuje zneužitie dát a aké opatrenia budú prijaté na zamedzenie zneužitia.
  4. V hodnotení berte do úvahy rôzne typy článkov (napr. prehľadové články v porovnaní s pôvodnými vedeckými článkami) v rôznych vedných odboroch, v ktorých sa bibliometria používa, zoskupuje, alebo porovnáva.

Vedcom

  1. Ak budete členmi komisií, ktoré rozhodujú o financovaní, prijímaní a povyšovaní na nové pozície, hodnoťte na základe vedeckého obsahu, a nie na základe bibliometrických ukazovateľov časopisov.
  2. Ak je to možné, citujte v zozname literatúry vždy pôvodnú publikáciu, kde boli zistenia alebo objavy zverejnené prvýkrát, a nie prehľadové články, aby uznanie získali tí, ktorí si ho právom zaslúžia.
  3. Používajte viaceré spôsoby hodnotenia a ukazovateľov kvality článkov pri písaní osobných a sprievodných vyhlásení k žiadostiam o granty a pracovné pozície, ako doklady o dôležitosti jednotlivých publikovaných článkov a ostatných vedeckých výstupov [11].
  4. Poukazujte na hodnotenia výskumu, založené nesprávne len na hodnote impakt faktoru vedeckých časopisov; podporujte a učte o najlepších prístupoch, zameraných na hodnotu a vplyv špecifických výsledkov výskumu.

Odkazy

  1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
  2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
  3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
  4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
  5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
  6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
  7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
  8. http://www.eigenfactor.org/
  9. http://www.scimagojr.com/
  10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
  11. http://altmetrics.org/tools/ (Link to archived site)

* Spoločnosť Clarivate Analytics v súčasnosti publikuje hodnotu impakt faktoru časopisov (Journal Impact Factor).

PDF: DORA_Slovak.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Jana Laláková, Martin Odler, Eva Stopková and Dominika Truban and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.