Nujno potrebno je izboljšati načine, na katere agencije za financiranje znanosti, akademske institucije in drugi vrednotijo izide znanstvenih raziskav. Da bi naslovila ta problem, se je 16. decembra 2012 v San Franciscu, CA, med letnim srečanjem Ameriškega združenja za celično biologijo (Annual Meeting of The American Society for Cell Biology – ASCB) zbrala skupina urednikov in založnikov znanstvenih člankov, ki je razvila sklop smernic, imenovanih Sanfranciška deklaracija o vrednotenju raziskovalne dejavnosti. Zainteresirane strani iz vseh znanstvenih disciplin vabimo, da s svojim podpisom izrazijo podporo tej deklaraciji.

Izidi znanstvenih raziskav so številni in raznoliki ter vključujejo znanstvene članke, ki opisujejo nova dognanja, podatke, reagente in programsko opremo, intelektualno lastnino ter visoko usposobljene mlade znanstvenike. Agencije financerke, institucije, ki zaposlujejo znanstvenike, ter znanstveniki sami želijo in potrebujejo vrednotenje kakovosti in odmevnosti izidov raziskovalne dejavnosti. Zato je nujno, da je merjenje izidov raziskovalne dejavnosti natančno, ocenjevanje pa preudarno.

Faktor vpliva znanstvenih revij (Journal Impact Factor) se pogosto uporablja kot primarni parameter za primerjavo izidov raziskovalne dejavnosti posameznikov in institucij. Faktor vpliva, kot ga izračunava Thomson Reuters*, je bil razvit kot orodje za pomoč knjižničarjem pri odločanju, katere revije kupiti, in ne kot merilo znanstvene kakovosti raziskav, opisanih v člankih. S tega stališča je nujno razumeti, da ima faktor vpliva kot orodje za vrednotenje raziskovalne dejavnosti številne dobro dokumentirane pomanjkljivosti. Te omejitve vključujejo: A) distribucije citatov znotraj posameznih revij so močno asimetrične [1–3]; B) lastnosti faktorja vpliva so odvisne od raziskovalnega področja, saj je skupek večih, močno raznolikih tipov člankov, vključno z izvirnimi znanstvenimi članki ter preglednimi članki [1, 4]; C) faktorje vpliva je mogoče strateško manipulirati z uredniško politiko [5]; in D) podatki za izračun faktorja vpliva niso niti transparentni, niti prosto dostopni javnosti [4, 6, 7]. V nadaljevanju navajamo priporočila za izboljšanje načina vrednotenja kakovosti izidov raziskovalne dejavnosti. Poleg znanstvenih člankov bodo v prihodnosti pri vrednotenju raziskovalne učinkovitosti pridobili pomen drugi tipi izidov, a strokovno recenzirani (peer-reviewed) znanstveni članek bo ostal osrednji raziskovalni izid kot podlaga za vrednotenje raziskovalne dejavnosti. Naša priporočila se torej v prvi vrsti osredotočajo na prakse v zvezi z znanstvenimi članki, objavljenimi v strokovno recenziranih revijah, vendar jih je mogoče in potrebno razširiti tudi na druge pomembne raziskovalne izide, kot so podatkovni nizi (datasets). Ta priporočila so namenjena agencijam finacerkam, akademskim institucijam, revijam, organizacijam, ki izračunavajo metrike, ter posameznim raziskovalcem.

Skozi ta priporočila teče nekaj rdečih niti:

  • potreba po opustitivi rabe na revijah temelječih metrik, kot je faktor vpliva, na področju financiranja, imenovanj in napredovanj;
  • potreba po vrednotenju raziskav po njihovih lastnih dosežkih namesto po revijah, v katerih so bile objavljene; ter
  • potreba po izkoriščanju priložnosti, ki jih zagotavlja objavljanje na spletu (npr. sprostitev nepotrebnih omejitev števila besed, slik in referenc v člankih ter razvoj novih indikatorjev pomena in vpliva).

Priznavamo, da mnoge agencije za financiranje znanosti, institucije, založniki in raziskovalci že spodbujajo napredne prakse vrednotenja raziskovalne dejavnosti. Takšni koraki postajajo gonilna sila k bolj prefinjenim in smiselnim pristopom k ocenjevanju raziskovalne dejavnosti, ki jih lahko sedaj privzamejo in nadgradijo vsi ključni udeleženci.

Podpisniki Sanfranciške deklaracije o vrednotenju raziskovalne dejavnosti podpirajo uvedbo sledečih praks vrednotenja raziskovalne dejavnosti.

Splošna priporočila

1. Ne uporabljajte na revijah temelječih metrik, kot je faktor vpliva, kot nadomestnega merila kakovosti posameznih znanstvenih člankov pri ocenjevanju prispevkov posameznih znanstvenikov ali pri odločitvah o zaposlitvah, napredovanju ali financiranju.

Za agencije financerke

2. Natančno opredelite kriterije za ocenjevanje znanstvene produktivnosti prijaviteljev projektov ter jasno poudarite, še posebej pri raziskovalcih na začetku kariere, da je vsebina znanstvenega članka veliko pomembnejša kot publikacijske metrike ali identitete revije, v kateri je bil objavljen.

3. Za namene vrednotenja raziskovalne dejavnosti poleg znanstvenih publikacij vzemite v obzir vrednost in odmevnost vseh raziskovalnih izidov (vključno s podatkovnimi nizi in programsko opremo) ter upoštevajte širok spekter meril vpliva, vključno s kvalitativnimi kazalniki raziskovalnega vpliva, kot je učinek na politike in prakse.

Za institucije

4. Natančno opredelite kriterije za odločanje o zaposlitvah, stalnih akademskih pozicijah in napredovanju, pri čemer jasno poudarite, še posebej pri raziskovalcih na začetku kariere, da je vsebina znanstvenega članka veliko pomembnejša kot publikacijske metrike ali identiteta revije, v kateri je bil objavljen.

5. Za namene vrednotenja raziskovalne dejavnosti poleg znanstvenih publikacij vzemite v obzir vrednost in odmevnost vseh raziskovalnih izidov (vključno s podatkovnimi nizi in programsko opremo) ter upoštevajte širok spekter meril vpliva, vključno s kvalitativnimi kazalniki raziskovalnega vpliva, kot je učinek na politike in prakse.

Za založnike

6. Močno zmanjšajte poudarek faktorja vpliva kot orodja za promocijo. V idealnem primeru popolnoma prenehajte s promocijo faktorja vpliva ali pa to metriko predstavite v kontekstu nabora na revijah temelječih metrik (npr. 5-letni faktor vpliva, EigenFactor [8], SCImago [9], h-indeks, uredniški in založniški roki itd.), ki zagotavljajo jasnejšo sliko uspešnosti neke revije.

7. Zagotovite nabor na revijah temelječih metrik, ki bo spodbudil prehod k vrednotenju na podlagi znanstvene vsebine članka namesto publikacijskih metrik revije, v kateri je bil objavljen.

8. Spodbujajte prakse odgovornega avtorstva in navajanje informacij o specifičnih prispevkih vsakega avtorja.

9. Ne glede na to, ali revija temelji na odprtem dostopu ali naročnini, odstranite vse omejitve ponovne uporabe seznamov referenc v znanstvenih člankih in jih dajte na voljo v javno domeno pod licenco Creative Commons (Creative Commons Public Domain Dedication) [10].

10. Odstranite ali zmanjšajte omejitve števila referenc v znanstvenih člankih ter, kjer je to primerno, zahtevajte navajanje primarnih virov namesto preglednih člankov, da bo priznanje dobila raziskovalna skupina (ali več skupin), ki je prvič poročala o nekem odkritju.

Za organizacije, ki izračunavajo metrike

11. Bodite odprti in transparentni pri navajanju podatkov in metod, ki ste jih uporabili za izračun vseh metrik.

12. Podatke dajte na voljo pod licenco, ki omogoča neomejeno ponovno uporabo, ter zagotovite računalniški dostop do podatkov, kjer je to mogoče.

13. Bodite jasni, da ne boste dopuščali neprimerne manipulacije z metrikami; natančno opredelite, kaj se šteje za neprimerno manipulacijo in katere ukrepe boste vpeljali, da bi jo preprečili.

14. Pri uporabi, združevanju ali primerjavi metrik upoštevajte različne tipe znanstvenih člankov (npr. pregledni znanstveni članki v primerjavi z izvirnimi znanstvenimi članki) in različna raziskovalna področja.

Za raziskovalce

15. Kadar sodelujete v odborih, ki sprejemajo odločitve o financiranju, zaposlitvah, stalnih akademskih pozicijah in napredovanju, za podlago pri vrednotenju vzemite znanstveno vsebino namesto publikacijskih metrik.

16. Kadarkoli je to primerno, namesto preglednih znanstvenih člankov navajajte primarne vire, ki prvič poročajo o določenih opažanjih, da bodo priznanje prejeli tisti, ki si ga resnično zaslužijo.

17. V osebnih/podpornih izjavah kot dokaz vpliva posameznih objavljenih člankov in drugih raziskovalnih izidov uporabljajte nabor metrik in indikatorjev [11].

18. Izpodbijajte prakse ocenjevanja raziskovalne dejavnosti, ki se pretirano zanašajo na faktor vpliva, ter promovirajte in poučujte najboljše prakse, ki se osredotočajo na vrednost in vpliv posameznih raziskovalnih izidov.

Viri

  1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
  2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
  3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
  4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
  5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
  6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
  7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
  8. http://www.eigenfactor.org/
  9. http://www.scimagojr.com/
  10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
  11. http://altmetrics.org/tools/

*Faktor vpliva znanstvenih revij (Journal Impact Factor) sedaj objavlja Clarivate Analytics.


This is a translation of the DORA text at https://sfdora.org/read, contributed by Tea Romih and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.