Nujno potrebno je izboljšati načine, s katerimi agencije za financiranje znanosti, akademske institucije in drugi vrednotijo izide znanstvenih raziskav. Da bi naslovila to potrebo, se je 16. decembra 2012 v San Franciscu v Kaliforniji na letnem srečanju Ameriškega združenja za celično biologijo (Annual Meeting of The American Society for Cell Biology – ASCB) zbrala skupina urednikov in založnikov znanstvenih člankov, ki je razvila sklop smernic, imenovanih Sanfranciška deklaracija o vrednotenju raziskovalne dejavnosti. Zainteresirane strani iz vseh znanstvenih ved in področij vabimo, da s svojim podpisom izrazijo podporo tej deklaraciji.

Izidi znanstvenih raziskav so številni in raznoliki ter vključujejo znanstvene članke, ki opisujejo nova dognanja, podatke, reagente in programsko opremo; intelektualno lastnino ter visoko usposobljene mlade znanstvenike. Agencije financerke, institucije, ki zaposlujejo znanstvenike, ter znanstveniki sami želijo in potrebujejo vrednotenje kakovosti in vplivnosti izidov raziskovalne dejavnosti. Zato je nujno, da je merjenje teh izidov natančno, ocenjevanje pa preudarno.

Faktor vpliva znanstvenih revij (Journal Impact Factor) je pogosto poglavitni parameter za primerjavo izidov raziskovalne dejavnosti posameznikov in institucij. Ta faktor, ki ga izračunava Thomson Reuters, je bil razvit kot knjižničarsko orodje za pomoč pri odločitvah o nakupu znanstvenih revij. Nikakor ni bil namenjen ocenjevanju kakovosti v člankih objavljenih znanstvenih raziskav. S tega stališča je nujno razumeti, da ima faktor vpliva kot orodje za vrednotenje raziskovalne dejavnosti številne dobro dokumentirane pomanjkljivosti. Te vključujejo: A) močno asimetrično porazdelitev citatov znotraj posameznih revij [1–3]; B) odvisnost njegovih lastnosti od znanstvene vede in področja, saj je faktor vpliva skupek večih, močno raznolikih tipov člankov, vključno z izvirnimi znanstvenimi članki ter preglednimi članki [1, 4]; C) strateško manipulacijo faktorja vpliva z uredniško politiko [5]; in D) slabo transparentnost podatkov za njegov izračun, ki poleg tega tudi niso prosto dostopni javnosti [4, 6, 7]. V nadaljevanju navajamo priporočila za izboljšanje načina vrednotenja kakovosti izidov raziskovalne dejavnosti. Strokovno recenzirani (peer-reviewed) znanstveni članek bo še vedno ostal v ospredju pri vrednotenju raziskovalne učinkovitosti, v vrednotenje pa bodo v prihodnje pomembno vključene tudi druge oblike znanstvenih izidov. Naša priporočila se torej osredotočajo na prakse pri znanstvenih člankih, objavljenih v strokovno recenziranih revijah, vendar jih je mogoče in potrebno uporabiti tudi pri drugih vrstah znanstvenih izidov, kot so podatkovni nizi (datasets). Priporočila so namenjena  agencijam financerkam, akademskim institucijam, revijam, organizacijam, ki izračunavajo metrike, ter posameznim raziskovalcem.

Skozi ta priporočila poteka nekaj rdečih niti:

  • potreba po opustitivi rabe na revijah temelječih metrik, kot je faktor vpliva, pri financiranju, imenovanju in napredovanju;
  • potreba po vrednotenju raziskav na podlagi njihovih dosežkov in ne na podlagi revij, v katerih so bile objavljene; ter
  • potreba po izkoristku možnosti, ki jih ponuja objava na spletu (odprava nepotrebnih omejitev števila besed, slik in referenc v člankih ter razvoj novih indikatorjev pomena in vplivnosti).

Priznavamo, da mnoge agencije za financiranje znanosti, institucije, založniki in raziskovalci že spodbujajo napredne prakse vrednotenja raziskovalne dejavnosti. Takšni koraki odločno vodijo k bolj prefinjenim in smiselnim pristopom k ocenjevanju raziskovalne dejavnosti, ki jih lahko sedaj privzamejo in nadgradijo vsi ključni udeleženci.

Podpisniki Sanfranciške deklaracije o vrednotenju raziskovalne dejavnosti podpirajo uvedbo sledečih vrednotenjskih praks.

Splošna priporočila

  1. Na revijah temelječih metrik, kot je faktor vpliva, ne uporabljajte za nadomestno merilo kakovosti posameznih znanstvenih člankov in individualnih prispevkov znanstvenikov ali pri sprejemanju odločitev o zaposlovanju, napredovanju in

Za agencije financerke

  1. Natančno opredelite kriterije za ocenjevanje znanstvene produktivnosti prijaviteljev projektov ter jasno poudarite, še posebej pri raziskovalcih na začetku kariere, da je vsebina znanstvenega članka veliko pomembnejša od kvantitativnih kazalnikov ali identitete revije, v kateri je bil objavljen.
  2. Za namene vrednotenja raziskovalne dejavnosti vzemite v obzir vrednost in vplivnost vseh raziskovalnih izidov, od znanstvenih publikacij do drugih elementov (vključno s podatkovnimi nizi in programsko opremo). Upoštevajte širok spekter meril vpliva, vključno s kvalitativnimi kazalniki raziskovalnega vpliva, kot je učinek na politike in prakse.

Za institucije

  1. Natančno opredelite kriterije za odločanje o zaposlovanju, stalnih akademskih pozicijah in napredovanju, pri čemer še posebej pri raziskovalcih na začetku kariere poudarite, da je vsebina znanstvenega članka veliko pomembnejša od kvantitativnih kazalnikov ali identitete revije, v kateri je bil objavljen.
  2. Za namene vrednotenja raziskovalne dejavnosti vzemite v obzir vrednost in vplivnost vseh znanstvenih izidov, od znanstvenih publikacij do drugih elementov (vključno s podatkovnimi nizi in programsko opremo). Upoštevajte širok spekter meril vpliva, vključno s kvalitativnimi kazalniki raziskovalnega vpliva, kot je učinek na politike in prakse.

Za založnike

  1. Močno zmanjšajte uporabo faktorja vpliva kot promocijskega V idealnem primeru popolnoma prenehajte s promocijo faktorja vpliva ali pa to metriko predstavite v kontekstu nabora na revijah temelječih metrik (npr. 5-letni faktor vpliva, EigenFactor [8], SCImago [9], h-indeks, uredniški in založniški roki itd.), ki prikazujejo jasnejšo sliko uspešnosti neke revije.
  2. Zagotovite nabor na člankih temelječih metrik, ki bo spodbudil prehod od vrednotenja po kvantitativnih kazalnikih revij, v katerih so članki objavljeni, k vrednotenju po znanstveni vsebini člankov.
  3. Spodbujajte prakse odgovornega avtorstva in navajanje informacij o specifičnih prispevkih vsakega avtorja.
  4. Ne glede na to, ali revija temelji na odprtem dostopu ali naročnini, odstranite vse omejitve ponovne uporabe seznamov referenc v znanstvenih člankih in jih dajte na voljo javnosti pod licenco Creative Commons (Creative Commons Public Domain Dedication) [10].
  5. Odstranite ali zmanjšajte omejitve števila referenc v znanstvenih člankih ter, kjer je to primerno, zahtevajte navajanje primarnih virov namesto preglednih člankov, da bo priznanje dobila tista raziskovalna skupina (ali več skupin), ki je prvič poročala o nekem odkritju.

Za organizacije, ki izračunavajo metrike:

  1. Bodite odprti in transparentni pri navajanju podatkov in metod, ki ste jih uporabili za izračun vseh metrik.
  2. Podatke dajte na voljo pod licenco, ki omogoča neomejeno ponovno uporabo, ter zagotovite računalniški dostop do podatkov, kjer je to mogoče.
  3. Jasno izrazite svoje stališče, da ne boste dopuščali neprimerne manipulacije z metrikami; natančno opredelite, kaj se šteje za neprimerno manipulacijo in katere ukrepe boste vpeljali, da bi jo preprečili.
  4. Pri uporabi, združevanju ali primerjavi metrik upoštevajte različne tipe znanstvenih člankov (npr. pregledni znanstveni članki v primerjavi z izvirnimi znanstvenimi članki) in različna raziskovalna področja.

Za raziskovalce:

  1. Kadar sodelujete v odborih, ki sprejemajo odločitve o financiranju, zaposlovanju, stalnih akademskih pozicijah in napredovanju, za podlago pri vrednotenju vzemite znanstveno vsebino namesto kvantitativnih kazalnikov.
  2. Kjerkoli je to primerno, namesto preglednih znanstvenih člankov navajajte primarne vire, ki prvič poročajo o določenih opažanjih, da bodo priznanje prejeli tisti, ki si ga resnično zaslužijo.
  3. V osebnih/podpornih izjavah kot dokaz vplivnosti posameznih objavljenih člankov in drugih raziskovalnih izidov uporabljajte nabor metrik in indikatorjev [11].
  4. Izpodbijajte prakse ocenjevanja raziskovalne dejavnosti, ki se pretirano zanašajo na faktor vpliva, ter promovirajte in poučujte najboljše prakse, ki se osredotočajo na vrednost in vplivnost posameznih raziskovalnih izidov.

Viri

  1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
  2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
  3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
  4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
  5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
  6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
  7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
  8. http://www.eigenfactor.org/
  9. http://www.scimagojr.com/
  10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
  11. http://altmetrics.org/tools/

*Faktor vpliva znanstvenih revij (Journal Impact Factor) sedaj objavlja Clarivate Analytics.


This is a translation of the DORA text at https://sfdora.org/read, contributed by Tea Romih and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.