On tekkinud tungiv vajadus täiustada rahastavate organisatsioonide, teadus- ja arendusasutuste ning teiste asjaosaliste seas levinud teadusliku uurimistöö väljundite hindamise tavasid. 16. detsembril 2012. aastal kogunes teadusväljaannete toimetajatest ja kirjastajatest koosnev töörühm San Franciscos Californias toimunud American Society for Cell Biology (ASCB) aastakoosolekule, et asuda kõnealust probleemi lahendama. Töörühm koostas soovituste nimekirja, mis on saanud tuntuks San Francisco teaduse hindamise deklaratsiooni nime all. Huvitatud osapooled mis tahes teadusharust on oodatud deklaratsiooni toetama sellele alla kirjutades.
Teadusliku uurimistöö väljundeid on palju ja need on erinevad, sh näiteks uusi teadmisi tutvustavad publikatsioonid, andmed, reagendid, tarkvara, intellektuaalomand ja kõrgelt kvalifitseeritud noored teadlased. Rahastavad organisatsioonid, teadlastele tööd pakkuvad asutused ning teadlased ise – kõikidel on tahe ja vajadus hinnata teadustöö väljundite kvaliteeti ja mõju. Seetõttu on teadustöö väljundite hoolikas mõõtmine ja arukas hindamine väga oluline.
Sageli kasutatakse teadlaste ning teadus- ja arendusasutuste teadusliku väljundi võrdlemisel põhilise mõõdupuuna ajakirja mõjufaktorit. Thomson Reutersi* meetodil arvutatav ajakirja mõjufaktor loodi algselt selleks, et abistada raamatukoguhoidjaid ajakirjade tellimisel, mitte selleks, et mõõta ajakirjaartiklis sisalduva uurimistöö kvaliteeti. Sellest lähtudes on oluline mõista, et ajakirja mõjufaktoril kui teaduse hindamise abivahendil on mitu põhjalikult kirjeldatud puudust. Need kitsaskohad on järgmised: A) eri ajakirjade lõikes jaotub viitamine väga ebaühtlaselt [1–3]; B) ajakirja mõjufaktor on erialaspetsiifiline: see on kogum mitmetest väga erinevat tüüpi artiklitest, näiteks nii teadusartiklitest kui ülevaateartiklitest [1, 4]; C) toimetuse poliitika võimaldab ajakirja mõjufaktoriga manipuleerida (ehk trikitada) [5]; D) andmed, mida kasutatakse ajakirja mõjufaktori arvutamiseks, ei ole läbipaistvad ega üldsusele vabalt kättesaadavad [4, 6, 7]. Allpool esitatud ettepanekute eesmärk on täiustada teadustöö väljundite kvaliteedi hindamise tavasid. Kuigi teadustöö tulemuslikkuse hindamisel kasvab aja jooksul lisaks teadusartiklitele ka teiste väljundite osatähtsus, jääb eelretsenseeritud teadusartikkel keskse teadustöö väljundina, millele tugineb teadustöö hindamine, siiski püsima. Seega keskenduvad alljärgnevad ettepanekud eelkõige eelretsenseeritavates ajakirjades avaldatud teadusartiklitega seotud tavadele, kuid neid saab ja tuleb mõista laiemalt kehtivana ka kaasnevate tulemuste (näiteks andmekogumite) tunnustamisel, mis on samuti olulised teadustöö väljundid. Need ettepanekud on suunatud rahastavatele organisatsioonidele, teadus- ja arendusasutustele, ajakirjadele, bibliomeetrilisi andmeid tekitavatele asutustele ja teadlastele endile.
Ettepanekute läbivad teemad on järgmised:
- vajadus juurida välja ajakirjapõhise bibliomeetria, näiteks ajakirja mõjufaktori, kasutamine rahastamisotsuste tegemisel ning tööle võtmise ja edutamise puhul;
- vajadus hinnata teadustööd sõltumatuna ajakirjast, milles see on avaldatud; ja
- vajadus kasutada maksimaalselt ära internetis avaldamise eeliseid (näiteks vähendada ebavajalikke piiranguid sõnade arvule, kujutistele ja viidetele artiklites ning leida uusi näitajaid, mille abil hinnata olulisust ja mõju).
Paljud rahastavad organisatsioonid, teadus- ja arendusasutused, kirjastajad ja teadlased toetavad juba praegu teadustöö hindamiseks täiustatud meetodite kasutuselevõttu. Taolisi samme tehakse üha hoogsamalt üha enam viimistletud ja mõtestatud teadustöö hindamismeetodite suunas. Kõik võtmetähtsusega huvirühmad on oodatud need põhimõtted omaks võtma ja neid edasi arendama.
San Francisco teaduse hindamise deklaratsioonile allakirjutanud toetavad teadustöö hindamisel alljärgnevate meetodite rakendamist.
Üldine soovitus
1. Mitte kasutada ajakirjapõhist bibliomeetriat, näiteks ajakirja mõjufaktorit, teadusartiklite kvaliteedi surrogaatmõõdikuna teadlase töö hindamisel, tööle võtmisel, edutamisel ja rahastamisotsuste tegemisel.
Rahastavatele organisatsioonidele
2. Uurimistoetuste taotlejatele, eriti karjääri alustavatele teadlastele, tuleb teadustöö tulemuslikkuse hindamise kriteeriume selgitada ühemõtteliselt ja rõhutada seda, et publikatsiooni teaduslik sisu on palju olulisem kui selle bibliomeetrilised näitajad või ajakirja maine, milles on artikkel avaldatudarin werd gepubliceerd.
3. Teadustöö hindamisel tuleb lisaks teaduspublikatsioonidele võtta arvesse kõikide teadustöö väljundite (sealhulgas andmekogumite ja tarkvara) väärtust ja mõju. Samuti tuleb pöörata tähelepanu suuremale hulgale mõjunäitajatele, sealhulgas teadustöö kvalitatiivsetele mõjunäitajatele, näiteks poliitika ja praktika mõjutamisele.
Teadus- ja arendusasutustele
4. Teadlastele, eriti karjääri alustavatele teadlastele, tuleb tööle võtmise, tenuuri ja edutamise kriteeriume selgitada ühemõtteliselt ja rõhutada seda, et publikatsiooni teaduslik sisu on palju olulisem kui selle bibliomeetrilised näitajad või ajakirja maine, milles on artikkel avaldatud.
5. Teadustöö hindamisel tuleb lisaks teaduspublikatsioonidele võtta arvesse kõikide teadustöö väljundite (sealhulgas andmekogumite ja tarkvara) väärtust ja mõju. Samuti tuleb pöörata tähelepanu suuremale hulgale mõjunäitajatele, sealhulgas teadustöö kvalitatiivsetele mõjunäitajatele, näiteks poliitika ja praktika mõjutamisele.
Kirjastajatele
6. Ajakirja mõjufaktori kui reklaamivahendi rolli tuleb oluliselt vähendada. Kõige paremini saab seda teha näiteks loobudes ajakirja mõjufaktori ülistamisest või kasutades mitmekesisemat ajakirjapõhist bibliomeetriat (nt viie aasta mõjufaktorit, EigenFactor´it [8], SCImago´t [9], h-indeksit, toimetamise ja avaldamise aega jne), et saada ajakirja tasemest mitmekülgsem ettekujutus.
7. Teadlastele peavad olema kättesaadavad mitmesugused artiklipõhised näitajad, et soodustada üleminekut hindamisele, mis keskendub artikli teaduslikule sisule, mitte ajakirja bibliomeetrilistele näitajatele, milles on artikkel avaldatud.
8. Tuleb edendada vastutustundliku publitseerimise head tava ja iga autori konkreetse panuse äramärkimist.
9. Olenemata sellest, kas ajakiri on avatud juurdepääsuga või tellimuspõhine, tuleb lõpetada piirangute kehtestamine teadusartiklites toodud kirjandusviidete loendite taaskasutamisele ja muuta need ligipääsetavaks vastavalt Creative Commons´i avaliku omandi litsentsile [10].
10. Teadusartiklis kasutatud viidete arvu piiramine tuleb lõpetada või seda olulisel määral vähendada. Seal, kus see on asjakohane, tuleb sekundaarallika asemel nõuda algallikale viitamist, et tunnustada teadlasi, kes andsid tulemustest esimesena teada.
Bibliomeetrilisi andmeid tekitavatele asutustele
11. Info edastamine, mis on seotud bibliomeetriliste näitajate arvutamiseks kasutatavate andmete ja meetoditega, peab olema avatud ja läbipaistev.
12. Andmed tuleb teha kättesaadavaks litsentsi alusel, mis tagab nende piiramatu korduvkasutamise ja võimalusel veebipõhise juurdepääsu.
13. Üheseltmõistetavalt tuleb väljendada sallimatust bibliomeetriliste näitajatega sobimatu manipuleerimise suhtes. See, mis sobimatu manipulatsiooni alla liigitub ja milliseid meetmeid selle vastu võitlemiseks rakendatakse, peab olema selgelt sõnastatud.
14. Kui kasutatakse, kogutakse või võrreldakse bibliomeetrilisi näitajaid, tuleb võtta arvesse nii publikatsioonide eri liike (näiteks ülevaateartikkel vs. teadusartikkel) kui valdkondlikke erinevusi.
Teadlastele
15. Rahastamist, tööle võtmist, tenuuri või edutamist puudutavaid otsuseid tegevate komisjonide liikmetel tuleb anda hinnanguid teadusliku sisu, mitte bibliomeetriliste näitajate põhjal.
16. Võimalusel tuleb sekundaarallika asemel viidata alati algallikale, kus tulemustest esimesena teada anti, et tunnustada neid, kes tunnustamist väärivad.
17. Teadustöö mõjule hinnangu andmisel on hea kasutada erinevaid bibliomeetrilisi näitajaid, ja seda nii iga avaldatud artikli kui teiste teadustöö väljundite puhul [11].
18. Teaduse hindamise tavasid, mis tuginevad ülemäära ajakirja mõjufaktoril, tuleb püüda muuta. Samuti on vaja edendada ja juurutada head tava, mis keskendub konkreetsete teadustöö väljundite väärtusele ja mõjule.
Kasutatud kirjandus
- Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
- Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
- Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
- Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
- The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
- Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
- Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
- http://www.eigenfactor.org/
- http://www.scimagojr.com/
- http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
- http://altmetrics.org/tools/
* Nüüd arvutab ajakirja mõjufaktorit Clarivate Analytics.
PDF: DORA_Estonian.pdf
This is a translation of the DORA text at https://sfdora.org/read, contributed by Hele Priimets and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.