Iškilo būtinybė tobulinti būdus, kuriuos mokslo tyrimus finansuojančios, akademinės ir kitos institucijos taiko mokslinių tyrimų rezultatams vertinti. Grupė mokslo žurnalų redaktorių ir leidėjų aptarė susidariusią situaciją kasmetinėje Amerikos ląstelės biologijos draugijos (angl. The American Society for Cell Biology, ASCB) konferencijoje, vykusioje 2012 m. gruodžio 16 d. San Fransiske, Kalifornijoje. Šio susitikimo metu ir buvo parengtas rekomendacijų sąrašas, toliau vadinamas San Fransisko deklaracija dėl mokslo vertinimo (angl. San Francisco Declaration on Research Assessment, DORA). Kviečiame bet kuriai mokslo sričiai atstovaujančias susidomėjusias institucijas ir mokslininkus paremti deklaraciją ir ją pasirašyti.
Atliekant mokslinius tyrimus, gaunama gausybė įvairiausių rezultatų: moksliniai straipsniai, kuriuose pateikiama naujų žinių ir įžvalgų, duomenys, reagentai ar programinė įranga; sukuriama intelektinė nuosavybė bei išugdomi aukštą kompetenciją turintys jaunieji mokslininkai. Mokslinių tyrimų kokybės ir jų aktualumo vertinimo poreikį jaučia visi: mokslą finansuojančios ir mokslininkus įdarbinančios institucijos bei patys mokslininkai. Šiam poreikiui patenkinti reikalingas sumanus, tikslus ir skaidrus mokslo rezultatų vertinimas.
Žurnalo cituojamumo rodiklis (angl. Journal Impact Factor) dažniausiai taikomas kaip pirminis ir pagrindinis matmuo, vertinant individų ir institucijų mokslo rezultatus. Tačiau žurnalo cituojamumo rodiklis, kurį pateikia Clarivate Analytics (anksčiau – Thomson Reuters*), buvo sukurtas kaip pagalbinė priemonė bibliotekininkams, sudarantiems prenumeruojamų žurnalų sąrašus, bet ne straipsnyje paskelbtų mokslinių tyrimų kokybei matuoti. Turint omenyje šį faktą, būtina suprasti, kad žurnalo cituojamumo rodiklis, kaip mokslo produkcijos vertinimo vienetas, turi daugybę moksliniais tyrimais patvirtintų trūkumų ir apie tai skelbiama daugelyje straipsnių. Pagrindiniai trūkumai yra tai, kad: A) citavimų skaičius tarp žurnale paskelbtų straipsnių pasiskirsto itin netolygiai [1–3]; B) žurnalo cituojamumo rodiklio dydis priklauso nuo mokslo srities specifikos: jį sudaro itin skirtingų žurnaluose skelbiamų publikacijų rūšių kompozicija, įskaitant ir plačiai žinomus skirtumus tarp įprastų straipsnių ir apžvalginių [1, 4]; C) žurnalo cituojamumo rodiklio dydžiu gali būti manipuliuojama (arba „žaidžiama“) taikant įvairius žurnalo nuostatus [5]; ir D) duomenys, naudojami žurnalo cituojamumo rodikliams apskaičiuoti, nėra nei skaidrūs, nei viešai prieinami [4, 6, 7]. Toliau pateikiame daugybę rekomendacijų, kaip galima būtų patobulinti mokslinių tyrimų vertinimo būdus. Ateityje, siekiant nustatyti mokslinių tyrimų efektyvumą, įvairesni tyrimų rezultatai bus svarbūs ir vertinami, tačiau recenzuoti moksliniai straipsniai išliks ir bus svarbiausi. Dėl šios priežasties pateiktos rekomendacijos pirmiausia nukreiptos į mokslinių straipsnių, skelbiamų recenzuojamuose žurnaluose, vertinimo praktiką, tačiau jos galėtų ir turėtų būti išplėstos vertinant ir kitus tyrimų metu gautus rezultatus, pvz., duomenis. Šios rekomendacijos skirtos mokslą finansuojančioms įstaigoms, akademinėms institucijoms, žurnalų leidėjams, rodiklius teikiančioms organizacijoms bei patiems mokslininkams.
Šios rekomendacijos siejamos su keliais svarbiais aspektais:
-
būtina atsisakyti žurnalo lygmens rodiklių (pvz., tokių kaip žurnalo cituojamumo rodiklis) taikymo sprendžiant mokslo finansavimo, įdarbinimo ar karjeros klausimus;
-
būtina vertinti mokslo darbus pagal jų pačių reikšmingumą, o ne remiantis žurnalo, kuriame skelbiami tyrimo rezultatai, rodikliais ir reputacija; ir
-
svarbu pasinaudoti elektroninės leidybos teikiamomis galimybėmis (pvz., panaikinti nereikalingus apribojimus žodžių, iliustracijų ir cituojamos literatūros skaičiui bei išbandyti naujus reikšmingumo ir poveikio rodiklius).
Mes pažymime, kad nemažai mokslą finansuojančių įstaigų, institucijų, leidėjų ir mokslininkų jau skatina geresnių mokslinių tyrimų vertinimo praktikų taikymą. Šie žingsniai padeda judėti link pažangesnių ir prasmingesnių būdų moksliniams tyrimams vertinti, juos gali tobulinti ir jais gali remtis visi suinteresuoti iniciatyvos šalininkai.
Pasirašantieji San Fransisko deklaraciją dėl mokslinių tyrimų vertinimo išreiškia savo paramą toliau išvardintoms praktikoms mokslinių tyrimų vertinimo srityje.
Bendros rekomendacijos
-
Netaikyti žurnalo lygmens rodiklių, tokių kaip žurnalo cituojamumo rodiklis, kaip pakaitalo vertinant pačių mokslinių straipsnių kokybę, mokslininkų indėlio ar spendžiant įdarbinimo, karjeros ar finansavimo teikimo klausimus.
Mokslą finansuojančioms įstaigoms
-
Nurodyti nedviprasmius kriterijus, kurie bus taikomi vertinant paraiškas teikiančių mokslininkų produktyvumą. Reikėtų pabrėžti, ypač kad būtų aišku jauniems tyrėjams, jog mokslo publikacijos turinys yra daug svarbesnis nei leidinio, kuriame jis paskelbtas, rodikliai ar įvaizdis.
-
Į mokslinių tyrimų vertinimo metodikas įtraukti ne tik mokslo publikacijas, bet ir kitas mokslinių tyrimų rezultatų rūšis (įskaitant duomenis ir programinę įrangą), ir įvertinti jų reikšmingumą bei poveikį. Taikyti daugiau įvairių rodiklių, ypač kokybinių, tokių kaip mokslinių tyrimų rezultatų svarba ir daroma įtaka priimamiems sprendimams bei praktiniam įgyvendinimui.
Mokslo institucijoms
-
Nurodyti tikslius kriterijus, taikomus įdarbinimo, atestavimo ir paaukštinimo atvejais, iš kurių ir jaunieji tyrėjai suprastų, kad mokslo darbo turinys yra daug svarbesnis nei leidinio, kuriame jis buvo publikuotas, rodikliai ar įvaizdis.
-
Į mokslinių tyrimų vertinimo metodikas įtraukti ne tik mokslo publikacijas, bet ir kitas mokslinių tyrimų rezultatų rūšis (įskaitant duomenis ir programinę įrangą), ir įvertinti jų reikšmingumą bei poveikį. Taikyti daug įvairių rodiklių, ypač kokybinių, tokių kaip mokslinių tyrimų rezultatų svarba ir daroma įtaka priimamiems sprendimams bei praktiniam įgyvendinimui.
Leidėjams
-
Atsisakyti žurnalo cituojamumo rodiklio propagavimo kaip rinkodaros priemonės arba bent jau taikyti šį rodiklį kartu su kitais, daugiau kriterijų aprėpiančiais žurnalo lygmens rodikliais (pvz., 5 metų cituojamumo rodikliu, EigenFactor [8], SCImago [9], h-index, recenzavimo ir publikavimo laikas ir kt.).
-
Pateikti platesnį straipsnio lygmens rodiklių spektrą, skatinant pereiti prie mokslinių straipsnių turinio vertinimo, o ne pagal žurnalų, kuriuose jie buvo publikuoti, rodiklius.
-
Skatinti atsakingą autorystės praktiką ir teikti visų autorių indėlį.
-
Panaikinti moksliniuose straipsniuose minimų bibliografijos šaltinių sąrašams taikomus apribojimus ir leisti juos viešai naudoti pagal Creative Commons Public Domain Dedication [10] sąlygas, nepriklausomai nuo to, ar žurnalas yra leidžiamas atvirojoje prieigoje ar reikalauja prenumeratos.
-
Pašalinti ar sumažinti moksliniuose straipsniuose taikomus apribojimus bibliografijos šaltinių skaičiui, ir, kur tikslinga, reikalauti cituoti pirminius literatūros šaltinius, o ne apžvalginius straipsnius, taip įvertinant tuos, kurie rezultatus paskelbė pirmieji.
Organizacijoms, teikiančioms rodiklius
-
Būti atviroms ir skaidrioms pateikiant pirminių duomenų šaltinius ir metodikas, taikomas skaičiuojant bet kuriuos rodiklius.
-
Naudojamus duomenis pateikti kartu su jų neapriboto pakartotinio panaudojimo licencija ir kompiuterizuota prieiga, jei įmanoma.
-
Aiškiai nurodyti, kad netinkama rodiklių interpretacija nebus toleruojama; pateikti informacijos kuo pasireiškia netinkamas rodiklių taikymas ir kokiomis priemonėmis jis bus pažabojamas.
-
Įvertinti mokslinių straipsnių tipų įvairovę (pvz., apžvalginiai ar įprasti straipsniai) ir mokslo sričių skirtumus, kai rodikliai yra sudaromi, taikomi ar lyginami.
Mokslininkams ir tyrėjams
-
Dalyvaujant darbo grupėse, kuriose sprendžiamas mokslinių tyrimų finansavimas, mokslininkų įdarbinimas, atestavimas ar paaukštinimas, vertinti mokslininkų darbą, o ne leidinių, kuriuose buvo skelbiamos publikacijos, rodiklius.
-
Visada, kai įmanoma, cituoti pirminius literatūros šaltinius, kuriuose rezultatai buvo pirmiausiai paskelbti, o ne apžvalgas, kuriose jie minimi, kad įvertinimas atitektų tiems, kam priklauso, t. y. pirmiesiems paskelbusiems.
-
Naudoti platų straipsnio lygmens rodiklių spektrą asmeniniuose ar papildomuose dokumentuose, taip pabrėžiant pačių mokslinių straipsnių ar kitų tyrimų rezultatų reikšmingumą [11].
-
Keisti mokslinių tyrimų vertinimo metodikas, kuriose žurnalo cituojamumo rodikliai taikomi neadekvačiai ir skleisti gerąją praktiką, paremta pačių mokslinių rezultatų reikšmingumu ir poveikiu.
Bibliografiniai šaltiniai
- Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
- Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
- Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
- Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
- The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
- Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
- Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
- http://www.eigenfactor.org/
- http://www.scimagojr.com/
- http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
- http://altmetrics.org/tools/ (Link to archived site)
*“Journal Impact Factor” dabar paskelbia “Clarivate Analytics”.