Све је израженији притисак неопходан да се побољшају начини процене научно-истраживачких резултата од стране финансијера истраживања, академских институција и других интересних група. У циљу решавања овог проблема, на Годишњем састанку Америчког друштва за биологију ћелија (ASCB), 16.12.2012. године у Сан Франциску (Калифорнија) састала се група уредника и издавача научних часописа. Група је развила низ препорука, названих Сан Франциско Декларација о процени истраживачког рада. Позивамо заинтересоване стране из свих научних дисциплина да дају своју подршку додавањем својих имена овој Декларацији.

Резултати научног истраживања су бројни и разнолики и укључују: истраживачке чланке о новим сазнањима, податке, реагенсе и софтвер; интелектуалну својину и високо обучене младе научнике. Сви, укључујући финансијере, институције које запошљавају научнике и сами научници, имају жељу и потребу да процене квалитет и утицај научних резултата. Стога је императив да се научни резултати прецизно измере и мудро процене.

Фактор утицаја часописа често се користи као примарни параметар којим може да се упореди резултат научног рада појединаца и институција. Првобитно је Фактор утицаја часописа, по израчунавању агенције Томсон Ројтерс (Thomson Reuters)*, створен као алат за помоћ библиотекарима приликом одабира часописа за набавку серијских публикација, а не као мерило квалитета научног истраживања у чланку. Имајући то у виду, важно је разумети да Фактор утицаја часописа има низ добро истражених недостатака када се посматра као алат за процену истраживања. Ова ограничења укључују: А) дистрибуције цитата унутар часописа су веома неравномерне [1–3], Б) карактеристике фактора утицаја су специфичне за свако поље (истраживања): оне су састављене од више, веома различитих типова чланака, укључујући примарне истраживачке радове и прегледне радове [1, 4], В) Фактор утицаја часописа може бити изманипулисан (“изигран”) уређивачком политиком [5], и Г) подаци коришћени за одређивање Фактора утицаја нису ни транспарентни нити јавно доступни [4, 6, 7]. У наставку доносимо низ препорука за унапређивање начина оцењивања квалитета резултата истраживања. Резултати, пре него истраживачки чланци имаће све већи значај у процени ефикасности истраживања у будућности, али ће рецензирани истраживачки чланак остати централни резултат истраживања који показује процену истраживања. Стога, наше препоруке се првенствено фокусирају на случајеве који се односе на истраживачке чланке објављене у рецензираним часописима, али се могу проширити препознавањем додатних производа, као што су скупови података, као важних резултата истраживања. Ове препоруке усмерене су на агенције за финансирање, академске институције, часописе, организације које се баве метриком и индивидуалне истраживаче.

Велики број тема покреће ове препоруке:

  • потреба да се елиминише употреба метрике засноване на часопису, као што су Фактори утицаја часописа, приликом финансирања, именовања и унапређења;
  • потреба да се процени истраживање на основу сопствених заслуга, а не на основу часописа у коме је истраживање објављено; и
  • потреба да се увећају могућности које пружа онлајн публикација (као што је изостављање непотребних ограничења на број речи, илустрација и референци у чланцима, као и проналажење нових индикатора значаја и утицаја).

Препознајемо да многе агенције за финансирање, институције, издавачи и истраживачи већ подстичу побољшане праксе у процени истраживања. Овакви кораци почињу да добијају на замаху ка софистициранијим и смисленијим приступима евалуације истраживања, који сада могу да буду изграђени и усвојени од стране свих кључних актера.
Потписници Сан Франциско Декларације о процени истраживања, подржавају усвајање следеће праксе у процени истраживања:

Општа препорука

1. Не користити метрике засноване на часопису, као сурогат меру квалитета појединачних истраживачких чланка, како би се проценио индивидуални допринос одређеног научника у ангажовању, унапређењу или у одлукама о финансирању.

За агенције за финансирање

2. Будите јасни у вези критеријума који се користе у процени научне продуктивности учесника који аплицирају на конкурс, и јасно их назначите, нарочито за истраживаче који су у почетној фази истраживања, да је научни садржај рада много важнији од метрике публикације или идентитета часописа у коме је рад објављен.
3. У сврху процене истраживања, размотрити вредност и утицај свих резултата истраживања (укључујући скупове података и софтвер) поред истраживачких публикација и размотрити широк спектар мера утицаја, укључујући квалитативне показатеље утицаја истраживања, као што је утицај на стратегију и праксу.

За институције

4. Будите јасни у погледу критеријума који се користе да би се донела одлука о запошљавању, избору у звање или промовисање, нарочито наглашавајући истраживачима почетницима, да је научни садржај рада значајнији од метрике публикације или идентитета часописа у коме је објављен.
5. У сврху процене истраживања, размотрити вредност и утицај свих резултата истраживања (укључујући скупове података и софтвер) поред истраживачких публикација и размотрити широк спектар мера утицаја укључујући квалитативне показатеље утицаја истраживања, као што је утицај на стратегију и праксу.

За издаваче

6. Знатно смањити истицање Фактора утицаја часописа као алата за промоцију, најбоље престанком његовог промовисања или представљањем метрике у контексту низа различитих оцена часописа (нпр. петогодишњи Фактор утицаја, EigenFactor [8], SCImago [9], h-index, временски интервал потребан за уређивање и објављивање) који пружају бољи приказ перформанси часописа.
7. Учинити доступним низ метрика заснованих на чланку, да би се охрабрио прелаз на процену засновану на научном садржају чланка, уместо на метрици часописа у коме је објављен.
8. Подстицати одговорне праксе аутора и пружити информације о конкретним доприносима сваког аутора.
9. Било да је часопис у отвореном приступу или се заснива на претплати, уклонити сва ограничења за поновну употребу чланка са референтних листа и учинити их доступним уз поштовање CC (Creative Commons Public Domain Dedication) лиценци. [10].
10. Уклонити или смањити ограничења на број референци у истраживачким радовима, и тамо где је прикладно, наложити цитирање примарно објављених радова пре него прегледних, како би се дало признање групи (групама) који су први пријавили откриће.

За организације које се баве метриком

11. Будите отворени и транспарентни у достављању података и метода којима се користите у израчунавању свих видова метрике.
12. Доставити податке у оквиру лиценце која дозвољава неограничену употребу и дозволити рачунски приступ подацима тамо где је то могуће.
13. Будите јасни у приступу да се неприкладна метрика неће толерисати, будите експлицитни о томе шта је неприкладна манипулација и које ће се мере предузети у борби против тога.
14. Узети у обзир варијације у типовима чланака (нпр. прегледне радове у односу на истраживачке) и у различитим тематским областима, када се метрике користе, израчунавају или пореде.

За истраживаче

15. Када се укључујете у одборе који одлучују о финансирању, запошљавању, мандату или унапређењу, извршите процене засноване пре на научном садржају него на метрикама публикације.
16. Када год је прикладно, цитирајте примарну литературу у којима је истраживање први пут објављено, а не прегледне радове како би се дао значај заслужним.
17. Користити читав низ метрика и показатеља индивидуалних изјава подршке, као доказ утицаја појединачних објављених чланака и других резултата истраживања. [11].
18. Супротставите се пракси процене истраживача који се неприкладно ослањају на Факторе утицаја часописа и промовишите и покажите најбоље начине фокусирања на вредности и утицаје специфичних резултата истраживања.

Референце

[1] Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
[2] Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
[3] Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
[4] Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
[5] The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
[6] Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
[7] Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
[8] http://www.eigenfactor.org/
[9] http://www.scimagojr.com/
[10] http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
[11] http://altmetrics.org/tools/

* Фактор утицаја часописа сада објављује Clarivate Analytics


This is a translation of the DORA text at https://sfdora.org/read, contributed by Marija Gordic and Vesna Abadic and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.