Непрестано се јавља потреба да се побољша начин на који резултате научног истраживања могу проценити спонзори, академске институције и друге заинтересоване стране. Да би о том питању дискутовали, група уредника и издавача научних часописа се састала за време годишњег састанка Америчког друштва за ћелијску биологију у Сан Франциску, у Калифорнији, 16. децембра 2012. године. Ова група је дефинисала препоруке, које се називају Декларација о вредновању истраживања из Сан Франциска. Позивамо заинтересоване стране из свих научних дисциплина да пруже подршку потписивањем Декларације.
Резултати научних истраживања су разнородни и обухватају научне чланке, у којима се саопштавају нова сазнања, подаци, реагенси и софтвери, интелектуалну својину, као и младе научнике. Спонзори, институције које запошљавају научнике и сами научници имају жељу и потребу да процене квалитет и значај научних резултата. Зато је пресудно да се научни резултати мере прецизно и процењују мудро.
Импакт фактор часописа се често узима као основни параметар са којим се упоређују научни резултати појединаца и институција. Импакт фактор који израчунава Томсон Ројтерс* замишљен је као средство које би помогао библиотекарима да пронађу часопис који би требало набавити, а не као мера којом се приказује научни квалитет истраживања у неком чланку. Имајући ово у виду, важно је разумети да импакт фактор часописа узет као средство процене истраживања има неколико недостатака који су се до сада испољили. Ограничења подразумевају следеће: а) дистрибуција цитата у оквиру часописа је извитоперена [1-3], б) карактеристике импакт фактора се тичу одређене области: чини га више разноврсних врста чланака поред истраживачких чланака и прегледних чланака, в) импакт фактор се може подешавати (њиме се може „манипулисати“) путем уређивачке политике и г) подаци који се користе при израчунавању импакт фактора нису ни транспаренти ни доступни јавности [4,6,7]. У наставку текста дајемо неколико препорука којима се може побољшати начин на који се вреднује резултат истраживања. Резултати и других врста чланака временом ће постати значајни при процени ефикасности истраживања, али рецензирани научни чланци остају примаран извор резултата на које се ослања вредновање истраживања. Наше препоруке се превасходно тичу научних чланака који се објављују у рецензираним часописима али би их требало применити и на друга дела, као што су на пример базе података, као значајне резултате истраживања. Ове препоруке намењене су спонзорима, академским институцијама,
Неколико тема се може препознати у датим препорукама:
- Потреба да се избегне употреба метрике коју користе часописи, као што је импакт фактор, и то при финансирању, постављењу на функцију или унапређењу у звање;
- Потреба да се истраживање процењује према достигнућима пре него на основу часописа у коме се истраживање објављује; и
- Потреба да се искористе прилике које пружа онлајн објављивање (као што је мање ограничење у броју речи, слика и референци, и нови показатељи утицаја и импакт фактора)
Приметили смо да многи спонзори, институције, издавачи и истраживачи већ подстичу унапређене начине процене истраживања. Такви кораци су све чешћи ка софистициранијим и сврсисходнијим приступима вредновања истраживања тако да их могу прихватити сви чиниоци.
Потписници Декларације из Сан Франциска о вредновању истраживања подржавају следеће поступке у вредновању истраживања.
Опште препоруке
- Не користити метрику часописа, какав је импакт фактор, као сурогат меру квалитета појединачних научних чланака, при вредновању доприноса појединачних научника, или при запошљавању, унапређењу или финансирању.
За спонзоре
- Прецизно објаснити критеријуме који важе при процени научног учинка оних који се пријављују за финансијску помоћ и јасно нагласити, посебно млађим научницима, да је научна садржина чланка важнија од метрике или идентитета часописа у коме је објављен.
- За потребе процене истраживања размотрити вредност и значај свих резултата истраживања (укључујући базе података и софтвер) поред научних публикација, и размотрити шири опсег мера укључујући квалитативне показатеље значаја истраживања, као што је утицај на политику и праксу.
За институције
- Прецизно објаснити критеријуме који се примењују при одлучивању о запошљавању, сталном запослењу и унапређењу, јасно истичући, посебно за млађе научнике, да је научна садржина чланка важнија од метрике или идентитета часописа у коме је објављен.
- За потребе процене истраживања размотрити вредност и значај свих резултата истраживања (укључујући базе података и софтвер) поред научних публикација, и размотрити шири опсег мера укључујући квалитативне показатеље значаја истраживања, као што је утицај на политику и праксу.
За издаваче
- Знатно смањити значај импакт фактора као средства на коме се заснива унапређење, пре свега престанком наметања импакт фактора или приказивањем метрике у контексту различите метрике у часописима (нпр. петогодишњи импакт фактор, EigenFactor [8], SCImago [9], h-index, уводни чланак или учесталост излажења) који дају ширу слику учинка часописа.
- Учинити доступним већи опсег метрике чланака да би се направио помак ка процени која се заснива на научној садржини чланка пре него на издавачкој метрици часописа у коме је објављен.
- Подстицати одговорност код аутора и прибављање података о доприносу сваког аутора.
- У зависности од тога да ли је часопис отвореног приступа или заснован на претплати, уклонити сва ограничења поновне употребе референци у научним чланцима и учинити их доступним под условима које прописује Creative Commons Public Domain [10].
- Уклонити или смањити ограничења на број референци у научним чланцима, а тамо где је то могуће, увести као обавезно цитирање примарне литературе пре него прегледне да би се уважили аутори који су први известили о неком налазу.
За организације које се баве метриком
- Бити отворен и транспарентан тако што ће се објавити подаци и методе које се примењују при рачунању метрике.
- Дати податке под неком лиценцом која допушта неограничено коришћење и обезбедити електронски приступ подацима, када је могуће.
- Јасно казати да се непримерено кривотворење метрике неће допустити; прецизно рећи шта се подразумева под кривотворењем метрике и које ће се мере предузети да се то спречи.
- Узети у обзир различите врсте чланака (нпр. прегледни чланак наспрам научног чланка) и различите предметне области када се метрика користи, сакупља или пореди.
За истраживаче
- Када сте у комисијама које доносе одлуке о финансирању, запошљавању, сталном запослењу или унапређењу вршите процене на основу научне садржине пре него на основу метрике издања.
- Када је то могуће, цитирати примарну литературу у којој се први пут саопштавају опажања пре него прегледну литературу да би се уважили они којима заслуге припадају.
- Користити опсег метрике чланака и индикаторе за личне или допунске ставове, као доказе утицаја појединачних објављених чланака и других истраживачких резултата [11].
- Довести у питање вредновање која се непримерено ослања на импакт фактор часописа и промовисати и показати добру праксу која се фокусира на вредност и утицај одређених резултата истраживања.
Референце
- Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
- Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
- Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
- Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
- The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
- Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
- Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
- http://www.eigenfactor.org/
- http://www.scimagojr.com/
- http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
- http://altmetrics.org/tools/ (Link to archived site)
* Фактор утицаја часописа сада објављује Clarivate Analytics
PDF: DORA_Serbian.pdf
This is a translation of the DORA text at https://sfdora.org/read, contributed by Marija Gordic, Vesna Abadic, and Violeta Stojičić and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.