San Francisco Verklaring omtrent de Beoordeling van Onderzoek

Er is dringende behoefte aan een verbetering van de manier waarop de producten van wetenschappelijk onderzoek worden geëvalueerd door subsidieverstrekkers, academische instellingen en andere partijen. Om dit probleem aan te pakken is op 16 december 2012, tijdens de jaarlijkse bijeenkomst van The American Society for Cell Biology (ASCB) in San Francisco, CA, een groep redacteuren en uitgevers van wetenschappelijke tijdschriften bijeengekomen. Deze groep heeft met de ‘San Francisco Verklaring omtrent de Beoordeling van Onderzoek’ een set van aanbevelingen ontwikkeld. Wij nodigen geïnteresseerde partijen afkomstig uit alle wetenschappelijke disciplines uit om hun steun te betuigen door hun naam aan deze Verklaring toe te voegen.

Wetenschappelijk onderzoek levert vele verschillende producten op, zoals onderzoeksartikelen over nieuwe kennis, data, reagentia en software; intellectueel eigendom; en hoogopgeleide jonge wetenschappers. Financieringsinstanties, instellingen die wetenschappers in dienst hebben, en wetenschappers zelf hebben allemaal belang bij het kunnen beoordelen van de kwaliteit en impact van wetenschappelijk onderzoek. Het is dus absoluut noodzakelijk dat de output van wetenschappelijk onderzoek accuraat wordt gemeten en op een verstandige manier wordt geëvalueerd.

De Journal Impact Factor (Impactfactor voor Tijdschriften) wordt vaak gebruikt als de primaire parameter om de wetenschappelijke output van individuen en instellingen te vergelijken. De Journal Impact Factor, opgesteld door Thomson Reuters *, was oorspronkelijk gecreëerd als hulpmiddel voor bibliotheekmedewerkers bij hun keuze voor de aanschaf van tijdschriften, niet als een maatstaf voor de wetenschappelijke kwaliteit van onderzoek in een artikel. In dit kader is het belangrijk om te begrijpen dat de Journal Impact Factor als hulpmiddel voor onderzoeksbeoordeling een aantal goed gedocumenteerde tekortkomingen heeft. Deze beperkingen zijn onder meer: A) Citaties zijn binnen tijdschriften zeer ongelijk verdeeld [1-3]; B) De eigenschappen van de Journal Impact Factor zijn veld-specifiek: het is een samenstelling van meerdere zeer uiteenlopende soorten artikelen, waaronder primaire onderzoekspapers en overzichtsartikelen [1, 4]; C) Impactfactoren kunnen worden gemanipuleerd (of “bespeeld”) door het beleid van redacties [5]; en D) Gegevens die worden gebruikt om de impactfactoren te berekenen zijn niet transparant en niet publiek toegankelijk [4, 6, 7]. Hieronder doen wij een aantal aanbevelingen voor het verbeteren van de manier waarop de kwaliteit van de output van onderzoek wordt geëvalueerd. Naast wetenschappelijke publicaties zullen andere vormen van onderzoeksoutput bij het beoordelen van de effectiviteit van onderzoek in de toekomst in belang toenemen, maar het peer-reviewed wetenschappelijk artikel zal een centrale rol blijven spelen bij de beoordeling van onderzoek. Onze aanbevelingen richten zich daarom primair op praktijken die te maken hebben met wetenschappelijke publicaties die zijn gepubliceerd in peer-reviewed tijdschriften, maar ook aanvullende producten, zoals datasets, moeten worden erkent als zijnde belangrijke uitkomsten van onderzoek.

Deze aanbevelingen zijn gericht op subsidieverstrekkers, academische instellingen, uitgevers van wetenschappelijke tijdschriften, organisaties die metrische gegevens leveren, en individuele wetenschappers.

Binnen de aanbevelingen zijn een aantal doorlopende thema’s te herkennen:

de noodzaak om het gebruik van op tijdschriften gebaseerde metrische gegevens en statistieken, zoals de Journal Impact Factor, bij overwegingen rondom financiering, benoeming en promotie tegen te gaan;
de noodzaak om onderzoek op zijn eigen kwaliteiten en verdiensten te beoordelen, in plaats van op basis van het tijdschrift waarin het onderzoek wordt gepubliceerd; en
de noodzaak om te profiteren van de kansen die online-publicatie biedt (zoals het versoepelen van onnodige limieten op het aantal woorden, cijfers en verwijzingen in artikelen, en het verkennen van nieuwe indicatoren van betekenis en invloed).

Wij erkennen dat al veel financieringsinstanties, instellingen, uitgevers en onderzoekers verbeterde methoden voor de beoordeling van onderzoek aanmoedigen. Zulke stappen dragen bij aan een toenemende beweging richting meer verfijnde en betekenisvolle benaderingen op het gebied van de evaluatie van onderzoek, die nu door alle betrokken partijen kunnen worden gebruikt om over te nemen en op voort te bouwen.

De ondertekenaars van de San Francisco Verklaring omtrent de Beoordeling van Onderzoek verlenen goedkeuring aan de volgende praktijken bij onderzoeks-beoordeling:

Algemene aanbeveling

Maak bij de beoordeling van bijdragen van een individuele wetenschapper, of beslissingen over werving, promotie of subsidie, geen gebruik van tijdschriftmaten, zoals Impactfactoren, als maatstaf van de kwaliteit van individuele artikelen.

Voor subsidieverstrekkers

Wees expliciet over de criteria die worden gehanteerd bij het evalueren van de wetenschappelijke productiviteit van subsidieaanvragers en geef duidelijk aan, vooral voor beginnende onderzoekers, dat de wetenschappelijke inhoud van een paper veel belangrijker is dan statistiek aangaande de publicatie of het tijdschrift waarin werd gepubliceerd.
Neem bij de beoordeling van onderzoek naast onderzoekspapers ook de waarde en impact van alle andere vormen van onderzoeksoutput (inclusief datasets en software) in overweging en betrek daarbij een breed scala aan maatstaven, waaronder kwalitatieve indicaties van het gebruik of de invloed van onderzoek, bijvoorbeeld in het kader van beleid en praktijk.

Voor instellingen

Wees expliciet over de criteria die worden gehanteerd bij beslissingen over aanwerving, tenure en promotie en geef duidelijk aan, vooral voor beginnende onderzoekers, dat de wetenschappelijke inhoud van een paper veel belangrijker is dan statistiek aangaande de publicatie of het tijdschrift waarin werd gepubliceerd.
Neem bij de beoordeling van onderzoek naast onderzoekspapers ook de waarde en impact van alle andere vormen van onderzoeksoutput (inclusief datasets en software) in overweging en betrek daarbij een breed scala aan maatstaven, waaronder kwalitatieve indicaties van het gebruik of de invloed van onderzoek, bijvoorbeeld in het kader van beleid en praktijk.

Voor uitgevers

Verminder de nadruk op de Journal Impact Factor als een promotiemiddel, idealiter door de impactfactor niet langer in te zetten voor promotie of door de indicator alleen te presenteren binnen de context van een verscheidenheid aan metrische gegevens rondom tijdschriften (bijv. 5-jarige impactfactor, EigenFactor [8], SCImago [9], h-index, redactionele en publicatie tijden, enz.) die een rijker beeld geven van de prestaties van een tijdschrift.
Maak een breed scala aan metrische gegevens en statistieken op artikel-niveau beschikbaar, om zo een verschuiving aan te moedigen richting de beoordeling van artikelen op basis van de wetenschappelijke inhoud in plaats van de publicatiecijfers van het tijdschrift waarin het artikel is gepubliceerd.
Moedig verantwoordelijk auteurschap en het verstrekken van informatie over de specifieke bijdragen van alle auteurs aan.
Of een tijdschrift nu valt onder een abonnement of open access, schaf alle beperkingen op het hergebruik van referentielijsten in onderzoeksartikelen af en maak deze beschikbaar onder de Creative Commons licentie CC0 Publiek Domein Verklaring [10]
Verwijder of verminder de beperkingen op het aantal referenties in onderzoeksartikelen en maak, waar relevant, het citeren van primaire literatuur boven recensie- en overzichtsartikelen verplicht ter erkenning van degenen die een bevinding als eerste hebben gerapporteerd.

Voor organisaties die statistieken leveren

Wees open en transparant door de gegevens en methoden te verstrekken die worden gebruikt om alle statistieken te berekenen.
Verstrek de gegevens onder een licentie die onbeperkt hergebruik toestaat en verstrek, waar mogelijk, computationele toegang tot gegevens.
Wees duidelijk dat ongepaste manipulatie van statistieken niet wordt getolereerd; wees expliciet over wat ongepaste manipulatie inhoudt en welke maatregelen zullen worden genomen om dit tegen te gaan.
Wanneer metrische gegevens worden gebruikt, geaggregeerd of vergeleken, houd dan rekening met de verscheidenheid van soorten artikelen (bijvoorbeeld recensies versus onderzoeksartikelen) en verschillende vakgebieden.

Voor onderzoekers

Bij deelname aan commissies die beslissingen nemen over financiering, aanwerving, tenure of promotie; beoordeel op basis van wetenschappelijke inhoud in plaats van metingen aangaande publicaties.
Indien van toepassing, refereer aan de primaire literatuur waar bevindingen voor het eerst werden gerapporteerd in plaats van overzichtsartikelen. Ere wie ere toekomt.
Gebruik ter bewijs van het gebruik en de invloed van individueel gepubliceerde artikelen en andere onderzoeksoutput een reeks van verschillende maatstaven en indicatoren [11].
Betwist beoordelingspraktijken die op ongepaste wijze steunen op tijdschrift impactfactoren en promoot best practices door anderen te wijzen op beoordelingspraktijken die focussen op de waarde en invloed van specifieke onderzoeksproducten.

Referenties

* De Journal Impact Factor wordt nu uitgebracht door Clarivate Analytics.

PDF: DORA_Dutch.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Freyja Vandenboom and Jochem Zuijderwijk and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.