Déclaration de San Francisco sur l’évaluation de la recherche

Il est urgent d’améliorer la façon dont les rendements de recherche scientifique sont évalués par les organismes de financement, les établissements d’enseignement et autres institutions académiques. Afin d’y remédier, un groupe d’éditeurs et des responsables de maisons d’édition de journaux scientifiques s’est assemblé lors de la réunion annuelle de la Société Américaine pour la biologie cellulaire (ASCB) à San Francisco, Californie, le 16 décembre 2012. Le groupe a élaboré un ensemble de recommandations, désormais appelé la Déclaration de San Francisco sur l’évaluation de la recherche. Nous invitons les parties intéressées de toutes les disciplines scientifiques à exprimer leur soutien en ajoutant leur nom à cette déclaration.

Les rendements de recherche scientifique sont nombreux et variés, et sont illustrés par des articles de recherche faisant cas de nouvelles connaissances, de données, de réactifs et logiciels, de propriété intellectuelle, mais aussi attestent de la qualité des scientifiques hautement qualifiés. Les agences de financement, les institutions qui emploient des scientifiques et les scientifiques eux-mêmes ont tous le désir et le besoin d’évaluer la qualité et l’impact de ces rendements scientifiques. Il est donc impératif que la production scientifique soit mesurée avec précision et évaluée prudemment.

Le « Journal Impact Factor » est fréquemment utilisé comme paramètre principal pour comparer la production scientifique des individus et des institutions. Le Journal Impact Factor, tel qu’analysé par Thomson Reuters *, a été créé à l’origine comme un outil pour aider les bibliothécaires à identifier les journaux scientifiques à acheter, et non comme une mesure de la qualité scientifique de la recherche dans un article. Dans cet esprit, il est essentiel de comprendre que le Journal Impact Factor présente un certain nombre de lacunes bien documentées en tant qu’outil d’évaluation de la recherche. Ces limitations comprennent: A) l’amplitude des citations entre différent journaux scientifiques est fortement biaisée [1-3]; B) les propriétés du Journal Impact Factor sont spécifiques à chaque domaine de recherche: ce sont un ensemble de plusieurs types d’articles très différents, y compris des articles de recherche et des revues scientifiques [1, 4]; C) le Journal Impact Factor peut être manipulé (ou influencé) par une politique éditoriale particulière [5]; et D) les données utilisées pour calculer le Journal Impact Factor ne sont ni transparentes ni ouvertement accessibles au public [4, 6, 7]. Nous présentons ci-dessous un certain nombre de recommandations pour améliorer la manière dont la qualité des rendements de recherche est évaluée. Outres les articles de recherche, d’autres corollaires de production scientifique prennent de plus en plus d’importance pour évaluer la valeur de la recherche, bien que l’article de recherche « peer-reviewed » reste un produit de recherche central qui guide l’évaluation de la recherche. Nos recommandations se concentrent donc principalement sur les pratiques relatives aux articles de recherche publiés dans des journaux scientifiques « peer-reviewed ». Ceci étant elles peuvent et doivent être élargies à la production de données en tant qu’ importants rendements de recherche par example. Ces recommandations s’adressent aux agences de financement, aux institutions académiques, aux journaux scientifiques, aux organisations qui fournissent des métriques et aux chercheurs eux-mêmes.

Ces recommandations contiennent un certain nombre de thèmatiques parfois redondantes, telles que:

  • la nécessité d’éliminer l’utilisation de paramètres intrinsèques au journal, tels que les Journal Impact Factors, pour les demandes de financement, les nominations et promotions;
  • le besoin d’évaluer la recherche sur ses propres mérites plutôt que sur la base du journal dans lequel la recherche est publiée; et
  • le besoin de capitaliser sur les opportunités offertes par la publication en ligne (par exemple en allégeant les limites inutiles sur le nombre de mots, figures et références dans les articles, et en explorant de nouveaux indicateurs de signification et d’impact).

Nous reconnaissons que de nombreux organismes de financement, institutions, éditeurs et chercheurs encouragent déjà de meilleures pratiques en matière d’évaluation de la recherche. Celles-ci étant a la base d’une volonté allant vers des approches d’évaluation de la recherche plus élaborées et significatives qui pourront être développées et adoptées par tous les groupes concernés.

Les signataires de la Déclaration de San Francisco sur l’évaluation de la recherche soutiennent l’adoption des pratiques suivantes dans l’évaluation de la recherche.

Recommandation générale

  1. Ne pas utiliser de métriques basées sur le journal, telles que Journal Impact Factors, comme mesure de substitution de la qualité des articles de recherche individuels pour évaluer les contributions individuelles d’un scientifique, ou dans les décisions d’embauche, de promotion ou de financement.

Pour les agences de financement

  1. Expliquer clairement les critères utilisés pour évaluer la productivité scientifique des demandeurs de subventions et mettre clairement en évidence, en particulier pour les chercheurs en début de carrière, que le contenu scientifique d’un article est beaucoup plus important que les paramètres de publication ou l’identité du journal scientifique dans lequel il a été publié.
  2. A propos de l’évaluation de la recherche, considérer la valeur et l’impact de tous les rendements de recherche (y compris les ensembles de données et logiciels) en plus des publications de recherche. Envisager un éventail plus large de mesures d’impact incluant des indicateurs qualitatifs d’impact de recherche tels que l’influence sur les politiques et pratiques.

Pour les institutions

  1. Expliquer clairement les critères utilisés pour prendre les décisions d’embauche, de permanence et de promotion, en soulignant clairement, surtout pour les chercheurs en début de carrière, que le contenu scientifique d’un article est beaucoup plus important que les paramètres de publication ou l’identité du journal scientifique dans lequel il a été publié.
  2. A propos de l’évaluation de la recherche, considérer la valeur et l’impact de tous les rendements de recherche (y compris les ensembles de données et logiciels) en plus des publications de recherche. Envisager un éventail plus large de mesures d’impact incluant des indicateurs qualitatifs d’impact de recherche tels que l’influence sur les politiques et pratiques.

Pour les éditeurs

  1. Réduire considérablement l’importance du journal impact factor en tant qu’outil promotionnel, idéalement en cessant de promouvoir le journal impact factor ou en le présentant dans un contexte où plusieurs variétés de métriques sont données (par exemple, Impact Facteur sur 5 ans, EigenFactor [ 8], SCImago [9], h-index, durée de publication de l’article et du processus de publication etc.) qui fournissent une vue plus riche de la performance des journaux.
  2. Mettre à disposition une gamme de métriques au niveau de l’article lui-même pour encourager une réorientation vers l’évaluation basée sur le contenu scientifique d’un article plutôt que sur les mesures de publication du journal dans lequel il a été publié.
  3. Encourager des pratiques où les auteurs sont responsabilisés et fournir des informations précises sur la contribution respective de chaque auteur.
  4. Qu’il s’agisse d’un journal en libre accès ou en accès par abonnement, supprimer toutes les limitations de réutilisation des listes de références dans les articles de recherche et les rendre disponibles dans le domaine public Creative Commons [10].
  5. Supprimer ou réduire les contraintes sur le nombre de références dans les articles de recherche, et, le cas échéant, mandater la citation de littérature primaire et non pas celle des revues, afin de donner du crédit aux groupes ayant rapporté la première découverte.

Pour les organisations qui fournissent des métriques

  1. Etre ouvert et transparent en fournissant les données et méthodes utilisées pour calculer toutes les métriques.
  2. Fournir ces données sous une licence qui permet une réutilisation sans restriction, et fournir un accès informatique aux données, lorsque cela est possible.
  3. Etre clair: la manipulation inappropriée des métriques ne sera pas tolérée; être explicite sur ce qui constitue une manipulation inappropriée et quelles mesures seront prises pour la combattre.
  4. Tenir compte des différents types d’articles (par exemple, revues et articles de recherche) et dans différents domaines de recherche lorsque les mesures sont utilisées, agrégées ou comparées.

Pour les chercheurs

  1. Lorsqu’ils participent à des comités de décisions concernant les demandes de financement, d’embauche, de titulariat ou de promotion, effectuer les évaluations en fonction du contenu scientifique plutôt que des paramètres de publication.
  2. Chaque fois que cela est possible, citer la littérature primaire dans laquelle les observations initiales ont été faites plutôt que les revues, ceci afin d’accorder un crédit lorsque le crédit est dû.
  3. Utiliser plusieurs paramètres et indicateurs d’impact d’articles scientifiques sur des déclarations personnelles / justifications, comme preuve de l’impact de différents articles publiés et autres rendements de recherche [11].
  4. Contester les pratiques d’évaluation de la recherche qui s’appuient de manière inappropriée sur les Journal Impact Factors. Promouvoir et enseigner de meilleures pratiques qui mettent l’accent sur la valeur et l’influence spécifique de la production scientifique.

Références

  1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
  2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
  3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
  4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
  5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
  6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
  7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
  8. http://www.eigenfactor.org/
  9. http://www.scimagojr.com/
  10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
  11. http://altmetrics.org/tools/

*Le Journal Impact Factor est maintenant publié par Clarivate Analytics.


This is a translation of the DORA text at https://sfdora.org/read, contributed by Abdrahamane Ouedraogo and Celine Carret and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.