Dichiarazione di San Francisco sulla Valutazione della Ricerca

Durante il convegno annuale della Società Americana di Biologia Cellulare (ASCB) a San Francisco in California, il 16 dicembre 2012, un gruppo di curatori ed editori di riviste accademiche si è riunito per affrontare l’urgente questione di migliorare le modalità con cui i prodotti della ricerca scientifica vengono valutati dalle agenzie di finanziamento, dalle istituzioni accademiche e da altri attori. II gruppo ha stilato una serie di raccomandazioni denominate Dichiarazione di San Francisco sulla Valutazione della Ricerca (San Francisco Declaration on Research Assessment). Invitiamo le parti interessate appartenenti a tutte le discipline scientifiche a segnalare il loro sostegno all’iniziativa sottoscrivendo a proprio nome questa Dichiarazione.

I prodotti della ricerca scientifica sono numerosi e vari e includono: articoli di ricerca che portano nuove conoscenze scientifiche, dati, reagenti e software; proprietà intellettuale; e giovani ricercatori altamente qualificati. Le agenzie di finanziamento, le istituzioni che assumono ricercatori, e i ricercatori stessi hanno il desiderio e la necessità di valutare la qualità e l’impatto della produzione scientifica. Quindi è di fondamentale importanza che la produzione scientifica venga misurata con accuratezza e saggiamente valutata.

Il Journal Impact Factor viene spesso usato come parametro principale di riferimento per la produzione scientifica di singoli ricercatori e di istituzioni. Il Journal Impact Factor, come calcolato da Thomson Reuters*, era stato creato in origine come strumento per aiutare i bibliotecari a identificare le riviste a cui abbonarsi, e non come misura della qualità della ricerca in un articolo scientifico. Tenendo presente questo aspetto, è fondamentale capire che il Journal Impact Factor presenta difetti vari e ben documentati se usato come strumento di valutazione della ricerca scientifica. Tra queste limitazioni: A) la distribuzione delle citazioni all’interno di una stessa rivista è fortemente irregolare [1–3]; B) le caratteristiche del Journal Impact Factor variano a seconda dell’area disciplinare: origina da molti tipi diversi di articoli, che vanno dall’articolo di ricerca primaria all’articolo di review [1–4]; C) i JournalImpact Factor possono venire manipolati (o aggirati) dalle politiche editoriali [5]; e D) i dati usati per calcolarli non sono ne’ trasparenti ne’ pubblicamente accessibili [4,6,7]. Di seguito proponiamo una serie di raccomandazioni per migliorare il metodo di valutazione della produzione scientifica. In futuro altri prodotti della ricerca diversi dagli articoli scientifici assumeranno maggiore importanza nel valutare l’efficacia della ricerca scientifica, ma l’articolo peer-reviewed rimarrà un elemento centrale per la valutazione. Pertanto le nostre raccomandazioni si concentrano soprattutto sulle pratiche relative ad articoli scientifici pubblicati su riviste peer-reviewed, ma possono e dovrebbero essere estese, riconoscendo che anche altre forme, come i data set, sono degli importanti prodotti della ricerca. Queste raccomandazioni sono rivolte a: agenzie di finanziamento, istituzioni accademiche, riviste, organizzazioni che forniscono metriche, e singoli ricercatori.

Alcuni temi sono ricorrenti in queste raccomandazioni:

la necessità di eliminare l’uso di metriche relative alle riviste scientifiche, come i Journal Impact Factor, dai criteri per la distribuzione di fondi per la ricerca, per le assunzioni e le promozioni;
la necessità di valutare la ricerca scientifica per i suoi meriti intrinseci piuttosto che sulla base della rivista in cui viene pubblicata;
la necessità di sfruttare le opportunità offerte dalla pubblicazione on-line(ad esempio riducendo gli inutili limiti posti sul numero delle parole, delle immagini e dei riferimenti bibliografici negli articoli, ed esplorando nuovi indicatori di rilevanza e di impatto).

Riconosciamo che molte agenzie di finanziamento, istituzioni, editori e ricercatori stanno già incoraggiando l’uso di pratiche migliori nella valutazione della ricerca. Questi passi iniziali stanno contribuendo ad aumentare l’interesse verso l’adozione di approcci più sofisticati ed efficaci per valutare la ricerca scientifica, che possono essere un punto di partenza e possono essere adottati da tutti i gruppi coinvolti.

I firmatari della Dichiarazione di San Francisco sulla Valutazione della Ricerca sostengono l’adozione delle seguenti pratiche nella valutazione della ricerca:

Raccomandazione generale

Non usare metriche basate sulle riviste, come ad esempio i Journal Impact Factor, come misura surrogata della qualità di singoli articoli scientifici, o per valutare i contributi di un singolo ricercatore, o nelle assunzioni, promozioni o assegnazioni di finanziamenti.

Per le agenzie di finanziamento

Esplicitare i criteri usati nel valutare la produzione scientifica di chi richiede finanziamenti e sottolineare, soprattutto per i ricercatori più giovani, che il contenuto scientifico di un articolo è molto più importante delle metriche riferite alla pubblicazione o del nome della rivista in cui l’articolo è stato pubblicato.
Agli scopi della valutazione della ricerca, considerare il valore e l’impatto di tutti i prodotti della ricerca (compresi dataset e software) oltre che delle pubblicazioni, e prendere in considerazione un’ampia gamma di forme di misurazione dell’impatto, compresi indicatori qualitativi quali l’influenza su politiche e prassi.

Per le istituzioni

Esplicitare i criteri usati nelle decisioni sulle assunzioni, sull’assegnazione delle cattedre, sugli avanzamenti di carriera, sottolineando chiaramente, soprattutto per ricercatori più giovani, che il contenuto scientifico di un articolo è molto più importante delle metriche basate sulle riviste o del nome della rivista in cui è stato pubblicato.
Agli scopi della valutazione della ricerca, considerare il valore e l’impatto di tutti i prodotti della ricerca (compresi dataset e software) oltre che delle pubblicazioni, e prendere in considerazione un’ampia gamma di forme di misurazione dell’impatto, compresi indicatori qualitativi quali l’influenza su politiche e prassi.

Per gli editori

Ridurre notevolmente l’enfasi posta sul journal impact factor come strumento di promozione, idealmente cessando di promuoverlo o presentandolo nel contesto di una varietà di metriche basate sulle pubblicazioni (ad es. l’impact factor a cinque anni, EigenFactor [8], SCImago [9], h-index, tempi editoriali e di pubblicazione, ecc.) che danno una prospettiva più ampia della performance della rivista.
Rendere disponibile un ventaglio di metriche a livello dell’articolo per incoraggiare il passaggio a una valutazione basata sul contenuto scientifico di un articolo piuttosto che sulle metriche di pubblicazione della rivista in cui l’articolo è stato pubblicato.
Incoraggiare attribuzioni di authorship responsabili e specificare i contributi specifici di ciascun autore.
Sia che la rivista sia open-access o in abbonamento, rimuovere tutte le limitazioni sul riuso delle liste di riferimenti bibliografici negli articoli di ricerca e renderle disponibili tramite la licenza di pubblico dominio dei Creative Commons.
Eliminare o ridurre i vincoli sul numero dei riferimenti bibliografici negli articoli scientifici, e, ove opportuno, richiedere la citazione della letteratura primaria piuttosto che di reviews per rendere merito ai gruppi che per primi hanno comunicato un risultato scientifico.

Per organizzazioni che forniscono metriche

Essere aperti e trasparenti mettendo a disposizione dati e metodi usati per calcolare tutte le metriche.
Fornire i dati con una licenza che ne permetta l’uso illimitato, e fornire accesso elettronico ai dati, ove possibile.
Affermare con forza che l’inappropriata manipolazione delle metriche non sarà tollerata; esplicitare cosa costituisce una manipolazione inappropriata e quali misure verranno prese per contrastarla.
Evidenziare le differenze nella tipologia degli articoli (ad es. reviews a confronto con articoli di ricerca) e nelle varie aree disciplinari ogni qualvolta le metriche vengano usate, aggregate o paragonate.

Per i ricercatori

Nei comitati che prendono decisioni su finanziamenti, assunzioni, assegnazione di cattedre, o promozioni, effettuare la valutazione sulla base del contenuto scientifico e non delle metriche delle riviste.
Ove appropriato, citare la letteratura primaria in cui le osservazioni sono state riportate per la prima volta, piuttosto che citare reviews, per rendere merito a chi è dovuto.
Utilizzare una gamma di metriche a livello dell’articolo e indicatori basati su dichiarazioni motivazionali, come testimonianza dell’impatto dei singoli articoli pubblicati e di altri prodotti della ricerca.
Lanciare una sfida verso le pratiche di valutazione della ricerca che si basano impropriamente sui Journal Impact Factor e promuovere e insegnare migliori pratiche che mettano in evidenza il valore e l’impatto di specifici output della ricerca.

Riferimenti

* Il Journal Impact Factor è ora pubblicato da Clarivate Analytics.

PDF: DORA_Italian.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Sandra Bendiscioli and Anna Bendiscioli and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.