San Francisco Erklärung zur Forschungsbewertung

Es besteht ein dringender Bedarf, die Art und Weise zu verbessern, in der die Ergebnisse wissenschaftlicher Forschung durch Förderorganisationen, akademische Institutionen und andere Beteiligte bewertet werden. Am 16. Dezember 2012 traf sich eine Gruppe von Editoren und Verlegern von Fachzeitschriften während der Jahrestagung der American Society for Cell Biology (ASCB) in San Francisco, Kalifornien, um dieses Problem anzugehen. Die Gruppe entwickelte eine Reihe von Empfehlungen, die als San Francisco Declaration on Research Assessment bezeichnet wird. Wir laden Interessierte aus allen wissenschaftlichen Disziplinen ein, ihre Unterstützung für diese Erklärung zu zeigen, indem sie sie unterzeichnen.

Die Ergebnisse wissenschaftlicher Forschung sind zahlreich und vielfältig. Sie umfassen Fachartikel, die über neues Wissen, Daten, Reagenzien und Software berichten, geistiges Eigentum sowie hervorragend ausgebildete junge Wissenschaftler. Förderorganisationen, Institutionen, die Wissenschaftler beschäftigen, und die Wissenschaftler selbst haben alle den Wunsch und den Bedarf, Qualität und Bedeutung der Forschung zu beurteilen. Es ist daher unerlässlich, dass diese Attribute präzise gemessen und mit Bedacht bewertet werden.

Der Journal Impact Factor wird oft als hauptsächlicher Parameter verwendet, um die wissenschaftliche Leistung von Individuen und Institutionen zu vergleichen. Der von Thomson Reuters* berechnete Journal Impact Factor wurde ursprünglich als Instrument für Bibliothekare zum Auffinden von Fachzeitschriften für deren Ankauf entwickelt, und nicht als Maßstab für die wissenschaftliche Qualität der in einem spezifischen Artikel beschriebenen Forschung. Vor diesem Hintergrund ist es entscheidend, zu verstehen, dass der Journal Impact Factor als Instrument zur Forschungsbewertung eine Reihe von gut dokumentierten Schwächen aufweist.

Zu den Einschränkungen gehören: A) die Verteilung der Häufigkeit, mit der einzelne Artikel zitiert werden, ist innerhalb von Fachzeitschriften stark verzerrt [1-3]; B) die Eigenschaften des Journal Impact Factors sind spezifisch für die Disziplinen: er setzt sich aus mehreren, sehr verschiedenen Arten von Artikeln zusammen, einschließlich der wissenschaftlichen Primärliteratur und Übersichtsartikeln [1, 4]; C) Journal Impact Factors können durch redaktionelle Strategien der Fachzeitschriften manipuliert werden [5]; und D) die Daten, die zur Berechnung der Journal Impact Factors verwendet werden, sind weder transparent noch öffentlich zugänglich [4, 6, 7].

Im Folgenden geben wir eine Reihe von Empfehlungen, um die Art und Weise zu verbessern, in der die Ergebnisse wissenschaftlicher Forschung bewertet werden. In der Zukunft werden neben Fachartikeln auch andere Ergebnisse wissenschaftlicher Forschung an Bedeutung für die Bewertung der wissenschaftlichen Effektivität gewinnen. Der von Fachkollegen begutachtete Artikel wird jedoch ein wichtiges Forschungsergebnis bleiben, das für die Bewertung der Forschung herangezogen wird. Unsere Empfehlungen konzentrieren sich daher in erster Linie auf Praktiken im Zusammenhang mit Fachartikeln, die in wissenschaftlichen Fachzeitschriften veröffentlicht werden, die den Peer-review-Prozess verwenden. Sie können und sollten jedoch durch die Anerkennung weiterer Ergebnisse, wie zum Beispiel Datensätze, als wichtige Forschungsergebnisse erweitert werden. Diese Empfehlungen richten sich an Förderorganisationen, akademische Institutionen, Fachzeitschriften, Organisationen, die bibliometrische Daten bereitstellen, sowie Wissenschaftler.

Eine Reihe von generellen Thematiken zieht sich durch diese Empfehlungen:

die Notwendigkeit, die Verwendung von auf Fachzeitschriften basierenden Kennzahlen, wie dem Journal Impact Factor, bei Abwägungen zur Finanzierung, Einstellung und Beförderung abzuschaffen;
die Notwendigkeit, die Forschung selbst zu bewerten, und dieses nicht auf Grundlage der Fachzeitschrift, in der sie veröffentlicht wird, zu tun; und
die Notwendigkeit, die Möglichkeiten der Online-Veröffentlichung zu nutzen, wie z.B. eine Lockerung der unnötigen Beschränkungen der Anzahl von Wörtern, Abbildungen und Literaturangaben in Artikeln, und die Untersuchung neuer Kennzahlen für die Signifikanz und Bedeutung.

Wir erkennen an, dass viele Förderorganisationen, Institutionen, Verlage und Wissenschaftler schon jetzt verbesserte Praktiken zur Forschungsbewertung fördern. Solche Schritte beginnen, die Dynamik hin zu weiter fortgeschrittenen und aussagekräftigeren Ansätzen zur Forschungsbewertung zu verstärken. Auf ihnen kann nun aufgebaut werden, und sie können von allen entscheidenden Beteiligten eingeführt werden.

Die Unterzeichner der San Francisco Erklärung zur Forschungsbewertung unterstützen die Einführung der folgenden Praktiken zur Forschungsbewertung:

Allgemeine Empfehlung

Verwenden Sie keine Kennzahlen auf der Ebene von Fachzeitschriften, wie den Journal Impact Factor, als Ersatz, um die Qualität einzelner Fachartikel zu bewerten, um die Beiträge einzelner Wissenschaftler zu bewerten, oder um Entscheidungen über Einstellung, Beförderung oder Finanzierung zu treffen.

Für Förderorganisationen

Geben Sie die zur Bewertung der wissenschaftlichen Produktivität von Antragstellern verwendeten Kriterien explizit an. Betonen Sie, insbesondere gegenüber Wissenschaftlern am Anfang ihrer Karriere, dass der wissenschaftliche Inhalt eines Artikels sehr viel wichtiger ist als die Kennzahl oder der Name der Fachzeitschrift, in der er veröffentlicht wurde.
Berücksichtigen Sie zur Forschungsbewertung neben Fachartikeln auch den Wert und die Bedeutung anderer Forschungsergebnisse (einschließlich Datensätze und Software). Berücksichtigen Sie eine breite Palette von Kennzahlen einschließlich qualitativer Messgrößen für die Bedeutung der Forschung, wie z.B. den Einfluss auf Grundsätze und Praktiken.

Für Institutionen

Geben Sie die für Entscheidungen zur Einstellung, Festanstellung und Beförderung verwendeten Kriterien explizit an. Betonen Sie, insbesondere gegenüber Wissenschaftlern am Anfang ihrer Karriere, dass der wissenschaftliche Inhalt eines Artikels sehr viel wichtiger ist als die Kennzahl oder der Name der Fachzeitschrift, in der er veröffentlicht wurde.
Berücksichtigen Sie zur Forschungsbewertung neben Fachartikeln auch den Wert und die Bedeutung anderer Forschungsergebnisse (einschließlich Datensätze und Software). Berücksichtigen Sie eine breite Palette von Kennzahlen einschließlich qualitativer Messgrößen für die Bedeutung der Forschung, wie z.B. den Einfluss auf Grundsätze und Praktiken.

Für Verlage

Verringern Sie die Betonung auf den Journal Impact Factor als Marketinginstrument erheblich, idealerweise, indem Sie aufhören, mit ihm zu werben, oder indem Sie ihn im Kontext einer Vielzahl auf Fachzeitschriften basierender Kennzahlen (z. B. 5-Jahres-Impact-Faktor, EigenFaktor [8], SCImago [9], h-Index, Zeit zur redaktionellen Entscheidung und Veröffentlichung usw.), die zusammen einen umfassenderen Überblick über die Leistung der Fachzeitschrift bieten, präsentieren.
Stellen Sie eine Reihe von alternativen Kennzahlen auf der Ebene des Artikels zur Verfügung, um eine Verlagerung der Bewertung zum wissenschaftlichen Inhalt des Artikels und weg von den Kennzahlen der Fachzeitschrift, in der er veröffentlicht wurde, zu fördern.
Fördern Sie verantwortungsvolle Praktiken zu Autorschaft und die Bereitstellung von Informationen über die spezifischen Beiträge jedes Autors.
Heben Sie alle Beschränkungen zur Wiederverwendung von Literaturverzeichnissen in Fachartikeln auf, und machen Sie diese unter der Creative Commons Public Domain Dedication [10] frei verfügbar, unabhängig davon, ob eine Fachzeitschrift frei zugänglich (open access) oder abonnementpflichtig ist.
Heben Sie die Beschränkungen der Anzahl der Literaturangaben in Fachartikeln auf, oder reduzieren Sie sie. Wo es angebracht ist, setzen Sie durch, dass die wissenschaftliche Primärliteratur anstelle von Übersichtsarbeiten zitiert wird, um der oder den Abeitsgruppen(n), die zuerst ein Ergebnis veröffentlicht haben, Anerkennung zukommen zu lassen.

Für Organisationen, die Kennzahlen bereitstellen

Seien Sie offen und transparent, indem Sie die Daten und Methoden zur Berechnung aller Kennzahlen zur Verfügung stellen.
Stellen Sie die Daten unter einer Lizenz zur Verfügung, die eine uneingeschränkte Wiederverwendung erlaubt, und bieten Sie nach Möglichkeit rechnergestützten Zugriff auf die Daten.
Machen Sie deutlich, dass ein zweckwidriger Umgang mit den Kennzahlen nicht toleriert werden wird. Stellen Sie explizit dar, was eine zweckwidrige Manipulation ist, und welche Maßnahmen zur Unterbindung ergriffen werden.
Berücksichtigen Sie die verschiedenen Arten von Artikeln (z. B. Übersichtsarbeiten im Vergleich zur Primärliteratur) und die verschiedenen Disziplinen, wenn Kennzahlen verwendet, aggregiert oder verglichen werden.

Für Wissenschaftler

Führen Sie Bewertungen anhand des wissenschaftlichen Inhalts und nicht anhand von Kennzahlen für Veröffentlichungen durch, wenn Sie an Ausschüssen beteiligt sind, die Entscheidungen über Finanzierung, Einstellung, Festanstellung oder Beförderung treffen.
Zitieren Sie die Primärliteratur, in der die Ergebnisse zuerst veröffentlicht wurden, überall wo es angebracht ist, und nicht Übersichtsartikel, um anzuerkennen, was anzuerkennen ist.
Verwenden Sie bei in Empfehlungs- und Gutachterschreiben eine Palette von Kennzahlen für Artikel als Nachweis für die Bedeutung einzelner veröffentlichter Artikel und anderer Forschungsergebnisse [11].
Stellen Sie Praktiken zur Forschungsbewertung in Frage, die sich in unangemessener Weise auf Journal Impact Factors Fördern und lehren Sie best practices, die sich auf den Wert und den Einfluss spezifischer Forschungsergebnisse konzentrieren.

Literaturverzeichnis

* Der Journal Impact Factor wird jetzt von Clarivate Analytics veröffentlicht.

Das generische Maskulinum wird aus Gründen der besseren Lesbarkeit verwendet. Es bezieht sich auf männliche, weibliche und weitere Geschlechteridentitäten.

PDF: DORA_German.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Lisa Matthias, Holger Breithaupt, Franz Barjak, Astrid Gall, and Bernd Pulverer and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.