DEKLARACJA W SPRAWIE OCENY BADAŃ NAUKOWYCH

Istnieje pilna potrzeba poprawy metod oceny wyników badań naukowych przez instytucje finansujące, akademickie i inne. Aby rozwiązać ten problem, grupa redaktorów i wydawców czasopism naukowych spotkała się podczas dorocznego spotkania American Society for Cell Biology (ASCB) w San Francisco, CA, 16 grudnia 2012 r. Grupa ta opracowała zestaw zaleceń, zwanych Deklaracją z San Francisco w sprawie oceny badań. Zapraszamy zainteresowane podmioty ze wszystkich dyscyplin naukowych do wyrażenia swojego poparcia poprzez dodanie nazw swoich organizacji i nazwisk do tej deklaracji.

Wyniki badań naukowych są bardzo zróżnicowane. Występują m.in. pod postacią: artykułów naukowych, przedstawiających nową wiedzę; danych; odczynników; oprogramowania; własności intelektualnej; do rezultatów badań należy też wzrost kwalifikacji młodych naukowców. Wszyscy interesariusze: instytucje finansujące, instytucje zatrudniające naukowców oraz sami naukowcy, pragną i powinni oceniać jakość i wpływ wyników badań naukowych. Jest zatem konieczne, aby dorobek naukowy był mierzony w sposób właściwy i mądrze oceniany.

Jako podstawowy parametr często używany jest wskaźnik cytowań Journal Impact Factor, za pomocą którego porównuje się dorobek naukowy osób i instytucji. Wskaźnik Journal Impact Factor, obliczany przez Thomson Reuters*, został pierwotnie stworzony jako narzędzie ułatwiające bibliotekarzom identyfikację czasopism do zakupu, a nie jako miernik naukowej jakości badań w danym artykule. W związku z tym kluczową kwestią jest dostrzeżenie istotnych i udokumentowanych wad Journal Impact Factor jako narzędzia oceny badań. Ograniczenia te są następujące: A) Występuje wysoka skośność (asymetria) rozkładów cytowań w czasopismach [1-3]; B) Właściwości Journal Impact Factor są specyficzne dla danej dziedziny – składa się na ten wskaźnik wiele zróżnicowanych typów artykułów, w tym artykuły z badań podstawowych i recenzje [1, 4]; C) Journal Impact Factor może być manipulowany (lub „rozgrywany”) przez politykę redakcyjną [5]; D) Dane używane do obliczania Journal Impact Factor nie są ani przejrzyste, ani publicznie dostępne [4, 6, 7].

Poniżej przedstawiamy szereg zaleceń mających na celu poprawę sposobu, w jaki oceniana jest jakość wyników badań naukowych. Wyniki badań przejawiające się w innej postaci niż artykuły będą w przyszłości zyskiwały na znaczeniu przy ocenie efektywności. Recenzowany artykuł naukowy pozostanie jednak głównym wynikiem badań, mającym wpływ na ich ocenę. Nasze zalecenia skupiają się zatem przede wszystkim na praktykach związanych z artykułami naukowymi publikowanymi w recenzowanych czasopismach, ale mogą i powinny zostać rozszerzone o uznanie dodatkowych elementów, takich jak zbiory danych, za istotne wyniki badań. Zalecenia te skierowane są do instytucji finansujących, akademickich, do czasopism, organizacji zajmujących się tworzeniem metod pomiaru oraz do indywidualnych naukowców.W zaleceniach tych przewija się kilka postulatów:

potrzeba wyeliminowania wskaźników bazujących na treści czasopism, tj. takich wskaźników jak Journal Impact Factors, z procesów podejmowania decyzji dotyczących finansowania, mianowania i awansu;
potrzeba oceny badań dla samych ich zalet i korzyści z nich, a nie na podstawie czasopisma, w którym wyniki badań zostały opublikowane;
potrzeba wykorzystania możliwości, jakie daje publikacja online (takich jak rozluźnienie niepotrzebnych ograniczeń dotyczących liczby słów, rysunków i odniesień w artykułach oraz eksploracja nowych wskaźników znaczenia i wpływu).

Zdajemy sobie sprawę z tego, że wiele instytucji finansujących, akademickich, wydawców i naukowców stale zachęca do ulepszania praktyk w ocenie badań. Takie kroki tworzą masę krytyczną działań w kierunku bardziej wyrafinowanych i znaczących metod ewaluacji badań, które mogą być rozwijane i wdrażane przez kluczowych interesariuszy.

Sygnatariusze Deklaracji z San Francisco w sprawie oceny badań wspierają przyjęcie następujących praktyk w ocenie badań:

Zalecenie ogólne

Nie należy stosować miar opartych na czasopismach, takich jak Journal Impact Factors, jako zastępczej miary jakości poszczególnych artykułów badawczych, do oceny wkładu poszczególnych naukowców lub przy podejmowaniu decyzji o zatrudnieniu, awansie lub finansowaniu.

Dla instytucji finansujących

Należy wyraźnie określić kryteria stosowane przy ocenie dorobku naukowego osób ubiegających się o dotacje (granty) i wyraźnie podkreślić, zwłaszcza w przypadku młodych naukowców, że treść naukowa pracy jest znacznie ważniejsza niż parametry dotyczące publikacji lub nazwa czasopisma, w którym została opublikowana.
W ocenie badań naukowych oprócz publikacji należy uwzględnić wartość poznawczą i wpływ aplikacyjny wszystkich wyników badań (w tym zbiorów danych i oprogramowania) oraz rozważyć szeroki zakres miar wpływu, w tym jakościowe wskaźniki wpływu badań, takie jak wpływ na polityki publiczne i działania praktyczne.

Dla instytucji naukowych

Należy wyraźnie określać kryteria stosowane przy podejmowaniu decyzji o zatrudnieniu, zajmowaniu stanowiska i awansie, podkreślając, zwłaszcza w przypadku młodych naukowców, że treść naukowa pracy jest znacznie ważniejsza niż parametry i wskaźniki publikacji lub nazwa czasopisma, w którym została ona opublikowana.
W ocenie badań naukowych oprócz publikacji należy uwzględnić wartość poznawczą i wpływ aplikacyjny wszystkich wyników badań (w tym zbiorów danych i oprogramowania) oraz rozważyć szeroki zakres miar wpływu, w tym jakościowe wskaźniki wpływu badań, takie jak wpływ na polityki publiczne i działania praktyczne.

Dla wydawców

Należy znacznie zmniejszyć nacisk na współczynnik wpływu (wskaźnik cytowań, Journal Impact Factor) jako na narzędzie promocyjne czasopisma, najlepiej poprzez zaprzestanie promowania współczynnika wpływu lub prezentowanie parametrów w kontekście różnych miar i ocen czasopisma (np. 5-letni współczynnik wpływu, EigenFactor [8], SCImago [9], h-index, terminy redakcji i publikacji itp.), które zapewniają bogatszy obraz efektywności czasopisma.
Należy udostępniać szereg różnych wskaźników na poziomie artykułu, aby zachęcić do zmiany w kierunku oceny opartej na treści naukowej artykułu, a nie parametrach publikacji czasopisma, w którym został on opublikowany.
Niezbędne jest zachęcanie do stosowania odpowiedzialnych praktyk w zakresie autorstwa i dostarczania informacji o konkretnym wkładzie każdego autora.
Bez względu na to, czy czasopismo stosuje politykę otwartego dostępu, czy jest oparte na subskrypcji, należy usuwać wszystkie ograniczenia ponownego wykorzystania bibliografii w artykułach badawczych i udostępniać je na zasadach licencji Creative Commons Public Domain Dedication [10].
Należy zlikwidować lub zmniejszyć ograniczenia dotyczące liczby odniesień i przypisów w artykułach naukowych, oraz, w stosownych przypadkach, nakazać cytowanie literatury podstawowej i klasycznej (zamiast jej przeglądów), aby upowszechniać wiedzę dotyczącą oryginalnych autorów i badaczom, którzy jako pierwsi zgłosili dane odkrycie.

Dla organizacji tworzących metody pomiaru, parametry i wskaźniki

Niezbędna jest otwartość i przejrzystość w udostępnianiu danych i metod stosowanych do obliczania wszystkich wskaźników.
Powinno się dążyć do tego, by dostarczać dane na licencji, która pozwala na nieograniczone ponowne wykorzystanie i dostęp obliczeniowy do nich, jeśli to możliwe (dotyczy wyłącznie danych ilościowych).
Należy wyraźnie zaznaczać, że niewłaściwa manipulacja parametrami nie będzie tolerowana oraz określić wprost, co stanowi niewłaściwą manipulację i jakie środki zostaną podjęte w celu jej zwalczania.
Należy uwzględnić różnice między poszczególnymi typami artykułów (np. między recenzjami a artykułami badawczymi) oraz w różnych obszarach tematycznych, w których parametry są wykorzystywane, agregowane lub porównywane.

Dla naukowców

Przy pracy w komisjach podejmujących decyzje dotyczące finansowania, zatrudniania, kadencyjności lub awansu, należy dokonywać oceny na podstawie treści naukowych, a nie wskaźników i parametrów publikacji.
Tam, gdzie to stosowne, należy cytować literaturę podstawową, w której po raz pierwszy przedstawiono obserwacje lub idee, a nie wtórne (choć niedawno opublikowane) przeglądy, aby z należytym szacunkiem traktować wkład w naukę i wiedzę.
Należy dążyć do tego, by stosować szereg różnych parametrów dotyczących artykułów oraz wskaźników dotyczących opinii i rekomendacji personalnych jako dowód wpływu poszczególnych opublikowanych artykułów i innych wyników badań [11].
Należy kwestionować praktyki oceny badań, które opierają się w niewłaściwy sposób na Journal Impact Factors oraz promować i uczyć najlepszych praktyk, które koncentrują się na wartości i wpływie konkretnych wyników badań.

Bibliografia

^*Journal Impact Factor jest obecnie publikowany przez Clarivate Analytics.

PDF: DORA_Polish.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Monika Kostera, Jarema Piekutowski, and Piotr Stec and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.