Fon sağlayıcılar, akademik kurumlar ya da diğer kuruluşlar tarafından değerlendirilen bilimsel araştırma çıktılarının değerlendirilme yollarının geliştirilmesine yönelik acil ihtiyaç vardır. Bu sorunu adreslemek amacıyla 16 Aralık 2012 tarihinde San Francisco’da gerçekleştirilen Amerikan Hücre Biyolojisi Derneği (ASCB) Yıllık Toplantısı sırasında bir grup akademik dergi yayıncı ve editörleri bir araya gelmiştir. Bu grup Araştırma Değerlendirmesi üzerine San Francisco Deklarasyonu adını verdikleri bir dizi öneri geliştirmiştir. Bu bağlamda, tüm bilimsel disiplinlerden ilgili kişi veya kuruluşları Deklarasyona isimlerini ekleyerek destek vermeye davet ediyoruz.
Bilimsel araştırmalardan elde edilen çıktılar; yeni bilgi, veri, reaksiyon ve yazılımı raporlayan araştırma makaleleri, entelektüel mülkiyet ve oldukça eğitimli genç araştırmacıları içerecek şekilde çok ve çeşitlidir. Fon sağlayıcılar, bilim insanlarını istihdam eden kuruluşlar ve bilim insanlarının bizzat kendileri bilimsel çıktıların kalitesi ve etkisini değerlendirmek için istek ve ihtiyaç duymaktadırlar. Bu nedenle bilimsel çıktıların doğru olarak ölçülmesi ve akıllıca değerlendirilmesi şarttır.
Dergi etki faktörü, bireylerin ve kurumların bilimsel çıktılarının karşılaştırılması amacıyla sıklıkla kullanılan önemli parametrelerden biridir. Thomson Reuters* tarafından hesaplanan dergi etki faktörü, aslen, bilimsel araştırma kalitesinin bir ölçüsü olarak değil, kütüphanecilerin satın alacakları dergileri belirlemelerine yardımcı olacak bir araç olarak ortaya çıkmıştır. Bunu göz önünde bulundurarak, dergi etki faktörünün araştırma değerlendirmeleri için bir araç olarak kullanıldığında ortaya çıkan ve yazılı kanıta dayanan bir takım eksikliklere sahip olduğunu anlamak çok önemlidir. Bu sınırlılıklar:
- Dergilerin içindeki atıf dağılımı genellikle çarpıktır [1-3];
- Dergi etki faktörü alana özgüdür; birincil araştırma makaleleri ve derlemeleri de içeren, birbirinden oldukça farklı çeşitli makale türlerinin birleşik bir ölçümüdür [1, 4];
- Editoryal politikalar aracılığı ile dergi etki faktörleri manipüle edilebilir (veya etki faktörü ile oyun oynanabilir) [5];
- Dergi etki faktörlerini hesaplamak için kullanılan veriler ne şeffaf, ne de herkes tarafından erişilebilir durumdadır [4, 6, 7].
Aşağıda, araştırma çıktılarının kalitesinin değerlendirilme şeklinin geliştirilmesi için bir dizi öneride bulunuyoruz. Araştırma makaleleri dışındaki çıktılar gelecekte araştırma etkinliğinin değerlendirilmesinde önem kazanacak, ancak akran/hakem değerlendirmesinden geçmiş araştırma makaleleri, araştırma değerlendirme süreçlerini etkileyen merkezi araştırma çıktısı olmaya devam edecektir. Bu nedenle önerilerimiz öncelikli olarak hakemli dergilerde yayımlanan araştırma makaleleriyle ilgili uygulamalara odaklanmaktadır ancak veri setleri gibi ek ürünleri önemli araştırma çıktıları olarak tanımlayarak genişletilebilir ve genişletilmelidir. Bu öneriler, fon sağlayıcılar, akademik kurumlar, dergiler, ölçev sağlayan kuruluşlar ve bireysel araştırmacıları hedeflemektedir.
Deklarasyon kapsamında bir grup tema aşağıda sıralanan öneriler ışığında gözden geçirilmiştir:
- Dergi etki faktörleri gibi dergi temelli ölçevlerin fon kararları, akademik yükselme veya teşvik kararlarında kullanımını ortadan kaldırma ihtiyacı;
- Araştırmanın, yayımlandığı dergiye dayanarak değil, kendi değeriyle değerlendirilmesi ihtiyacı;
- Elektronik yayıncılığın sağladığı fırsatlardan (kelime, şekil veya künye sayısı gibi kısıtları gevşetme, önem ve etkinin göstergesi olabilecek yeni göstergelerin keşfi gibi) faydalanma ihtiyacı.
Birçok fonlayıcı kurum, kuruluş, yayıncı ve araştırmacının hâlihazırda araştırma değerlendirmelerinde gelişmiş uygulamaları teşvik ettiğini biliyoruz. Bu adımlar, tüm aktörlere uyarlanabilecek ve tüm aktörlerce benimsenebilecek araştırma değerlendirmeleri için sofistike ve anlamlı yaklaşımlar geliştirilmesine yönelik olarak ivmeyi artırıyor.
San Francisco Deklarasyonu imzacıları, araştırma değerlendirmelerinde aşağıdaki uygulamaların benimsenmesini desteklemektedir.
Genel Tavsiye
- Bireysel bir bilim insanının bilime katkılarını değerlendirme sürecinde veya işe alma, yükselme veya fon kararlarını vermek üzere tekil olarak bir araştırma makalesinin kalitesinin yerine geçecek/tayin edecek dergi etki faktörü gibi dergi temelli ölçevler kullanmayın.
Fon Sağlayıcı Kuruluşlar için
- Hibe başvurusu yapanların bilimsel üretkenliklerinin değerlendirilmesinde kullandığınız kriterler konusunda net olun ve özellikle genç araştırmacılar için bir bilimsel yayının içeriğinin, yayın ölçevlerinden veya yayının yer aldığı derginin kimliğinden çok daha önemli olduğunu açıkça vurgulayın.
- Araştırma değerlendirme amacıyla, bilimsel yayınlara ek olarak (veriler ve yazılımlar da dâhil olmak üzere) tüm araştırma çıktılarının etkisini ve değerini dikkate alın ve bunların politika ve uygulamaya etkileri gibi araştırma etkisinin nitel göstergelerini içeren geniş kapsamlı ölçümleri göz önünde bulundurun.
Kurumlar için
- İşe alma, yükselme veya teşvik kararlarında kullanılan kriterler konusunda net olun. Özellikle genç araştırmacılar için, bir bilimsel yayının içeriğinin, yayın ölçevlerinden veya yayının yer aldığı derginin kimliğinden çok daha önemli olduğunu açıkça vurgulayın.
- Araştırma değerlendirme amacıyla, bilimsel yayınlara ek olarak (veriler ve yazılımlar da dâhil olmak üzere) tüm araştırma çıktılarının etkisini ve değerini dikkate alın ve bunların politika ve uygulamaya etkileri gibi araştırma etkisinin nitel göstergelerini içeren geniş kapsamlı ölçümleri göz önünde bulundurun.
Yayıncılar için
- İdeal olarak, etki faktörünü pazarlamayı bırakarak ya da bu ölçevi de dergi performansına ilişkin daha zengin bilgi sağlayan birçok dergi temelli diğer ölçev (5 yıllık etki faktörü, EigenFactor [8], SCImago [9], h-indeks, editoryal veya yayın süreleri gibi) bağlamında sunarak dergi etki faktörüne bir pazarlama aracı olarak yaptığınız vurguyu büyük ölçüde azaltın.
- Makalenin yayımlandığı derginin yayın ölçevleri yerine makalenin bilimsel içeriğine dayanarak değerlendirmeye geçişi teşvik etmek için bir dizi ölçevi kullanıma sunun.
- Sorumlu (sağduyulu) yazarlık uygulamalarını teşvik edin ve her yazarın spesifik katkısı konusunda bilgi sağlayın.
- Bir derginin açık erişimli ya da abonelik temelli olmasından bağımsız olarak, araştırma makalelerindeki referans listelerinin yeniden kullanılması ile ilgili tüm sınırlılıkları kaldırın ve bunları “Creative Commons (CC) Kamu Malı” lisansı altında erişilebilir hale getirin [10].
- Araştırma makalelerinde künye sayısındaki kısıtlamaları kaldırın veya azaltın. Uygun olduğunda da bir bulguyu ilk kez bildiren grup/lara paye verebilmek için birincil literatüre atıf yapmayı zorunlu kılın.
Ölçev Sağlayan Kuruluşlar için
- Tüm ölçevleri hesaplamak için kullanılan veri ve yöntemleri sağlayarak açık ve şeffaf olun.
- Mümkün olduğunca verilerin sınırsız yeniden kullanımına izin veren ve bu verilerin hesaba dayalı erişimini olanaklı kılan bir lisans sağlayın.
- Ölçevlerin uygunsuz manipülasyonunun tolere edilmeyeceğinden emin olun. Uygunsuz manipülasyonu yaratan koşullar ve bununla mücadelede ne gibi önlemler alınacağı konusunda açık olun.
- Ölçevlerin kullanıldığı, kümelendiği veya karşılaştırıldığı durumlarda yayın türlerinde ve farklı konu alanlarındaki çeşitlilikleri (derlemelere karşılık araştırma makaleleri gibi) hesaba katın.
Araştırmacılar için
- Fon kararı veren, işe alan, görev süresini belirleyen ya da yükselme kararları alan komitelerde yer aldığınızda yayın sayısına dayanan ölçevler yerine bilimsel içeriğe dayalı değerlendirmeler yapın.
- Uygun olduğu durumlarda, krediyi hakkı olana vermek adına, derlemelere atıf yapmak yerine gözlemlerin ilk raporlandığı mecralar olan birincil literatüre atıf yapın.
- Makalelerin tekil olarak etkisinin kanıtı olarak kişisel/destekleyici ifadeler üzerine bir dizi makale ölçevi ve gösterge kullanın [11].
- Uygun olmayan şekilde dergi etki faktörüne dayanan araştırma değerlendirme uygulamalarına meydan okuyun ve belirli araştırma çıktılarının değeri ve etkisine odaklanan en iyi uygulamaları teşvik edin ve öğretin.
Kaynakça
- Adler, R., Ewing, J., ve Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
- Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ, 314, 498-502.
- Editorial (2005). Not so deep impact. Nature, 435, 1003-1004.
- Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometrics, 92, 211-238.
- The PLoS Medicine Editors (2006). The impact factor game. PLoS Med, 3, e291 doi: 10.1371/journal.pmed.0030291.
- Rossner, M., Van Epps, H. Ve Hill, E. (2007). Show me the data. Cell Biol., 179, 1091-1092.
- Rossner M., Van Epps H., ve Hill E. (2008). Irreproducible results: A response to Thomson Scientific. Cell Biol, 180, 254-255.
- http://www.eigenfactor.org/
- http://www.scimagojr.com/
- http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
- http://altmetrics.org/tools/ (Link to archived site)
* Dergi etki faktörü artık Clarivate Analytics tarafından yayımlanmaktadır.
PDF: DORA_Turkish.pdf
This is a translation of the DORA text at https://sfdora.org/read, contributed by Zehra Taskin and Guleda Dogan and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.