Deklarasi San Francisco tentang Penilaian Penelitian

Ada kebutuhan mendesak untuk memperbaiki cara menilai hasil penelitian ilmiah oleh lembaga pendanaan, lembaga akademik, dan lembaga-lembaga lain. Untuk memenuhi kebutuhan ini, sejumlah editor dan penerbit jurnal ilmiah sepakat berkumpul pada Pertemuan Tahunan American Society for Cell Biology (ASCB) di San Francisco, California pada tanggal 16 Desember 2012. Pertemuan ini menghasilkan serangkaian rekomendasi yang dinamai Deklarasi San Francisco tentang Evaluasi Penelitian (DORA). Kami mengundang siapa saja yang tertarik dari berbagai bidang ilmu untuk mendukung Deklarasi ini dengan menambahkan nama mereka sebagai penanda tangannya.

Kegiatan penelitian ilmiah memberikan banyak hasil, seperti: artikel penelitian yang melaporkan pengetahuan baru, data, reagen, dan perangkat lunak; hak kekayaan intelektual; dan para ilmuwan muda yang terlatih. Lembaga pendanaan, lembaga yang mempekerjakan ilmuwan, dan ilmuwan itu sendiri; semuanya memiliki keinginan dan kebutuhan untuk menilai kualitas dan dampak luaran ilmiah. Oleh itu, sangat penting untuk mengukur dan menilai luaran ilmiah ini secara akurat dan bijak.

Faktor Dampak Jurnal (Journal Impact Factor, JIF) sering kali digunakan sebagai parameter utama untuk membandingkan produktivitas ilmiah para individu dan institusi. Faktor Dampak Jurnal, sebagaimana dirumuskan oleh Thomson Reuters*, pada awalnya dibuat sebagai sebuah alat untuk membantu pustakawan mengidentifikasi jurnal-jurnal yang cocok dibeli mereka, bukan sebagai tolok ukur kualitas ilmiah makalah dalam jurnal-jurnal tersebut. Dengan kesadaran ini, penting untuk memahami bahwa Faktor Dampak Jurnal sebagai alat penilai penelitian memiliki sejumlah kekurangan yang telah dipaparkan dalam berbagai tulisan. Kekurangan ini termasuk: A) distribusi kutipan dalam jurnal sangat timpang [1-3]; B) unsur-unsur Faktor Dampak Jurnal sangat tergantung pada bidang ilmu: jadi faktor ini dihasilkan dari berbagai jenis artikel yang sangat beragam, termasuk artikel yang sifatnya penelitian dan artikel yang sifatnya ulasan [1, 4]; C) Faktor Dampak Jurnal dapat dimanipulasi (atau “diselewengkan”) dengan kebijakan editorial [5]; dan D) data yang digunakan untuk menghitung Faktor Dampak Jurnal tidak transparan atau terbuka untuk umum [4, 6, 7]. Di bawah ini kami mengusulkan sejumlah rekomendasi untuk memperbaiki cara menilai kualitas luaran penelitian. Luaran-luaran selain artikel akan bertambah penting dalam penilaian penelitian di masa depan, tetapi artikel penelitian yang berbasis penelaahan-sejawat akan tetap menjadi fokus utama penilaian penelitian. Oleh itu, rekomendasi kami difokuskan kepada praktik-praktik terkait artikel penelitian yang diterbitkan pada berkala ilmiah, walaupun dan memang seharusnya diperluas dengan mengakui hasil-hasil penelitian yang lain, seperti data penelitian. Rekomendasi ini ditujukan kepada lembaga-lembaga pendana penelitian dan lembaga akademik, pengelola jurnal, organisasi penyedia metrik, dan para peneliti.

Ada beberapa benang merah yang terkandung dalam rekomendasi ini:

  • perlunya menghilangkan penggunaan metrik berbasis jurnal, seperti Faktor Dampak Jurnal dalam pertimbangan pendanaan penelitian, pemilihan penelitian, dan peningkatan jabatan;
  • perlunya menilai penelitian berdasarkan isinya, bukan berdasarkan jurnal di mana penelitian tersebut diterbitkan;
  • perlunya memanfaatkan peluang yang disediakan oleh publikasi daring (seperti melonggarkan batasan yang tidak perlu pada jumlah kata, gambar/bagan, dan referensi dalam artikel; dan menggali indikator-indikator baru yang mencerminkan tingkat signifikan dan dampak).

Kami menyadari bahwa banyak lembaga pendanaan, lembaga ilmiah, penerbit, dan peneliti telah mendorong perubahan praktik penilaian penelitian menjadi  lebih baik. Langkah-langkah tersebut telah meningkatkan momentum menuju pendekatan yang lebih canggih dan bermakna untuk menilai penelitian, yang sekarang dapat dibangun dan diterapkan oleh semua pemangku kepentingan.

Para penandatangan Deklarasi San Francisco tentang Penilaian Penelitian mendukung penerapan praktik-praktik berikut dalam penilaian penelitian.

Rekomendasi Umum

  1. Tidak menggunakan metrik berbasis jurnal, seperti Faktor Dampak Jurnal, sebagai ukuran kualitas artikel penelitian, cara menilai kontribusi ilmuwan, atau cara memutuskan pengangkatan ilmuwan, peningkatan jabatan, dan pendanaan penelitian.

Untuk lembaga pendanaan

  1. Terbuka tentang kriteria yang digunakan untuk menilai produktivitas ilmiah para pemohon hibah dan dengan jelas menekankan, terutama untuk peneliti pemula, bahwa isi dari sebuah makalah ilmiah jauh lebih penting daripada metrik jurnal atau identitas jurnal di mana artikel tersebut itu diterbitkan.
  2. Untuk keperluan penilaian penelitian, pertimbangkan nilai dan dampak dari semua luaran hasil penelitian (termasuk dataset dan perangkat lunak) selain publikasi penelitian, dan pertimbangkan berbagai ukuran dampak termasuk indikator kualitatif dampak penelitian, seperti pengaruhnya pada kebijakan dan praktik (di masyarakat).

Untuk lembaga ilmiah

  1. Terbuka tentang kriteria yang digunakan memutuskan hal-hal terkait pengangkatan, penetapan, dan peningkatan jabatan seorang ilmuwan, dan dengan jelas menekankan, terutama untuk ilmuwan pemula, bahwa isi makalah ilmiah jauh lebih penting daripada metrik jurnal atau nama jurnal tempat artikel terbit.
  2. Untuk keperluan penilaian penelitian, pertimbangkan nilai dan dampak dari semua luaran penelitian (termasuk set data dan perangkat lunak) di samping publikasi penelitian, dan pertimbangkan berbagai ukuran dampak termasuk indikator kualitatif, seperti pengaruh pada kebijakan dan praktik masyarakat.

Untuk penerbit

  1. Mengurangi penekanan pada Faktor Dampak Jurnal sebagai alat peningkatan jabatan, idealnya dengan berhenti mengiklankan Faktor Dampak atau menampilkannya bersama metrik-metrik lain (seperti faktor dampak 5-tahun, EigenFactor [8], SCImago [9], indeks-h, waktu penyuntingan dan penerbitan, dll.) sehingga kinerja jurnal dapat dinilai lebih utuh.
  2. Sediakan berbagai metrik di tingkat artikel untuk mendorong penilaian ke arah isi artikel daripada metrik publikasi jurnal di mana artikel diterbitkan.
  3. Mendorong praktik-praktik atribusi penulis yang bertanggung jawab dan mendorong penyampaian informasi tentang kontribusi spesifik masing-masing penulis.
  4. Untuk semua jenis jurnal, berbasis akses terbuka atau pun langganan, izinkan penggunaan daftar referensi atau sitasi artikel penelitian dengan lisensi Creative Commons Public Domain Dedication [10].
  5. Hapus atau kurangi batasan jumlah referensi dalam artikel penelitian, dan, jika sesuai, wajibkan agar sitasi terhadap literatur primer lebih diutamakan daripada literatur ulasan untuk memberikan penghargaan kepada kelompok yang pertama kali melaporkan temuan ilmiah.

Untuk organisasi penyedia metrik

  1. Terbuka dan transparan dengan memberikan data dan metode yang digunakan untuk menghitung semua metrik.
  2. Menyediakan data yang lisensinya memungkinkan penggunaan kembali tanpa batasan dan menyediakan akses komputasi kepada data jika memungkinkan.
  3. Tegaskan bahwa manipulasi metrik yang tidak tepat tidak akan ditoleransi; dan dengan eksplisit menyatakan ciri-ciri manipulasi yang tidak tepat dan tindakan yang akan diambil terhadapnya.
  4. Pertimbangkan variasi jenis artikel (misalnya, artikel penelitian dan artikel ulasan) dan variasi bidang studi ketika menggunakan, mengagregasi, atau membandingkan metrik.

Untuk peneliti

  1. Ketika terlibat dalam komite yang memutuskan tentang pendanaan, perekrutan, peningkatan jabatan, buat penilaian berdasarkan konten ilmiah bukan metrik publikasi.
  2. Bila perlu, berikan penghargaan yang tepat dengan mengutip literatur primer, yang pertama sekali memaparkan sebuah temuan ilmiah, daripada mengutip literatur ulasan.
  3. Gunakan berbagai metrik dan indikator artikel pada pernyataan pribadi/pendukung sebagai bukti dampak setiap artikel dan luaran penelitian lainnya [11].
  4. Tantang praktik penilaian yang bergantung secara salah kaprah kepada Faktor Dampak Jurnal dan sebar luaskan serta ajarkan praktik terbaik tentang nilai dan manfaat dari luaran-luaran penelitian selain publikasi artikel.

Referensi

  1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
  2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
  3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
  4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
  5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
  6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
  7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
  8. http://www.eigenfactor.org/
  9. http://www.scimagojr.com/
  10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
  11. http://altmetrics.org/tools/ (Link to archived site)

* Faktor Dampak Jurnal saat ini diterbitkan oleh Clarivate Analytics.

PDF: DORA_Indonesian.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Eric Kunto Aribowo, Mezia Kemala Sari, Surya Darma Hamonangan, Juneman Abraham, and Dasapta Erwin Irawan and made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.