بهبود شاخصهای ارزیابی بروندادهای علمی که توسط تأمین‌کنندگان منابع مالی پژوهش، مؤسسه‌های دانشگاهی و دیگر بخش‌هااستفاده می‌شود، امری ضروری است .در این راستا گروهی از ناشران و سردبیران نشریات پژوهشی، به منظور بررسی این موضوع و همچنین معرفی شاخصهای مکمل، طی نشست سالیانه انجمن زیست‌شناسی سلولی آمریکا[1] در ۱۶ دسامبر ۲۰۱۲ و در شهر سانفرانسیسکو گردهم آمدند. این گروه با تدوین بیانیه‌ای تحت عنوان «ارزیابی پژوهش سانفرانسیسکو (دورا)»[2] پیشنهادهایی را مطرح کرده و از تمام افراد علاقه‌مند در رشته‌های مختلف علمی دعوت می‌کند که با افزودن نام خود، حمایت‌شان از این بیانیه را اعلام کنند.
بروندادهای علمی، فراوان و متنوع هستند؛ از آن جمله می‌توان به مقاله‌های پژوهشی، داده‌ها و نرم‌افزارهای جدید، مالکیت معنوی و تربیت پژوهشگران جوان اشاره کرد .تأمین‌کنندگان منابع مالی پژوهش، مؤسسه‌های استخدام‌کننده‌ی پژوهشگران و همچنین خود پژوهشگران، همگی مایل به ارزیابی کیفیت و اثربخشی بروندادهای پژوهشی هستند. به همین دلیل، ارزیابی صحیح و آگاهانه این بروندادها از اهمیت بسزاییبرخوردار است.
بیشتر اوقات، شاخص ضریب تأثیر نشریات[3] معیار اصلی سنجش و مقایسه بروندادهای علمی افراد و مؤسسه‌هاست. این شاخص- به روش محاسبه مؤسسه تامسون رویترز[4]– در ابتدا با هدف ارزیابی کیفیت مقاله‌های پژوهشی ایجاد نشده بود، بلکه به کتابخانه‌های تحقیقاتی برای شناسایی و انتخاب نشریات مناسب برای مجموعه‌های تخصصی کمک می‌کرد. با در نظر گرفتن این امر ،استفاده از شاخص ضریب تأثیر نشریات به عنوان ابزار ارزیابی پژوهش ،کاستی‌های زیادی به‌همراه دارد. برخی از این کاستی‌ها عبارت‌اند از:
الف) داده‌های مربوط به تعداد استنادهای علمی[5] در نشریات پژوهشی، از نظر آماری توزیع نامتوازنی دارند.[۱-۳]
ب) شاخص ضریب تأثیر نشریات در رشته‌های علمی مختلف بسیار متفاوت است. همچنین این شاخص مقیاسی ترکیبی بر اساس آمیخته‌ای از مقاله‌های متعدد و متنوع، از جمله مقاله‌های پژوهشی و مقاله‌های مروری است.[۱و۴]
ج) این احتمال وجود دارد که شاخص ضریب تأثیر نشریات توسط سیاست‌های هیئت تحریریه دستکاری شود {و موجبات سوء استفاده از آن را فراهم سازد} [۵].
د) داده‌هایی که به منظور محاسبه ضریب تأثیر نشریات پژوهشی مورد استفاده قرار می‌گیرند، شفاف و در دسترس عموم نیستند۴].و۶و [۷
در ادامه پیشنهادهایی برای بهبود روش‌های ارزیابی کیفیت بروندادهای علمی ارائه می‌شود. در آینده، بروندادهایی غیر از مقاله‌های پژوهشی، نمود بیشتری در ارزیابی اثر بخشی علم خواهند داشت .با این‌حال آن دسته از مقاله‌های پژوهشی که توسط محقق‌های دیگر بازنگری شده‌اند (داوری همتا)، کماکان به عنوان خروجی اصلی پژوهش در نظر گرفته شده و موثر‌ترین عنصر در ارزیابی پژوهش به شمار می‌روند. بنابراین اگرچه پیشنهادهای ما عمدتاً بر این نوع از مقاله‌های پژوهشی متمرکز است، ولی می‌توان و بایست آنها را به موارد دیگر، مانند مجموعه داده‌ها) به عنوان یکی دیگر از بروندادهای مهم علمی( نیز گسترش داد.
مخاطب اصلی این پیشنهادها تأمین‌کنندگان منابع مالی پژوهش، نهادهای آموزشی، نشریات پژوهشی، سازمان‌های ارائه دهنده شاخصهای سنجش و خود پژوهشگران هستند.
برخی از موضوعات مطرح شده در این پیشنهادها به شرح زیر است:
- لزوم حذف شاخصهای مبتنی بر نشریه (از جمله شاخص ضریب تأثیر نشریه) در تصمیم‌گیری‌های مربوط به اختصاص منابع مالی،استخدام و ارتقای پژوهشگران؛
- لزوم ارزیابی پژوهش بر پایه محتوای علمی، و نه بر اساس {اعتبار} نشریه‌ای که نتایج در آن منتشر شده است؛
- لزوم استفاده بهینه از فرصت‌های فراهم شده توسط انتشار آنلاینِ مقاله‌های پژوهشی (رفع موانع غیر ضروری از جمله: محدودیت تعداد کلمات، تصاویر و منابع مورد استفاده در مقاله‌ها، و بررسی شاخصهای ارزیابی جدید).
بسیاری از تأمین‌کنندگان منابع مالی، مؤسسه‌های علمی، ناشران و پژوهشگران، از مشوقین اصلی بهبود ارزیابی نتایج و بروندادهای پژوهش‌هستند. چنین اقدام‌هایی همواره از سوی ذینفعان در حال گسترش است تا ارزیابی پژوهش در آینده توسط رویکردهایی دقیق و پیشرفته انجام گیرد.
امضاکنندگان بیانیه‌ی دورا، از شیوه‌های زیر در ارزیابی پژوهش حمایت می‌کنند:
پیشنهاد عمومی
۱) در ارزیابی مشارکت یک پژوهشگر، یا در زمان استخدام، ارتقا یا تخصیص منابع مالی، برای سنجش کیفیت مقاله‌های پژوهشی از شاخصهای مبتنی بر نشریه (مثل شاخص ضریب تأثیر نشریه) استفاده نکنید.
پیشنهاد به تأمین‌کنندگان منابع مالی پژوهش
۲) در مورد معیارهای ارزیابی دستاوردهای علمی متقاضیان شفاف و صریح باشید و به روشنی تأکید کنید (به‌ویژه برای پژوهشگران تازه‌کار) که محتوای علمی یک مقاله بسیار مهمتر از شاخصهای کمّی انتشار یا نشریه‌ای است که مقاله در آن منتشر شده است.
۳) در ارزیابی پژوهش، علاوه بر تحقیقات منتشر شده، ارزش و تأثیر تمامی بروندادهای تحقیق (از جمله مجموعه داده‌ها و نرم افزارها) را در نظر گرفته، و طیف وسیعی از شاخص‌ها و معیارهای کیفی از جمله تأثیر پژوهش بر سیاست‌گذاری و علم را نیز مد نظر قرار دهید.
پیشنهاد به نهادهای آموزشی
۴) در مورد معیارهای مورد استفاده در تصمیم‌گیری برای استخدام موقت، دائم و یا ارتقای شغلی اساتید صراحت داشته‌باشید. به‌روشنی تأکید کنید (به ویژه برای ارزیابان تازه کار) که محتوای علمی یک مقاله بسیار مهمتر از شاخصهای کمّی انتشار یا نشریه‌ای است که مقاله در آن منتشر شده است.
۵) در ارزیابی پژوهش، علاوه بر مقاله‌های منتشر شده، ارزش و تأثیر تمامی بروندادهای تحقیق (از جمله مجموعه داده‌ها و نرم افزارها) را در نظر گرفته، و طیف وسیعی از شاخص‌ها و معیارهای کیفی از جمله تأثیر پژوهش بر سیاست‌گذاری و علم را نیز مد نظر قرار دهید.
پیشنهاد به ناشران
۶) با کاهش تأکید بر ضریب تأثیر نشریه به عنوان عامل تشویقی، و جایگزینی آن با سایر شاخصهای مبتنی بر نشریه (مانند ضریب تأثیر ۵ ساله، فاکتور آیگن[6][۸]، سایمگو[7][۹]، شاخص [8]H، مدت زمان انتظار برای ارزیابی هیئت تحریریه و انتشار و غیره) دید وسیع‌تری از عملکرد نشریه ارائه دهید.
۷) طیفی از شاخصهای کیفی مبتنی بر مقاله را در دسترس قرار داده و مشوق ارزیابی پژوهش بر پایه محتوای علمی مقاله‌ها باشید.
۸) مشوق شیوه‌های نگارش مسئولانه باشید و جزئیات مشارکت هر نویسنده در مقاله‌ها را ارائه دهید.
۹) خواه دسترسی به یک نشریه رایگان باشد یا نیاز به حق اشتراک داشته باشد، محدودیت‌‌های استفاده مجدد از فهرست منابع مقاله‌ها را حذف کرده، و آنها را تحت عنوان «بازنشر با ذکر منبع برای عموم آزاد است» [۱۰] در دسترس قرار دهید.
۱۰) محدودیت تعداد منابع در مقاله‌های پژوهشی را حذف کرده یا کاهش دهید و در صورت لزوم، استناد به مقاله اولیه به جای مقاله‌های مروری - و منابع دست دوم – را الزامی کنید تا منجر به کسب اعتبار برای گروه‌هایی شود که برای اولین بار یافته‌ای را گزارش کرده‌اند.
پیشنهاد به سازمان‌های ارائه دهنده شاخصهای سنجش
۱۱) در رابطه با داده‌ها و روش‌های مورد استفاده در محاسبه‌ی شاخصهای سنجش شفاف سازی کنید.
۱۲) داده‌ها را با مجوزی ارائه دهید که استفاده‌ی مجددِ بدون محدودیت را ممکن می‌سازد و در صورت امکان، دسترسی به تمام داده‌ها را (برای محاسبات مجدد) فراهم کنید.
۱۳) به صراحت اعلام کنید که با دستکاری نامناسب و سوء استفاده از شاخصهای سنجش مدارا نمی‌شود. همچنین در مورد تعریف «دستکاری نامناسب» و اقداماتی که برای مبارزه با آن اتخاذ خواهد شد، صریح باشید.
۱۴) در استفاده، تجمیع و مقایسه شاخصهای سنجش، گونه‌های مختلف مقاله‌ها) برای نمونه مقاله‌های مروری در مقایسه با مقاله‌های پژوهشی) و تفاوت‌های ساختاری رشته‌های مختلف علمی را مد نظر قرار دهید.
پیشنهاد به پژوهشگران
۱۵) هنگامی که عضوی از گروه‌های تصمیم‌گیرنده درباره تأمین منابع مالی، استخدام یا ارتقای پژوهشگران هستید، ارزیابی‌ها را به جای شاخصهای کمّی انتشار بر اساس محتوای علمی انجام دهید.
۱۶) هر کجا درپی اعتباربخشی به مطلبی هستید، به جای مقاله‌های مروری به پژوهش‌های دست اول استناد کنید.
۱۷) در نوشتن انگیزه‌‌نامه‌های شخصی و کاری، از شاخصهای سنجش گوناگون یا سنجه‌های مکمل برای ابراز تأثیر مقاله‌ها و سایر بروندادهای پژوهشی خود استفاده کنید.[۱۱]
۱۸) روش‌های ارزیابی پژوهشی را که به شکل نادرستی متکی بر شاخص ضریب تأثیر مجله است به چالش کشیده، و رویه‌های مطلوب مبتنی بر ارزش و تأثیر بروندادهای تحقیقاتی خاص را ترویج و آموزش دهید.
فهرست منابع
- Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
- Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
- Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
- Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
- The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
- Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
- Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
- http://www.eigenfactor.org/
- http://www.scimagojr.com/
- http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
- http://altmetrics.org/tools/ (Link to archived site)
پاورقی ها
[1] ASCB (American Society for Cell Biology)
[2] DORA (Declaration on Research Assessment): https://sfdora.org/read/
[4] The Journal Impact Factor is now published by Clarivate Analytics.
PDF: DORA_Persian.pdf
This is a translation of the DORA text at https://sfdora.org/read, contributed by Mohammad Hosseini with thanks to Sara Habibitabar, Aliakbar Akbaritabar, Shiva Sharifzad, Elaheh Hosseini and Ehsan Mohammadi. It is also published on zenodo.org (https://doi.org/10.5281/zenodo.6584590) and is made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.