با عنایت به ناکارآمدی شاخص ضريب تاثير (IF) در تشخیص کار(های) کلیدی پژوهشی اعضای محترم هیات علمی جهت ارتقاء مرتبه، استخدام، اختصاص گرنت و جذب دانشجو در مقطع دكتري – چنانکه در ذیل بدان اشاره شده است- پیشنهاد (های) جایگزین در این زمینه، چنانكه در ذيل بدان اشاره مي شود، پس از ذکر دلایل ناکاآمدی شاخص ذکر شده معرفي خواهد شد:

 

الف) براساس گزارش سال ۲۰۱۵ یونسکو تحت عنوان “شاخص های سنجش پژوهش”(۱)، چهار عامل بازدهی (productivity)، پدیداری (visibility)، اعتبار (reputation) و میزان تاثیر (impact) به عنوان ابعاد سنجش پژوهش مورد ملاحظه قرار می گیرند. بازدهی و تاثیر پژوهش ها در گذشته و ابتدای تولد علم سنجی به طور عمده مبتنی بر آنالیز استنادی بود و کارایی (performance) هر فردی بر اساس استنادهای اخذ شده توسط کارهای پژوهشی وی، رتبه و ضریب تاثیر ژورنال های منتشر کننده آن سنجیده می شد.

ب) ضريب تاثير مجله (JIF)، از چند مشکل اساسی رنج می برد: ۱) نمی تواند به عنوان يک معياری پيشگويی کننده با اهميت در مورد تعداد ارجاعات يک مقاله باشد؛ ۲) نحوه محاسبه آن به روشنی مشخص نيست؛ ۳) توزیع ارجاعات در ژورنال ها کاملا نامتوازن است؛ ۴) ویژگی های JIF وابسته به حوزه هستند و با در نظر گرفتن مجموعه ناهمگنی و بسیار متنوعی منجمله انواع مقالات شامل مقالات اصیل پژوهشی و مروری محاسبه می شود (۲). بعلاوه معیارهایی کمی دیگری چون CiteScore، SNIP، و Eigenfactor معرفی شده اند که صرفا به عنوان معیارهای عملکرد ژورنال (Journal-based metrics) هستند. معیارهای کمی مورد اشاره چون ضريب تاثير مجله، اين عدد جادويي، به راحتی به غلط تفسير می شود. به عنوان مثال، اگر تعداد ارجاع ها به مقالات را به قد در انسان ها تشبيه کنيم، در آنصورت عدد ميانگين آگاهی دهنده خواهد بود. به طور ميانگين، مردان از زنان بلند ترند؛ بنابراين به راحتی با دانستن جنسيت افراد می توان در مورد قد آنها پيش گويي نمود. اما، در مورد ارجاعات به مقالات يک ژورنال، اين عدد به شدت تحريف شده است. بخش کوچکی از مقالات تاثير گذار، بيشترين ارجاعات را کسب می کنند؛ در حاليکه بخش عمده ای از مقالات به ميزان کمی ارجاع می شوند.

ج) به علت وجود مشکلات فوق و استفاده ناصحیح از شاخص های سنجش ژورنال ها، دو بیانیه مهم توسط پژوهشگران تهیه گردید که به شدت مورد استقبال قرار گرفت: ۱- بیانیه سانفرانسیسکو در ارتباط با ارزیابی پژوهش (DORA) و ۲- بیانیه لایدن (۲ و ۳). از نکات مهم این بیانیه ها می توان به ۱) نیاز به حذف استفاده از سنجش مبتنی بر نشریه، مانند ضریب تأثیر، جهت تامین بودجه پژوهش ها، انتصابات، و ملاحظات ترفیعات؛ ۲) نیاز به ارزیابی پژوهش از روی محاسن خاص خود و نه بر اساس نشریه‌ای که پژوهش در آن منتشر شده است؛ ۳) ارزيابی کمی ضروری است تا پشتيبان ارزيابی کيفی توسط متخصصين مربوط باشد؛ ۴) ارزيابی پژوهشگران را بر مبنای پرتفوی آنان شامل ميزان خبرگی، کارآزمودگی، فعاليت ها و تاثير آن در حوزه تخصصی مبنا قرار دهد؛ ۵) کارايی بر اساس ماموريت های پژوهشی دانشگاه، گروه يا پژوهشگر مبتنی بر زمينه های اجتماعی-اقتصادی و فرهنگی تعيين شود؛ ۶) پژوهش های محلی مورد نياز را مورد حمايت ويژه قرار گیرد.

د) این بیانیه ها مشوق و منجر به گذار از شاخص های صرفا مبتنی بر آنالیز استناد وابسته به ژورنال ها به شاخص های دیگری در سطح مقالات (Article-level metrics) و پژوهشگر/مولف (Author-level metrics) گردید. از جمله شاخص های سطح پژوهشگر می توان به H Index، i10 Index، و RG Score اشاره نمود. از جمله ابزارهای سطح مقاله (آلتمتریک) می توان به Altmetric.com و ImpactStory.org اشاره نمود.

بر اساس آنچه در فوق بدان اشاره گردید، پیشنهادهای ذیل جهت جایگزینی معرفی می گردند (۱ و ۴):

الف) سودمند است تا پرتفویی از شاخص های سطح ژورنال، مقاله و پژوهشگر جهت سنجش اعضای محترم هیات علمی مورد استفاده قرار گیرد.

ب) از میان شاخص های سطح ژورنال دو شاخص SJR و Eigenfactor به علت جامع بودن، شفاف بودن، در دسترس بودن، الگوریتم های محاسبه، در نظر گرفتن حوزه موضوعی، رایگان بودن و در نظر گرفتن رتبه کشورها بر سایر شاخص ها ارجحیت دارند.

ج) از میان ابزارهای سطح مقاله نیز Altmetric.com عمومیت بیشتری بر ImpactStory.org یافته است. جهت محاسبه شاخص آلتمتریک از میزان بازدیدها، استنادها، ذخیره سازی و مباحثات صورت گرفته در مورد مقاله در شبکه های خبری و اجتماعی استفاده می شود.

د) بر خلاف دو شاخص فوق که انتخاب گزینه های مناسب و سودمند در مورد آنها با سهولت نسبی همراه است؛ شاخص (های)سطح پژوهشگر از فراوانی زیادی برخوردار هستند و لذا جهت انتخاب گزینه های مناسب در این زمینه نیاز است تا سه پارامتر میزان فعالیت، میزان پدیداری بروندادها و میزان تاثیر فکری پژوهشگر مطمح نظر قرار گیرد ]۵[. از لحاظ میزان فعالیت می توان به تعداد بروندادها، میزان پدیداری به Mendeley و ResearchGate.Net و میزان تاثیر گذاری به شاخص H و i10 اشاره نمود. در مجموع با توجه به نحوه محاسبه شاخص RG توسط ResearchGate.Net که مجموعه ای از عوامل را در نظر می گیرد، می تواند شاخص مناسبی در سطح پژوهشگر/مولف باشد. بعلاوه، در سطح دانشگاهها، با توجه به اهميت وبومتريكس در رتبه بندي دانشگاهها، اين معيار نيز مي تواند جهت ميزان فعاليت و مشاركت فردي اعضاي هيات علمي/دانشجويان دكتري مورد استفاده قرار گيرد.

ه) در دو بیانیه ذکر شده در فوق و استانداردهای بازنگری شده علم سنجی در انگلستان، استرالیا و کانادا بر اهمیت ارزیابی بروندادهای علمی توسط خبرگان مربوط به هر حوزه، علاوه بر معیارهای فوق تاکید شده است (۴ و ۶).

 

 

 

 

  • Research Evaluation Metrics, Published in 2015 by the United Nations Educational, Scientific and Cultural Organization
  • http://www.ascb.org/dora/
  • Nature, 520;429–۴۳۱, (۲۳ April 2015) doi:10.1038/520429a
  • Measuring research: A guide to research evaluation frameworks and tools, Published 2013 by the RAND Corporation
  • THE NEXT BIBLIOMETRICS: ALMETRICS (AUTHOR LEVEL METRICS) AND THE MULTIPLE FACES OF AUTHOR IMPACT, El profesional de la información, 2016, mayo-junio, v. 25, n. 3. eISSN: 1699-2407
  • Assessment, evaluations, and definitions of research impact: A review, Research Evaluation 23 (2014) pp. 21–۳۲٫