دومين کنگره ملی سنجش و ارزشيابی علم

علم سنجی: روياها و کابوس ها از منظر يک متخصص علوم پايه

دکتر مجتبی عمادی
تهمينه بيات

چکيده
شاخص های توليدات علوم پايه و به تبع آن متخصصان و پژوهشگران آن حوزه از اين حيث دارای اهميت هستند که ميان رتبه کشورها در توليدات علمی و شاخص های قدرت اقتصادی و نظامی آنها ارتباط کاملا مستقيم وجود دارد. آنچه که در اين نوشتار سعی بر آن است، معياری از حوزه علم سنجی است که به شدت در مجامع دانشگاهی چون استفاده ناصحيح از ديناميت رواج يافته است؛ ضريب تاثير مجله که نه تنها به عنوان معياری جهت سابميت مقاله به يک ژورنال در نظر گرفته می شود بلکه به عنوان محکی جامع جهت قضاوت در مورد همکاران، استخدام، ارتقاء و اعطای گرنت در نظر گرفته می شود. يک عدد منفرد که به راحتی در دسترس است. ضريب تاثير مجله (JIF)، از دو مشکل اساسی رنج می برد: ۱) نمی تواند به عنوان يک معياری پيشگويی کننده با اهميت در مورد تعداد ارجاعات يک مقاله باشد؛ ۲) نحوه محاسبه آن به روشنی مشخص نيست. براساس دانش نگارندگان، استفاده از پيشنهادهای ده گاه بيانيه لايدن در خصوص ارايه شاخص های مناسب جهت سنجش بروندادهای علمی می تواند بسيار کارآمد باشد. با رعايت اين اصول ده گانه، ارزيابی پژوهش ها می تواند نقشی مهم در پيشبرد علم و تعامل آن با جامعه داشته باشد.
كليد واژه¬ها: ضريب تاثير مجله، علوم پايه، بيانيه لايدن، شاخص علم سنجی

مقدمه
علم سنجی و ابزارهای کمی آن تاثير بس شگرفی را برای اعضای هيات علمی دانشگاهها و به خصوص متخصصان علوم پايه که در توليدات علمی بین المللی پيشتاز هستند بر جای می گذارد. شاخص های توليدات علوم پايه و به تبع آن متخصصان و پژوهشگران آن حوزه از اين حيث دارای اهميت هستند که ميان رتبه کشورها در توليدات علمی و شاخص های قدرت اقتصادی و نظامی آنها ارتباط کاملا مستقيم وجود داد (Nature Index 2016).
ورای انگيزه ها و مشوق های صرفا درونی چون اشتياق به اکتشاف ناشناخته ها، مشهور شدن در جامعه و … يکی از اصلی ترين، مهم ترين و تاثير گذارترين عوامل تعيين کننده در حوزه بروندادهای علمی اعضای هيات علمی، آيين نامه ارتقاء و جذب اعضای هيات علمی دانشگاه ها و پژوهشگاه ها می باشد. در اين آيين نامه، بخش های مختلفی وجود دارد، اما اثرگذارترين بخش آن حوزه پژوهشی و برونداد های علمی می باشد. اينکه چنين آيين نامه ای به صورت کلی از چه محدوديت ها و نقص هايی رنج می برد، قبلا تو سط نويسندگان بدان اشاره شده است (عمادی بايگی، ۱۳۹۳). آنچه که در اين نوشتار سعی بر آن است، معياری از حوزه علم سنجی است که به شدت در مجامع دانشگاهی چون استفاده ناصحيح از ديناميت رواج يافته است؛ ضريب تاثير مجله که نه تنها به عنوان معياری جهت سابميت مقاله به يک ژورنال در نظر گرفته می شود بلکه به عنوان محکی جامع جهت قضاوت در مورد همکاران، استخدام، ارتقاء و اعطای گرنت در نظر گرفته می شود. يک عدد منفرد که به راحتی در دسترس است (کالاوی ، ۲۱۰۶؛ بوهانن ، ۲۰۱۶).
ضريب تاثير مجله، اين عدد جادويي، به راحتی به غلط تفسير می شود. به عنوان مثال، اگر تعداد ارجاع ها به مقالات را به قد در انسان ها تشبيه کنيم، در آنصورت عدد ميانگين آگاهی دهنده خواهد بود. به طور ميانگين، مردان از زنان بلند ترند؛ بنابراين به راحتی با دانستن جنسيت افراد می توان در مورد قد آنها پيش گويي نمود. اما، در مورد ارجاعات به مقالات يک ژورنال، اين عدد به شدت تحريف شده است. بخش کوچکی از مقالات تاثير گذار، بيشترين ارجاعات را کسب می کنند؛ در حاليکه بخش عمده ای از مقالات به ميزان کمی ارجاع می شوند.
JIF از دو مشکل اساسی رنج می برد: ۱) نمی تواند به عنوان يک معياری پيشگويی کننده با اهميت در مورد تعداد ارجاعات يک مقاله باشد؛ ۲) نحوه محاسبه آن به روشنی مشخص نيست (بوهانن، ۲۰۱۶).
در ارتباط با تعداد ارجاعات لاری ويره و همکاران (۲۰۱۶)، توزيع ارجاعات را در سال های ۲۰۱۳-۲۰۱۴ به مقالات منتشر شده در ۱۱ ژورنال شامل Science، Nature، eLife و سه ژورنال از Public Library of Science (PLoS) مورد بررسی قرار دادند. اين ارجاعات و تعداد مقالات برای تعيين JIF در سال ۲۰۱۵ مورد استفاده قرار گرقتند. عمده مقالات، ارجاعات به مراتب کمتری از JIF مربوط به ژورنال بدست آوردند: ۸/۷۴% از مقالات Nature ارجاعات کمتری از ضريب تاثير ۱/۳۸ مربوط بدست آورده بودند، ۵/۷۵% از مقالات Science ارجاعات کمتری از ضريب تاثير ۷/۳۴ مربوط بدست آورده بودند.در PLoS Genetics با ضريب تاثير ۷/۶، ۶۵% مقالات ارجاعات کمتری از ضريب تاثير داشتند. علت اصلی اين اختلاف همانگونه که اشاره شده، مقالات پراستناد هستند. به عنوان يک پيشنهاد در دسترس ضرورت دارد تا به جای JIF در وب سايت های ژورنال ها، توزيع ارجاعات گنجانده شود و/يا از ساير ابزارهای علم سنجی در دسترس نيز استفاده شود.
ابهام و عدم شفافيت در اين زمينه ناشی از شرکت خصوصی تامسون رويترز است که اين عدد را محاسبه می کند. شرکت از طريق فروش پايگاه علم کسب درآمد می کند و اطلاعات مربوط به ارجاعاتی را که تصدی آن را در اختيار دارد، در دسترس عموم قرار نمی دهد. کسب داده های مربوط به ارجاعات که در بخش مراجع مقالات قرار دارد، نيازمند کاری دقيق است. ژورنال ها يک فرمت واحد را استفاده نمی کنند و در برخی از آنها نياز است تا مرجع مورد اشاره به شدت خلاصه شود؛ امری که به شدت شناسايی مقاله ايی را که ارجاع داده شده است مشکل می نمايد.
خطاهای تايپی و غلط های املايی واضح نيز يک چالش جدی در اين زمينه هستند.
براساس دانش نگارندگان، استفاده از پيشنهادهای ده گاه بيانيه لايدن (هيکس و همکاران، ۲۰۱۵)در خصوص ارايه شاخص های مناسب جهت سنجش بروندادهای علمی می تواند بسيار کارآمد باشد:
۱- ارزيابی کمی ضروری است تا پشتيبان ارزيابی کيفی توسط متخصصين مربوط باشد.
۲- کارايی بر اساس ماموريت های پژوهشی دانشگاه، گروه يا پژوهشگر مبتنی بر زمينه های اجتماعی-اقتصادی و فرهنگی تعيين شود.
۳- پژوهش های محلی مورد نياز را مورد حمايت ويژه قرار دهد.
۴- فرايندهای تحليلی و جمع آوری داده در آن ساده، شفاف و در دسترس عموم باشد.
۵- سيستم به کار گرفته شده به فرد ارزيابی شده اجازه دهد تا داده ها و آناليز مروبوط را چک و تاييد نمايد.
۶- تنوع بر اساس حوزه های تخصصی علوم و شيوه ارجاع دهی را مد نظر قرار دهد.
۷- ارزيابی پژوهشگران را بر مبنای پرتفوی آنان شامل ميزان خبرگی، کارآزمودگی، فعاليت ها و تاثير آن در حوزه تخصصی مبنا قرار دهد.
۸- از عينی سازی غلط و دقت کاذب پرهيز نمايد.
۹- اثرات سيستمی شاخص ها و ارزيابی را شناسايي نمايد.
۱۰- شاخص هر را بصورت مداوم مورد ارزيابی دقيق قرار دهد و آنها را به روز نمايد.
با رعايت اين اصول ده گانه، ارزيابی پژوهش ها می تواند نقشی مهم در پيشبرد علم و تعامل آن با جامعه داشته باشد. شاخص های پژوهشی مفيد، اطلاعات ذی قيمتی را فراهم می نمايد که صرفا توسط افراد خبره به سادگی قابل انجام و بهر برداری نيست. در هر حال ضرورت دارد که تاکيد شود که اين اطلاعات نمی بايستی از يک ابزار به يک هدف دگرديسی يابند.

منابع
عمادی بايگی، مجتبی (۱۳۹۳). “آيين نامه ارتقاء اعضای هيات علمی: از آباد شهر تهران تا آرمان شهر شارستان”. سومين همايش ملي آسيب شناسي آموزش سازماني با رويكرد كاربردي مبتني بر تجربيات اجرايي در سازمانها. تهران-ايران.

Bohannon, J. (2016).” Hate journal impact factors? New study gives you one more reason
“. Science, DOI: 10.1126/science.aag0643.
Callaway, E. (2016).” Beat it, impact factor! Publishing elite turns against controversial metric “. Nature, 535, p210–۲۱۱٫
Hicks, D. (2015). “Bibliometrics: The Leiden Manifesto for research metrics”. Nature, 520, p429–۴۳۱٫
Lariviere, V et al. (2016) .”A simple proposal for the publication of journal citation distributions”. BioRxiv, doi: http://dx.doi.org/10.1101/062109.
Nature Index. (2016). “The 2016 tables”. [Online]. Available At: https://www.natureindex.com/annual-tables/2016