نوع مقاله : مقاله پژوهشی

نویسندگان

• علی مهدوی خواه ¹
• مرتضی کرمی ²

¹ دانش آموخته مقطع دکتری برنامه درسی از دانشگاه فردوسی مشهد

² استاد تمام رشته برنامه درسی دانشکده علوم تربیتی دانشگاه فردوسی مشهد

چکیده

ارزشیابی آموزشی نقش محوری در بهبود کیفیت برنامه‌های تربیتی دارد. این پژوهش با هدف تحلیل میزان انطباق پایان‌نامه‌های کارشناسی ارشد علوم تربیتی با استانداردهای مدل چهارسطحی کرک‌پاتریک انجام شد. جامعه آماری شامل کلیه پایان‌نامه‌های چهار دانشگاه برتر کشور (تهران، علامه طباطبایی، شهید بهشتی و فردوسی مشهد) طی سال‌های ۱۳۸۴ تا ۱۴۰۴ بود که از میان ۳۷ پایان‌نامه شناسایی‌شده، ۲۶ پایان‌نامه به روش سرشماری و بر اساس معیارهای ورود انتخاب شدند.
ابزار پژوهش چک‌لیست محقق‌ساخته‌ای متشکل از ۲۱ نشانگر در چهار سطح واکنش، یادگیری، رفتار و نتایج بود که روایی آن توسط سه متخصص تأیید و پایایی آن با ضریب کاپای کوهن ۰.۹۲ محاسبه شد. یافته‌ها نشان داد سطح واکنش با میانگین انطباق ۹۵.۴ درصد بهترین عملکرد را داشت، درحالی‌که این میزان در سطح یادگیری به ۵۴.۶ درصد، در سطح رفتار به ۳۴.۸ درصد و در سطح نتایج به ۱۳.۲ درصد کاهش یافت. مهم‌ترین نقاط ضعف شامل استفاده ناکافی از روش‌های پیشرفته سنجش (۱۵ درصد)، عدم پیگیری بلندمدت (۸ درصد) و غفلت از سنجش شاخص‌های سازمانی (77 درصد) بود.
نتایج نشان‌دهنده نیاز مبرم به بازنگری در روش‌شناسی پژوهش‌های ارزشیابی، توسعه ابزارهای بومی سنجش سطوح بالاتر و توجه به ارزشیابی‌های طولی‌مدت است. این یافته‌ها برای بهبود کیفیت پژوهش‌های ارزشیابی آموزشی و اثربخشی برنامه‌های تربیتی حائز اهمیت است.

کلیدواژه‌ها

• کلیدواژه: ارزشیابی آموزشی
• تحلیل انطباق
• فراارزشیابی
• مدل کرک‌پاتریک

عنوان مقاله [English]

Meta-evaluation of Compatibility Between Completed Educational Theses and Kirkpatrick’s Model Standards

نویسندگان [English]

• ali mahdavikhah ¹
• Morteza Karami ²

¹ PhD in Curriculum Development, Department of Educational Sciences, Ferdowsi University of Mashhad, Mashhad, Iran.

² Professor of Curriculum Studies, Department of Educational Sciences, Faculty of Psychology and Education, Ferdowsi University of Mashhad, Mashhad, Iran.

چکیده [English]

Educational evaluation plays a pivotal role in improving the quality of educational programs. This study aimed to analyze the alignment of master's theses in educational sciences with the standards of Kirkpatrick's four-level model. The statistical population included all theses from four top Iranian universities (Tehran, Allameh Tabataba'i, Shahid Beheshti, and Ferdowsi Mashhad) between 2005 and 2023, from which 26 theses were selected through census sampling based on inclusion criteria.
The research instrument was a researcher-made checklist comprising 21 indicators across four levels (reaction, learning, behavior, and results), whose validity was confirmed by three experts and reliability was calculated with Cohen's kappa coefficient of 0.92. Findings revealed that the reaction level showed the best performance with 95.4% alignment, while this rate decreased to 54.6% for learning, 34.8% for behavior, and 13.2% for results. Major weaknesses included insufficient use of advanced assessment methods (15%), lack of long-term follow-up (8%), and neglect of organizational indicators measurement (77%).
The results demonstrate an urgent need for revising evaluation research methodologies, developing indigenous tools for higher-level assessment, and emphasizing longitudinal evaluations. These findings are significant for enhancing the quality of educational evaluation research and improving the effectiveness of educational programs.

کلیدواژه‌ها [English]

• Keywords: educational evaluation
• compliance analysis
• meta-evaluation
• Kirkpatrick model