حسن مشتاقیان ابرقوئی؛ محمد رضا فلسفی نژاد؛ نورعلی فرخی
چکیده
مشخص کردن گزینه‌های انحرافی به‌عنوان منابع کنش افتراقی سوال(DIF) در سوال های چند ارزشی اهمیت بسزایی برای طراحان و تحلیل گران سؤال دارد. هرچند DIF روش معمول بررسی تغییرناپذیری اندازه‌گیری است؛ این رویکرد به‌خصوص در سؤال‌های چندگزینه‌ای با چالش‌ها و محدودیت‌هایی همراه است. هدف این مطالعه، ارزیابی رویکرد لوجیت آشیانه‌ای(NLM) در شناسایی ...
بیشتر
مشخص کردن گزینه‌های انحرافی به‌عنوان منابع کنش افتراقی سوال(DIF) در سوال های چند ارزشی اهمیت بسزایی برای طراحان و تحلیل گران سؤال دارد. هرچند DIF روش معمول بررسی تغییرناپذیری اندازه‌گیری است؛ این رویکرد به‌خصوص در سؤال‌های چندگزینه‌ای با چالش‌ها و محدودیت‌هایی همراه است. هدف این مطالعه، ارزیابی رویکرد لوجیت آشیانه‌ای(NLM) در شناسایی سؤال‌های حاوی کنش افتراقی گزینه های انحرافی (DDF) با استفاده از روش تحقیق آزمایشی (داده‌های شبیه‌سازی) و روش توصیفی-تحلیلی (داده‌های واقعی) بود. 6 سؤال، تحت شرایط مختلف دشواری و شیب، توزیع توانایی، وجود یا نبود کنش افتراقی و بزرگی DIF/DDF با نمونه‌ای به حجم 2000 و با 50 تکرار شبیه‌سازی شد. همچنین، داده‌های فرم D آزمون ریاضی کنکور 1397 با نمونه‌ای تصادفی به حجم 2000 مرد و زن، نمونه واقعی را تشکیل می‌داد. بر اساس نتایج تحلیل داده‌های شبیه‌سازی: رویکرد لوجیت آشیانه‌ای به‌طور متوسط 88 درصد سؤال‌های DIF دار و 97 درصد سؤال‌های DDF دار تحت شرایط مختلف را آشکار نمود. نرخ خطای نوع اول در اغلب شرایط بسیار نزدیک به ارزش‌های مورد انتظار نظری بود هرچند در شرایط توزیع نابرابر، مقداری تورم خطا نشان داد. بر اساس یافته‌های شبیه سازی، نرخ تشخیص کنش افتراقی متأثر از پارامترهای سؤال (دشواری و شیب) بود و با افزایش سطح DIF و یا DDF نرخ رد افزایش می‌یافت. مبتنی بر تحلیل داده‌های واقعی، 2 سؤال به‌طور هم‌زمان هردوی DIF (بزرگ و متوسط) و DDF (جزئی تا متوسط) را به نمایش گذاشت، درحالی‌که در رویکرد رقیبِ پاسخ اسمی، 11 سؤال به‌عنوان سؤال با کنش افتراقی شناسایی شد؛ بنابراین همان‌طور که انتظار می‌رفت رویکردNLM مبتنی بر استراتژی «تقسیم‌بر گزینه‌های انحرافی» تعداد سؤال‌های کمتری را به‌عنوان DIF / DDF دار ردگیری نمود. رویکرد دومرحله‌ای مدل لوجیت آشیانه‌ای، ضمن تفکیک آزمون DDF از DIF، امکان ارزیابی روشن از اینکه آیا گزینه‌های انحرافی مسئول احتمالی DIF هستند را میسر می‌سازد. ازآنجاکه آزمون‌های سرنوشت ساز نقش ویژه‌ای در گزینش افراد دارند و تحلیل‌های DIF و DDF جایگاه ویژه‌ای در تعیین اعتبار و نامتغیر بودن اندازه‌گیری سؤال‌های این آزمون‌ها دارند، پیشنهاد می‌شود جهت سرند کردن سؤال‌های سودار تحلیل‌های جامع DIF / DDF مبتنی بر رویکردهای لوجیت آشیانه‌ای مورداستفاده قرار گیرد.
