نوع مقاله : مقاله پژوهشی

نویسندگان

• حسن مشتاقیان ابرقوئی ¹
• محمد رضا فلسفی نژاد ²
• علی دلاور ³
• نورعلی فرخی ⁴

¹ دانشجوی دکتری سنجش و اندازه‌گیری دانشگاه علامه طباطبایی، تهران، ایران

² دانشیار گروه سنجش و اندازه گیری، دانشگاه علامه طباطبائی، تهران، ایران.

³ استاد، گروه سنجش و اندازه گیری، دانشگاه علامه طباطبایی، تهران، ایران

⁴ استاد گروه سنجش و اندازه گیری، دانشگاه علامه طباطبائی، تهران، ایران.

چکیده

مشخص کردن گزینه‌های انحرافی به‌عنوان منابع کنش افتراقی سؤال (DIF) در سؤال‌های چند ارزشی اهمیت بسزایی برای طراحان و تحلیل گران سؤال دارد. هرچند DIF روش ‌معمول بررسی تغییرناپذیری اندازه‌گیری است؛ این رویکرد به‌خصوص در سؤال‌های چندگزینه‌ای با چالش‌ها و محدودیت‌هایی همراه است. هدف این مطالعه، ارزیابی رویکرد لوجیت آشیانه‌ای (NLM) در شناسایی سؤال‌های حاوی کنش افتراقی گزینه‌های انحرافی (DDF) با استفاده از روش تحقیق آزمایشی (داده‌های شبیه‌سازی) و روش توصیفی-تحلیلی (داده‌های واقعی) بود. 6 سؤال، تحت شرایط مختلف دشواری و شیب، توزیع توانایی، وجود یا نبود کنش افتراقی و بزرگی DIF/DDF با نمونه‌ای به حجم 2000 و با 50 تکرار شبیه‌سازی شد. همچنین، داده‌های فرم D آزمون ریاضی کنکور 1397 با نمونه‌ای تصادفی به حجم 2000 مرد و زن، نمونه واقعی را تشکیل می‌داد. بر اساس نتایج تحلیل داده‌های شبیه‌سازی: رویکرد لوجیت آشیانه‌ای به‌طور متوسط 88 درصد سؤال‌های DIF دار و 97 درصد سؤال‌های DDF دار تحت شرایط مختلف را آشکار نمود. نرخ خطای نوع اول در اغلب شرایط بسیار نزدیک به ارزش‌های مورد انتظار نظری بود هرچند در شرایط توزیع نابرابر، مقداری تورم خطا نشان داد. بر اساس یافته‌های شبیه‌سازی، نرخ تشخیص کنش افتراقی متأثر از پارامترهای سؤال (دشواری و شیب) بود و با افزایش سطح DIF و یا DDF نرخ رد افزایش می‌یافت. مبتنی بر تحلیل داده‌های واقعی، 2 سؤال به‌طور هم‌زمان هردوی DIF (بزرگ و متوسط) و DDF (جزئی تا متوسط) را به نمایش گذاشت، درحالی‌که در رویکرد رقیبِ پاسخ اسمی، 11 سؤال به‌عنوان سؤال با کنش افتراقی شناسایی شد؛ بنابراین همان‌طور که انتظار می‌رفت رویکرد NLM مبتنی بر استراتژی «تقسیم‌بر گزینه‌های انحرافی» تعداد سؤال‏های کمتری را به‌عنوان DIF / DDF دار ردگیری نمود. رویکرد دومرحله‌ای مدل لوجیت آشیانه‌ای، ضمن تفکیک آزمون DDF از DIF، امکان ارزیابی روشن از اینکه آیا گزینه‌های انحرافی مسئول احتمالی DIF هستند را میسر می‌سازد. ازآنجاکه آزمون‌های سرنوشت‌ساز نقش ویژه‌ای در گزینش افراد دارند و تحلیل‌های DIF و DDF جایگاه ویژه‌ای در تعیین اعتبار و نامتغیر بودن اندازه‌گیری سؤال‌های این آزمون‌ها دارند، پیشنهاد می‌شود جهت سرند کردن سؤال‌های سودار تحلیل‌های جامع DIF / DDF مبتنی بر رویکردهای لوجیت آشیانه‌ای مورداستفاده قرار گیرد.

کلیدواژه‌ها

• کنش افتراقی سؤال
• کنش افتراقی گزینه‌های انحرافی
• لوجیت آشیانه‌ای دو پارامتری
• مطالعات شبیه‌سازی

عنوان مقاله [English]

Application of Two-Parameter Nested Logit Model in Identifying the Source of DIF in Multiple-Choice Items

نویسندگان [English]

• Hassan Moshtaghian Abarghouei ¹
• Mohammad Reza Flasafi Nejad ²
• Ali Delavar ³
• Noor Ali Farrokhi ⁴

¹ Ph.D. Student in Deliberation and Measuring, Allameh Tabataba’i University, Tehran, Iran

² Associate Professor, Department of Deliberation and Measuring, Allameh Tabataba’i University, Tehran, Iran

³ Professor, Department of Deliberation and Measuring, University of Tehran, Tehran, Iran

⁴ Professor, M Department of Deliberation and Measuring, Allameh Tabataba’i University, Tehran, Iran

چکیده [English]

Identifying distractors as sources of Differential Item Functioning(DIF) in polyotomous items has great importance to designers and analysts. Although DIF is one of the common methods for examining the measurement invariance, It is accompanied by challenges and limitations, especially in multiple choice items. The purpose of this study was to assess the performance of Nested logit Model(NLM) for detecting Differential Distractor Functioning(DDF) by using experimental (simulated data) and descriptive-analytical (real data) methods. Six items were simulated under different conditions of difficulty and slope, ability distribution, presence or absence of DIF/DDF, and DIF/DDF magnitude, with a sample size of 2000 and 50 replicates. The data of Math Entrance Exam (D-form,2018), with a random sample of 2000 men and women constituted the real data. Based on the results of the simulation analysis: The NLM revealed 88% of DIF and 97% of DDF, on average. the Type I error rates is very close to the theoretical expected values, although it showed some inflation in unequal distribution conditions. according to the findings, the detection rate was influenced by the item parameters(difficulty and slope) and the DIF or DDF levels. Based on real data analysis, 2 items represented both DIF(Large and Medium) and DDF (Partial to Moderate) simultaneously, whereas in the NRM approach, 11 items detected as DIF/DDF; so, as expected the approaches based on “divided by distractor” strategy, fewer items were detected as DIF/DDF. The NLM approach, while separating the DDF from the DIF test, allows for a clear evaluation of whether the distractor may be responsible for DIF. Since high-stakes tests have a special role in selection and DIF and DDF analyzes have a special place in determining the validity and measurement invariance of these exam items, it is recommended to screen the bias items, DIF/DDF comprehensive analyzes based on NLM be used.

کلیدواژه‌ها [English]

• Differential item functioning
• Differential distractor functioning
• Two-parameter nested logist model
• Simulation studies