حسن مشتاقیان ابرقوئی؛ محمد رضا فلسفی نژاد؛ نورعلی فرخی
چکیده
مشخص کردن گزینه‌های انحرافی به‌عنوان منابع کنش افتراقی سوال(DIF) در سوال های چند ارزشی اهمیت بسزایی برای طراحان و تحلیل گران سؤال دارد. هرچند DIF روش معمول بررسی تغییرناپذیری اندازه‌گیری است؛ این رویکرد به‌خصوص در سؤالهای چندگزینه‌ای با چالش‌ها و محدودیت‌هایی همراه است. هدف این مطالعه، ارزیابی رویکرد لوجیت آشیانه‌ای(NLM) در شناسایی ...
بیشتر
مشخص کردن گزینه‌های انحرافی به‌عنوان منابع کنش افتراقی سوال(DIF) در سوال های چند ارزشی اهمیت بسزایی برای طراحان و تحلیل گران سؤال دارد. هرچند DIF روش معمول بررسی تغییرناپذیری اندازه‌گیری است؛ این رویکرد به‌خصوص در سؤالهای چندگزینه‌ای با چالش‌ها و محدودیت‌هایی همراه است. هدف این مطالعه، ارزیابی رویکرد لوجیت آشیانه‌ای(NLM) در شناسایی سؤالهای حاوی کنش افتراقی گزینه های انحرافی (DDF) با استفاده از روش تحقیق آزمایشی (داده‌های شبیه‌سازی) و روش توصیفی-تحلیلی (داده‌های واقعی) بود. 6 سؤال، تحت شرایط مختلف دشواری و شیب، توزیع توانایی، وجود یا نبود کنش افتراقی و بزرگی DIF/DDF با نمونه‌ای به حجم 2000 و با 50 تکرار شبیه‌سازی شد. همچنین، داده‌های فرم D آزمون ریاضی کنکور 1397 با نمونه‌ای تصادفی به حجم 2000 مرد و زن، نمونه واقعی را تشکیل می‌داد. بر اساس نتایج تحلیل داده‌های شبیه‌سازی: رویکرد لوجیت آشیانه‌ای به‌طور متوسط 88 درصد سؤالهای DIF دار و 97 درصد سؤالهای DDF دار تحت شرایط مختلف را آشکار نمود. نرخ خطای نوع اول در اغلب شرایط بسیار نزدیک به ارزش‌های مورد انتظار نظری بود هرچند در شرایط توزیع نابرابر، مقداری تورم خطا نشان داد. بر اساس یافته‌های شبیه سازی، نرخ تشخیص کنش افتراقی متأثر از پارامترهای سؤال (دشواری و شیب) بود و با افزایش سطح DIF و یا DDF نرخ رد افزایش می‌یافت. مبتنی بر تحلیل داده‌های واقعی، 2 سؤال به‌طور هم‌زمان هردوی DIF (بزرگ و متوسط) و DDF (جزئی تا متوسط) را به نمایش گذاشت، درحالی‌که در رویکرد رقیبِ پاسخ اسمی، 11 سؤال به‌عنوان سؤال با کنش افتراقی شناسایی شد؛ بنابراین همان‌طور که انتظار می‌رفت رویکردNLM مبتنی بر استراتژی «تقسیم‌بر گزینه‌های انحرافی» تعداد سؤالهای کمتری را به‌عنوان DIF / DDF دار ردگیری نمود. رویکرد دومرحله‌ای مدل لوجیت آشیانه‌ای، ضمن تفکیک آزمون DDF از DIF، امکان ارزیابی روشن از اینکه آیا گزینه‌های انحرافی مسئول احتمالی DIF هستند را میسر می‌سازد. ازآنجاکه آزمون‌های سرنوشت ساز نقش ویژه‌ای در گزینش افراد دارند و تحلیل‌های DIF و DDF جایگاه ویژه‌ای در تعیین اعتبار و نامتغیر بودن اندازه‌گیری سؤالهای این آزمون‌ها دارند، پیشنهاد می‌شود جهت سرند کردن سؤالهای سودار تحلیل‌های جامع DIF / DDF مبتنی بر رویکردهای لوجیت آشیانه‌ای مورداستفاده قرار گیرد.
حمیدرضا کرمی؛ مسعود گرامی پور؛ اصغر مینائی
چکیده
اگرچه تحلیل مدل درخت‌های راش برای شناسایی سؤالهای سودار آزمون‌های مختلف معرفی‌شده است، اما تحقیقات اندکی در این خصوص صورت پذیرفته است. هدف از این تحقیق استفاده از مدل درخت‌های راش و بررسی عوامل مداخله‌گر در آشکارسازی کنش افتراقی سؤالهای آزمون بود. برای پاسخگویی به سؤالهای تحقیق از روش مطالعات شبیه‌سازی و داده‌های آزمون ...
بیشتر
اگرچه تحلیل مدل درخت‌های راش برای شناسایی سؤالهای سودار آزمون‌های مختلف معرفی‌شده است، اما تحقیقات اندکی در این خصوص صورت پذیرفته است. هدف از این تحقیق استفاده از مدل درخت‌های راش و بررسی عوامل مداخله‌گر در آشکارسازی کنش افتراقی سؤالهای آزمون بود. برای پاسخگویی به سؤالهای تحقیق از روش مطالعات شبیه‌سازی و داده‌های آزمون اختصاصی دانشگاه علوم انتظامی امین استفاده شد. پژوهش حاضر ازنظر هدف کاربردی و ازنظر روش، توصیفی موسوم به تحقیقات روان‌سنجی است. جامعه آماری آزمون اختصاصی سال 1398 دانشگاه علوم انتظامی امین به تعداد 2414 نفر به‌صورت تمام شمار مورد تحلیل قرارگرفته است. جهت تشخیص نرخ آشکارسازی کنش افتراقی سؤال با استفاده از مدل درخت‌های راش از بسته DIFtree در نرم‌افزار R استفاده شد. نتایج حاصل از مطالعه شبیه‌سازی نشان داد که مدل درخت‌های راش، کنش افتراقی سؤال را در نمونه‌های با حجم بالای 1000 آزمودنی به‌صورت صد درصد شناسایی می‌کند. همچنین نتایج نشان داد که در آزمون اختصاصی دانشگاه علوم انتظامی تعداد 9 سؤال دارای کنش افتراقی سؤال هستند که در مهم‌ترین آن، تعداد 7 سؤال در گروه ریاضی با 18 سال سن (رسته دوم) و 6 سؤال در گروه ریاضی با 19 سال سن (رسته اول) دارای سوگیری نسبت به گروه علوم تجربی (رسته سوم) بوده وجهت‌آن به نفع رسته اول و دوم و به ضرر رسته سوم بوده است.
مسعود گرامی پور؛ احمد رضایی؛ اعظم رمضانی صدر؛ لیلا نوروزی
چکیده
کنکور سراسری بنا به اذعان بسیاری از کارشناسان سرنوشت سازترین آزمون در ایران است و ویژگیهای جمعیت شناختی داوطلبان از قبیل جنسیت، منطقه (پایگاه اجتماعی-اقتصادی) و استان(زبان) می توانند بر عملکرد داوطلبان ورود به دانشگاه در پاسخ به سؤالهای آزمون مؤثر باشند. اگر پاسخ به سؤالهای آزمون با کنترل توانایی آزمودنی ها تابعی از ویژگیهای جمعیت ...
بیشتر
کنکور سراسری بنا به اذعان بسیاری از کارشناسان سرنوشت سازترین آزمون در ایران است و ویژگیهای جمعیت شناختی داوطلبان از قبیل جنسیت، منطقه (پایگاه اجتماعی-اقتصادی) و استان(زبان) می توانند بر عملکرد داوطلبان ورود به دانشگاه در پاسخ به سؤالهای آزمون مؤثر باشند. اگر پاسخ به سؤالهای آزمون با کنترل توانایی آزمودنی ها تابعی از ویژگیهای جمعیت شناختی باشند، سؤالهای آزمون نسبت به آنها کنش افتراقی (DIF) دارند. هدف از پژوهش حاضر بررسی کنش افتراقی سؤالهای آزمون سراسری سازمان سنجش آموزش کشور بر حسب ویژگیهای جمعیت شناختی داوطلبان است. نمونه تحقیق شامل همه آزمودنی های یک دفترچه آزمون و برخی دروس امتحانی تخصصی گروه های آزمایشی کنکور سراسری از سال 87 تا 90 بود. به منظور تحلیل DIF از رویکرد تحلیل رگرسیون لوجستیک دو وجهی استفاده شد. پس از اطمینان از تک بعدی بودن آزمون های مورد مطالعه از طریق رویکرد NOHARM، یافته های تحلیل DIF حاکی از این بود که به ترتیب بیشترین تعداد کنش افتراقی آشکار شده در سؤالهای آزمون، مربوط به متغیرهای جنسیت، سهمیه مناطق (پایگاه اجتماعی-اقتصادی) و استان(زبان) هستند، اما مقادیر اندازه های اثر بسیار کوچک و ناچیز بودند. با این وجود، بر اساس یافته های پژوهش حاضر پیشنهاد می شود که کمیته های موضوعی تشکیل شده و بر اساس قضاوت نهایی آنها، سؤالهای سودار آزمون مشخص شوند و در طراحی سؤال در آزمون های آینده مد نظر قرار گیرند.
