نوع مقاله : مقاله پژوهشی

نویسندگان

• شیرین رضوانی فر ¹
• فرزاد اسکندری ²

¹ دانشجوی دکتری سنجش و اندازه گیری، دانشگاه علامه طباطبایی

² عضو هیات علمی دانشگاه علامه طباطبایی

چکیده

هدف کلی پژوهش حاضر، مقایسۀ روش‏های همترازسازی ناپارامتری (بیزی و سؤال ـ پاسخ) با روش‏های پارامتری (کلاسیک و سؤال ـ پاسخ) و تعیین اثر حجم نمونه و طول آزمون بر دقت نتایج همترازسازی بود. در این مطالعه، تأثیر سه عامل در شبیه‏سازی بررسی شد: حجم نمونه 500 و 2000 نفری؛ طول آزمون 30 و 60 سؤالی و میزان ناهمسانی توزیع توانایی افراد در دو فرم به صورت همسانی کامل (0=d)، ناهمسانی کم (0.2=d) و ناهمسانی متوسط (0.2=d). در این پژوهش، آماره‏های خطای استاندارد وزنی همترازسازی، برای ارزیابی خطای تصادفی، سوگیری همترازسازی وزنی و قدرمطلق سوگیری همترازسازی وزنی برای ارزیابی خطای منظم و مجذور میانگین مربع خطای همترازسازی وزنی، برای اندازه‏گیری دقت کلی همترازسازی مورد استفاده قرار گرفت. یافته‌ها نشان داد که صرف‏نظر از شرایط شبیه‏سازی (حجم نمونه، طول آزمون و توزیع گروه‌ها)، روش همترازسازی خطی به نسبت سایر روش‏ها کمترین خطای استاندارد وزنی (متوسط خطا 56/0) را به نمایش گذاشت. پس از آن روش کرنل با متوسط خطای استاندارد 67/0، روش هم‏صدک با متوسط خطای استاندارد 70/0 و روش‏های سؤال ـ پاسخ نمره واقعی با متوسط خطای استاندارد 64/0 و روش سؤال ـ پاسخ نمره مشاهده شده با متوسط خطای استاندارد 65/0 و در انتها روش سؤال ـ پاسخ کرنل متوسط خطای استاندارد 88/0 و ناپارامتری بیزی متوسط خطای استاندارد 00/1 قرار می‌گیرد. همچنین روش سؤال – پاسخ نمره واقعی و مشاهده شده بیشترین قدر مطلق سوگیری وزنی (به ترتیب 11/3 و 14/3) و روش بیزی ناپارامتری کمترین قدر مطلق سوگیری وزنی (73/0) را نشان داد. با این وجود تحت شرایط توزیع‌های همسان، کمترین میزان سوگیری وزنی متعلق به روش همترازسازی نمره واقعی و بیشترین سوگیری متعلق به روش بیزی ناپارامتری بود. و بیشترین مقدار ریشه دوم میانگین مجذور خطای وزنی متعلق به روش سؤال ـ پاسخ نمرۀ مشاهده‏شده (41/3) بود و پس از آن روش سؤال ـ پاسخ نمره واقعی (39/3) در جایگاه بعدی قرار داشت و کمترین مقدار میانگین مجذور خطا متعلق به روش بیزی ناپارامتری (35/1) بود.

کلیدواژه‌ها

• همترازسازی
• ناپارامتری بیز
• شیوه‏های پارامتری کلاسیک
• نمره واقعی نظریه سئوال ـ پاسخ

عنوان مقاله [English]

non-parametric equating methods and parametric methods

نویسندگان [English]

• shirin Rezvanifar ¹
• Farzad Eskandari ²

¹ Allameh Tabataba'i University

² Allameh Tabataba'i University

چکیده [English]

A study compared the accuracy of nonparametric equating methods (Bayesian and item-response) with parametric methods (classical and item-response). The study considered the impact of sample size, test length, and heterogeneity in ability distribution between the two forms. The researchers conducted simulations using R software with various parameters, including sample sizes of 500 and 2000, test lengths of 30 and 60 questions, and different levels of heterogeneity. The study used a faster method for nonparametric Bayesian analysis, relying on probabilistic approaches and Karabatsos codes (2009) instead of Markov chain Monte Carlo (MCMC) algorithms. The findings showed that regardless of simulation conditions, the linear equating method had the lowest weighted standard error (mean error of 0.56). Following that, the kernel method had a mean standard error of 0.67, the percentile method had a mean standard error of 0.70, and the actual score item-response method had a mean standard error of 0.64, while the observed score item-response method had a mean standard error of 0.65. Finally, the kernel item-response method had a mean standard error of 0.88, and the nonparametric Bayesian method had a mean standard error of 0.001. Moreover, the actual and observed score item-response methods showed the highest absolute weight bias (3.11 and 3.14, respectively), while the nonparametric Bayesian method showed the lowest absolute weight bias (0.73). However, under homogeneous distribution conditions, the linear equating method had the lowest weight bias, and the Bayesian nonparametric method had the highest bias. The highest value for the square root of the average squared weighting error belonged to the observed score item-response method (3.41), followed by the actual score item-response method (3.39), and the lowest value belonged to the nonparametric Bayesian method (1.35).

کلیدواژه‌ها [English]

• Equating
• Nonparametric Bayes
• Classical Parametric Methods
• True Score Theory of Item-response