نوع مقاله : مقاله پژوهشی

نویسندگان

• مریم پارساییان ¹
• ابراهیم خدایی ²
• بلال ایزانلو ³
• کیوان صالحی ⁴
• سیما نقی زاده ⁵

¹ دانشجوی دکتری رشته سنجش و اندازه گیری، دانشگاه تهران، تهران، ایران.

² دانشیار دانشگاه تهران، تهران، ایران

³ استادیار گروه برنامه ریزی درسی، دانشگاه خوارزمی، تهران، ایران

⁴ دانشیار دانشکده روان شناسی و علوم‌تربیتی؛ دانشگاه تهران، تهران، ایران

⁵ استادیار سازمان سنجش آموزش کشور، تهران، ایران

چکیده

شاخص یودن یک معیار متداول برای منحنی ویژگی عملکرد (ROC) است که هم کارایی یک آزمون ملاک‌مرجع را می‌سنجد و هم مقدار نمره برش را برای آزمون مشخص می‌کند. این پژوهش با هدف مقایسه و ارزیابی سه روش برآورد ناپارامتری تجربی، هسته با روش پهنای باند سیلورمن و هسته با روش پهنای باند اعتبارسنجی متقابل ماکسیمم درستنمایی برای محاسبه مقدار شاخص یودن انجام شده است. در این پژوهش برای ارزیابی عملکرد از شاخص‌های خطای استاندارد بوت استرپ (BSE)، ریشه میانگین مربعات خطا (RMSE)، مربع خطای یکپارچه (ISE) و میانگین مربعات خطای یکپارچه (MISE)استفاده شده است. نتایج نشان می‌دهد که روش هسته با اعتبارسنجی متقابل ماکسیمم درستنمایی دارای مقدار شاخص یودن بالاتری بود. نمرات برش به دست آمده برای روش‌های هسته 479 و برای روش تجربی 465 به دست آمد. با توجه به نتایج قابل قبول شاخص‌های ارزیابی، روش‌های هسته به‌ویژه با پهنای باند بهینه اعتبارسنجی متقابل ماکسیمم درستنمایی منجر به برآوردهای قابل اعتمادتری از شاخص یودن و نمره برش برای آزمون تولیمو می‌شود.

کلیدواژه‌ها

• نمره برش
• شاخص یودن
• روشهای ناپارامتری
• آزمونهای ملاک مرجع

عنوان مقاله [English]

Comparing nonparametric methods for determining cut scores in criterion referenced tests by using Youden index subject of study: Tolimo test

نویسندگان [English]

• Maryam Parsaeian ¹
• Ebrahim Khodaie ²
• Balal Izanloo ³
• Keyvan Salehi ⁴
• sima naghizadeh ⁵

¹ universty of Tehran

² Tehran University

³ Faculty of Psychology and Education, Kharazmi University, Tehran, Iran.

⁴ Associate professor, Division of Research and Assessment, Faculty of Psychology and Education, University of Tehran, Tehran, Iran

⁵ national organization for educational testing

چکیده [English]

The Youden index is a commonly used summary measure for the Receiver Operator Characteristic (ROC) curve that both measures the performance of a criterion-referenced test and specifies the cutoff score value for the test. This research aims to compare and evaluate three empirical non-parametric estimation methods, kernel with Silverman's bandwidth method and kernel with maximum likelihood cross-validation bandwidth method to calculate the value of Youden's index. In this research, bootstrap standard error (BSE), root mean square error (RMSE), square integrated error (ISE) and mean square integrated error (MISE) indices were used to evaluate the performance. The results show that the kernel method with maximum likelihood cross-validation had a higher Youden index value. The obtained cutoff scores were 479 for the kernel methods and 465 for the empirical method. According to the acceptable results of the evaluation indices, kernel methods especially with the optimal bandwidth of the maximum likelihood cross-validation lead to more reliable estimates of the Youden index and the cutoff score in Tolimo test results.

کلیدواژه‌ها [English]

• cut scores
• Youden index
• nonparametric methods
• criterion referenced tests