تأثیر تعدادگزینه‏ های سؤال در ویژگی‏های روان‏سنجی آزمون و توانایی برآوردشده در مدل‏های پرسش پاسخ و کلاسیک اندازه گیری

نوع مقاله: مقاله پژوهشی

نویسندگان

1 کارشناس ارشد روان‏سنجی karimi.adviser@gmail.com

2 استاد دانشگاه علامه طباطبایی

3 - استاد دانشگاه علامه طباطبایی F_dortaj@yahoo.com

چکیده

سهولت نمره‏گذاری، اجرا و عینیت آزمون­های چندگزینه‏ای سبب شده که به عنوان ابزار اصلی در سنجش‏های وسیع مورد استفاده قرار گیرد. انتقادهای زیادی نسبت به سؤالات چندگزینه‏ای مطرح شده است. نظیر پوشش ندادن به تمامی اهداف تربیتی (سطوح پایین شناختی را می‏سنجند) و استفاده از عامل حدس و گمان در پاسخ به سؤال‏ها. در این میان عده‏ای نیز افزایش تعداد گزینه­های سؤال را راهی برای مقابله با این مشکلات دانسته‏اند. هدف: هدف از پژوهش حاضر بررسی تأثیر تعداد گزینه­ها بر ویژگی‏های روان‏سنجی آزمون­ها و سؤالات و همچنین توانایی برآورد شده آزمودنی­ها در نظریه کلاسیک و پرسش پاسخ بود. روش: جامعه آماری شامل کلیه دانش­آموزان سال سوم دبیرستان­های شهر شیراز بود که 608 نفر از آنان به شیوه تصادفی به عنوان گروه نمونه انتخاب شدند. برای جمع­آوری اطلاعات از دو آزمون پیشرفت تحصیلی زبان و حسابان که به همین منظور تهیه و تنظیم شده بودند استفاده شد. یافته­ها: تجزیه و تحلیل داده­ها نشان داد که تعداد گزینه­ها بر پارامترهای سؤال اثر ندارد و تأثیر تعداد گزینه­ها بر ویژگی­های روان­سنجی  برآورد شده آزمودنی­ها، در آزمون­های مختلف یکسان است. همچنین بین پارامترهای برآورد شده در نظریه کلاسیک و پرسش پاسخ تفاوت وجود داشت. نتیجه­گیری: بعد از بررسی مفروضه­های نظریه پرسش و پاسخ مشخص شد که داده­ها با مدل دو پارامتری برازش بهتری دارند، و تفاوتی بین تعداد گزینه­ها و برازش با مدل مشاهده نشد. همچنین بین توانایی برآورد شده و تعداد گزینه‏ها تفاوت مشاهده شد.
 

کلیدواژه‌ها


عنوان مقاله [English]

The effect of number of item choice on psychometric characteristics of test and estimated a ability in item response theory (IRT) and classical test theory models

نویسندگان [English]

  • behnam karimi 1
  • m Falsafinejad 2
  • fariborz dortaj 3
چکیده [English]

Background: ease in scoring,performingand identity of multiple choice tests has caused that those apply as the essential instruments in large scale assessments. There was intense criticism toward multiple choices. For example, those not perform all of educational goals (those assess low cognitive levels) and because of using guess to answering questions. Herein, some people for solving of these problems were suggested that we should increase choices of questions.
Objectives: The objective of this research was the study of effects of number of item choices on psychometric characteristics of test and items and also on estimated ability of subjects in classical test theory and item- response theory (IRT).
Methods: The statistical population was all of high school’ students of Shiraz. That 608 of them were randomly selected as sample group. In order to response to study questions, we used the empirical method and for data collecting we used two language and arithmetic tests that were provided to this goal.
Results: Data analysis indicated that there was no significant effect of item choices on item parameters and the effect of item choices on estimated psychometric characteristics of subjects in different tests is equal. Furthermore, there was difference between estimated parameters in classical test theory and item-response theory (IRT).
Conclusion: After checking assumptions of item response theory (IRT), this was appeared that data have better fitted with two- parameter model and there was no difference between item choices and fitting with model. In addition, there was difference between estimated ability and item choices too.
 



کلیدواژه‌ها [English]

  • Keywords: multiple choice tests
  • classical test theory
  • item-response theory
احمدی، آذر. (1387). نمره کل سازی با استفاده از تکنیک‏های نظریه کلاسیک و مقایسه آن با مدل‏های نظریه سؤال پاسخ در کنکور کارشناسی رشته ریاضی. پایان نامه کارشناسی ارشد. تهران: دانشگاه علامه طباطبایی.

آلن ام،جی وین دبلیو ام. (1384). مقدمه‏ای بر نظریه‏های اندازه گیری (روان سنجی)، ترجمه علی،دلاور، تهران: سمت (تاریخ انتشار به زبان اصلی 1982).

بیرقی، ابولفضل. (1377). بررسی اثر تعداد گزینه‏ها و زمان بر روی نمره کل در آزمون‏های پیشرفت تحصیلی. پایان نامه کارشناسی ارشد. تهران: دانشگاه علامه طباطبایی.

ثرندایک، برت ال. (1369). روان سنجی کاربردی. ترجمه هومن، حیدرعلی دانشگاه تهران.

سیده مؤمنی، سید طاهره. (1379). تأثیر عامل حدس بر نمره های آزمون‏های چندگزینه‏ای پیشرفت تحصیلی. پایان نامه کارشناسی ارشد.تهران: دانشگاه علامه طباطبایی.

سیف، علی اکبر. (1365). اندازه گیری پیشرفت تحصیلی، تهران: انتشارات آگاه.

شریفی حسن پاشا،اصول روان سنجی در روان آزمایی، انتشارات  رشد( 1384)

فتوحی، لیلا. (1387). بررسی کارکرد افتراقی سؤالات کنکور کارشناسی ارشد رشته روان‏شناسی.

فلسفی نژاد، محمد رضا. (1388). مبانی نظری پرسش پاسخ. زیر چاپ.

کاپلان، روبرت ام؛ ساکوز، دنیس پ. (2004). روان آزمایی، مترجم علی، دلاور، فریبرز درتاج، نورعلی فرخی، تهران: نشر ارسباران، 1386.

معلمی اوره، مهرناز. (1387). مقایسه دقت برآورد توانایی در سؤالات چند گزینه ای با بکارگیری مدل سازی سؤال پاسخ دو وچند ارزشی.پایان نامه کارشناسی ارشد.تهران. دانشگاه علامه طباطبایی.

هادیان، مینا. (76-1375). تأثیر گزینه‏های سؤال در اعتبار تست‏های چندگزینه‏ای. کتابنامه ص 111-108.

 

 

منابع لاتین

Chien-chi-yeh (2007). The effect of gussing on assessing dimentionality in multiple choice test,university of Pittsburgh.

Educational and psychological measurement ,vol,40,no,2,357-365/(1980) SAGE publication /a comparison of the two ,three and four choice item test given/fixed total number of choice /RALPH G,STRATON

James ware&marve(2008).impact of item-writing flaws in multiple choice question on student achievement in high-stakes nursing,assessment.42:198-20

Karyn woodfard ,peter Bancroft,(2009).multiple chioice questions not

 considered harmful,queensland university of technology.

Kobinger&Christian.h.ghottschall(2008).item difficulty of multiple choice test dependant on different ietm response formats,university of Vienna.

Olleen m,(2008).heffernan.university of Alberta.

Michael c rodrigrez (2005),tree option are optimal for multiple –choice item/uni/washin.vol;24,lss,2;pg3,11pgs.

TOM burkard.uk.cps,januray (2009).multiplechoice.

Youngsuk suh (2008),nested logit models for multiple choice item response data.university of Wisconsin-madison..

Tetsuhito shizuka and coworkers(2006)a comparison of  three and four option English test for university entrance selection,purposes in japan.language testing (2006);23;35.

YI MIN huang.(2004),the impact of the all-of-the above option and student ability in multiple choice testing,Washington state university college of education.