نوع مقاله : مقاله پژوهشی

نویسندگان

1 کارشناسی ارشد تحقیقات آموزشی دانشگاه خوارزمی، تهران، ایران.

2 استادیار گروه برنامه ریزی درسی دانشگاه خوارزمی، تهران، ایران.

چکیده

متداول‌ترین روش برای کاهش خطای ناشی از حدس، اعمال جریمه (نمره منفی) برای پاسخ‌های نادرست است. یکی از عوامل مؤثر بر میزان حدس، نگرش افراد نسبت به حدس زدن و خطر جریمه شدن است. هدف این پژوهش بررسی تأثیر سطوح مختلف جریمه و دشواری آزمون‌ها بر رابطه بین توانایی و نمره خام افراد و تعیین جریمه بهینه در سطوح مختلف توانایی با توجه به نگرش خطرپذیری آن‌ها است. برای بررسی تأثیر سطوح مختلف جریمه بر رابطه بین توانایی و نمره خام افراد، همبستگی توانایی و نمره خام افراد در سطوح مختلف جریمه برای سطوح مختلف توانایی بررسی و سطوحی از جریمه که موجب دستیابی به رابطه بیشینه بین توانایی و نمره خام افراد در هر سطح توانایی شد، به‌عنوان سطوح جریمه بهینه برای آن سطح توانایی انتخاب گردید. برای بررسی تأثیر دشواری آزمون‌ها بر رابطه بین توانایی و نمره خام افراد در سطوح جریمه بهینه، مقادیر بیشینه همبستگی در سطوح جریمه بهینه در هر سطح توانایی در سه آزمون (ریاضی، معارف و زبان انگلیسی) رشته ریاضی 1395 با توجه به میانگین ضریب دشواری آزمون‌ها مقایسه شد. نتایج نشان داد که هم عدم جریمه و هم اعمال جریمه بالا موجب کاهش همبستگی بین توانایی و نمره خام می‌شود. سطوح جریمه بهینه در افراد با توانایی بالا، بالاتر از افراد با توانایی کم بوده و به‌طورکلی جریمه بهینه برای کل افراد بالاتر از مقدار مرسوم آن (33/0) به دست آمد (برای کل افراد در آزمون ریاضی، معارف و زبان به ترتیب حداقل 40/0، 40/0 و 60/0 ). همچنین اگر میانگین ضریب دشواری سؤال‌های آزمون نزدیک به صفر باشد و سطوح جریمه بر اساس سطوح توانایی و با توجه به نگرش خطرپذیری بهینه باشد، رابطه بین توانایی و نمره افراد بیشینه می‌شود.

کلیدواژه‌ها

عنوان مقاله [English]

The role of risk attitudes of individuals, different levels of fines and difficulty of the test on the correlation between ability and raw score on multiple-choice tests in university entrance

نویسندگان [English]

  • Hosein Soltani Ebgha 1
  • balal izanloo 2

1 M. A. in Educational Research, Kharazmi University, Tehran, Iran.

2 Assistant Professor, Curriculum Planning Department, Kharazmi University, Tehran, Iran

چکیده [English]

The purpose of this study was to investigate the effect of different levels of fines and difficulty of tests on the relationship between the ability and the score of individuals and determine the optimal penalties at different levels of ability according to their risk-taking attitude. In order to investigate the effect of different levels of penalties on the relationship between the ability and the score of individuals, the correlation between the ability and the score of individuals at different levels of penalties for different levels of ability was investigated and levels of penalties that lead to a maximum relationship between ability and the score of individuals in each level Ability was chosen as the optimal penalty levels for that ability level. In order to investigate the effect of the difficulty of the tests on the relationship between the ability and the score of individuals at the optimal penalties levels, the maximum correlation values at the optimal penalties levels at each level of ability in three tests (mathematics, education, and English) in mathematical discipline of 1395 according to the average difficulty of the tests compared. The results showed that both lack of penalties and high penalties reduced the correlation between the ability and the score. The optimal penalties levels in individuals with high abilities were higher than those with low ability and in general the optimal penalty for the whole individuals was higher than the normal value (0.33) (for all individuals in the math, education, and English tests Respectively minimum 40/0, 40/0 and 60/0). Also, if the average difficulty of the test questions is close to zero and the penalties are based on the levels of ability and with respect to the risk-taking attitude, the relationship between the ability and the score of the individuals is maximized.

کلیدواژه‌ها [English]

  • Correction of Guess
  • Risk Attitude
  • Optimal Penalty
Bar-Hillel, M., Budescu, D., & Attali, Y. (2005). »Scoring and keying multiple choice tests: A case study in irrationality«, Mind and Society, 4(1), 3-12.
Burton, R. F. (2002). »Misinformation, partial knowledge and guessing in true ⁄false tests«, Blackwell Science Ltd medical education, 36(9), 805–811.
Campbell, M. L. (2015). »Multiple-Choice Exams and Guessing: Results from a One-Year Study of General Chemistry Tests Designed To Discourage Guessing«, Journal of Chemical Education, 92(7), 1194–1200.
Chalmers, R. P. (2012). »Mirt: A multidimensional item response theory package for the R environment«, Journal of Statistical Software, 48(6), 1-29.
Choppin BH. (1988). Correction for guessing. In: Keeves J. P. (ed) Educational research, methodology, andmeasurement: aninternational handbook. (384-6). Oxford: Pergamon Press.
Cureton, E. E. (1966). »The Correction for Guessing«, Journal of Experimental Education, 34(4), 44-47.
Davis, F. B. (1967). »A note on the correction for chance success«, Journal of Experimental Education, 35(3), 42-47.
Diamond, J., & Evans, W. (1973). »The correction for guessing«, Review of Educational Research, 43(2), 181-191.
Ebel, R. (1965). Measuring Educational Achievement, New Jersey, Prentice Hall.
Edgington, E. S. (1965). »Scoring formulas that correct for guessing«, Journal of ExperimentalEducation, 33(4), 345-346.
Espinosa, M. P., Gardeazabal, J. (2010). »Optimal correction for guessing in multiple-choice tests,« Journal of Mathematical Psychology, 54(5), 415–425.
Frary, R. B. (1988). »Formula Scoring of Multiple‐Choice Tests (Correction for Guessing)«, Educational Measurement: Issues and Practice, 7(2),33-38.
Frary, R. B., Cross L. H. & Lowry, S. R. (1977).  »Random Guessing, Correction for Guessing, and Reliability of Multiple-Choice Test Scores«, The Journal of Experimental Education, 46(1), 11-15.
Little, E. B. (1966). »Overcorrection and undercorrection in multiple-choice test scoring«, Journal ofExperimental Education, 35(1), 44-47.
Lord, F. M. (1964). »The Effect of Random Guessing on Test Validity«, Educational and Psychological Measurement, 24(4), 745-747
Lord, F. M. (1975). »Formula scoring and number-right scoring«, Journal of Educational Measurement, 12(1), 7-11.
Mehrens, W. A. & Lehmann, i. J. (1984). Measurement and Evaluation in Education and Psychology, 3 Edition, New York, CBS College Publishing.
Quereshi, M. Y. (1974). »Performance on Multiple Choice Tests and Penalty for Guessing«, The Journal of Experimental Education, 42(3), 74-77.
R Core Team (2018). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL https://www.R-project.org/.
Revelle, W. (2018). psych: Procedures for Personality and Psychological Research, Northwestern University, Evanston, Illinois, USA.
Senel, S., Pehlivan, E. B. and Alatl B. (2015). »Effect of Correction-for-Guessing Formula on Psychometric Characteristics of Test«, Procedia - Social and Behavioral Sciences 191, 925 – 929.
Sherriffs, A. C. and Boomer, D. S. (1954). »Who Is Penalized by the Penalty for Guessing?«, The Journal of Educational Psychology, 45(2), 81-90.