فصلنامه اندازه گیری تربیتی

شماره جاری

بر اساس شماره‌های نشریه

بر اساس نویسندگان

بر اساس موضوعات

نمایه نویسندگان

نمایه کلیدواژه ها

درباره نشریه

اهداف و چشم انداز

اصول اخلاقی انتشار مقاله

بانک ها و نمایه نامه ها

پیوندهای مفید

پرسش‌های متداول

فرایند پذیرش مقالات

اطلاعات آماری نشریه

اخبار و اعلانات

راهنمای نگارش مقاله

فایل ها

داوران سال 1398

داوران سال 1399

داوران سال 1400

داوران سال 1401

روبریک سنجش کلاسی عادلانه: برازش مدل چندبعدی پاسخ مدرج

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری- دانشکده روانشناسی دانشگاه تهران

2 عضو هیات علمی دانشگاه تهران

3 دانشگاه تهران

4 دانشگاه خوارزمی

چکیده

هدف پژوهش حاضر بررسی ویژگی‌های روان‌سنجی روبریک سنجش کلاسی عادلانه بر اساس نظریه سؤال- پاسخ بود؛ به این منظور نمونه‌ای شامل 511 دانشجوی دانشگاه تهران به روش نمونه‌گیری در دسترس انتخاب شدند و به سؤال‌های روبریک پاسخ دادند. در این مرحله و به‌منظور تعیین کاربرد مدل‌های تک‌بعدی یا چندبعدی، روش‌های دیتکت و تحلیل موازی به کار رفت که نتایج هر دو روش، تک‌بعدی بودن داده‌ها را رد کرده و نتایج حاصل از تحلیل موازی نشان‌دهنده استخراج سه عامل از داده‌ها بود. همچنین مقایسه شاخص‌های برازش مدل تک‌بعدی و چندبعدی شامل لگاریتم درستنمایی، نسبت درستنمایی، ریشه دوم میانگین مربعات باقی‌مانده و مقایسه ملاک‌های اطلاعات بیزی و آکایک برازش بهتر مدل چندبعدی برای داده‌ها را تائید کرد. به‌این‌ترتیب و با توجه به چندارزشی بودن پاسخ سؤال‌ها، مدل چندبعدی پاسخ مدرج برای برآورد پارامترهای سؤال‌ها به کار رفت. پایایی هر یک از زیرمقیاس‌های عدالت رویه‌ای، ماهیت سنجش و عدالت تعاملی به ترتیب 85/0، 69/0 و 63/0 به دست آمد. برآورد پارامترهای تمیز سؤال‌ها در دامنه 048/1 تا 802/5 قرار داشت که نشان داد همه سؤال‌ها در تمیز سطوح بالا و پایین سنجش کلاسی عادلانه به‌خوبی عمل می‌کنند و بعد از کنترل نرخ کشف اشتباه، آماره S-X2 مؤید برازش خوب همه سؤال‌های روبریک بود. درمجموع، نتایج این پژوهش نشان‌دهنده آن است که روبریک تدوین‌شده دارای ویژگی‌های روان‌سنجی مناسبی برای ارزشیابی کیفیت عدالت در سنجش کلاسی اساتید است.

کلیدواژه‌ها

عنوان مقاله [English]

Fair Classroom Assessment Rubric: Fitting a Multidimensional Graded Response Model

نویسندگان [English]

  • Ali Baniasadi 1
  • Keyvan Salehi 2
  • Ebrahim Khodaie 3
  • Khosro Bagheri 3
  • Balal Izanloo 4

1 Faculty of Psychology and Education, University of Tehran, Tehran, Iran.

2 University of Tehran

3 Tehran University

4 Faculty of Psychology and Education, Kharazmi University, Tehran, Iran.

چکیده [English]

The present study aimed to investigate the psychometric properties of fair classroom assessment Rubric based on Item-Response theory. For this purpose, a sample of 511 students of the University of Tehran was selected by the available sampling method and answered Rubric questions. At this stage, to determine the application of unidimensional or multidimensional models, DETECT and parallel analysis methods were used. The results of both methods rejected the unidimensionality of the data and the results of the parallel analysis showed the extraction of three factors from the data. Also, the comparison of unidimensional and multidimensional model fit indices including log-likelihood, likelihood ratio, Root Mean Square Error of Approximation and comparison of Bayesian and Akaike information criteria confirmed the better fit of the multidimensional model for the data. Thus, due to the polytomous of the answers to the questions, the multidimensional graded response model was used to estimate the parameters of the questions. The reliability of each of the subscales of procedural fairness, nature of assessment and interactional fairness were 0.85, 0.69 and 0.63, respectively. Estimation of the discrimination parameters ranged from 1.048 to 5.802, which showed that all the questions performed well in the discrimination of the upper and lower levels of the fair classroom assessment, and after controlling the false discovery rate, the S-X2 statistic showed a good fit of all Rubric questions. In general, the results of this study show that the developed Rubric has appropriate psychometric properties to evaluate the quality of fairness in the classroom assessment.

کلیدواژه‌ها [English]

  • Rubric
  • Classroom Assessment
  • Fairness
  • Graded Response Model
  • Item Response Theory
مراجع
     ابطحی، سید حسین و ترابیان، محسن. (1389). بررسی تحقق اهداف آموزش عالی بر اساس سند چشم انداز بیست ساله کشور با روش فرایند تحلیل سلسله مراتبی (AHP). فصلنامه پژوهش در نظام‌های آموزشی، 4(8)، 60-31.
بنی­اسدی، علی، صالحی، کیوان، خدایی، ابراهیم، باقری، خسرو و ایزانلو، بلال. (1400، در دست چاپ). ساخت روبریک برای ارزشیابی سنجش کلاسی عادلانه در دانشگاه. اندازه­گیری تربیتی.
حجازی، ‌الهه، نقش، زهرا و شیرزادی‌فرد، ‌میثم. (1392). تحلیل موازی: روشی برای تعیین تعداد عامل ها. اندازه‌گیری تربیتی، 15(5), 105-124.‎
سراجی، فرهاد، معروفی، یحیی و رازقی، طاهره. (1392). شناسایی چالش‌های ارزشیابی از آموخته‌های دانشجویان در نظام آموزش عالی ایران. مطالعات اندازه­گیری و ارزشیابی آموزشی، 4(5)، 54-33.
قنبری، سیروس، اردلان، محمدرضا و کریمی، ایمان. (1394). تأثیر چالش‌های ارزشیابی آموخته‌های دانشجویان بر رویکرد مطالعه عمل فکورانه. دوماهنامه علمی- پژوهشی راهبردهای آموزش در علوم پزشکی، 8(2)، 113-105.
قنبری، مهدی و نیکخواه، محمد. (1395). فهم چالش‌های عنصر ارزشیابی برنامه درسی دانشجویان دوره کارشناسی رشته علوم تربیتی دانشگاه فرهنگیان: جستاری پدیدارشناسانه. فصلنامه علمی- تخصصی آموزش پژوهی، 2(7)، 62-47.
کاویانی، حسن و نصر، احمدرضا. (1395). سنتزپژوهی چالش‌های برنامه‌های درسی آموزش عالی کشور در دهه اخیر و راهکارهای پیش رو. دوفصلنامه مطالعات برنامه درسی آموزش عالی، 7(13)، 34-7.
گل­پرور، محسن. (1394). نقش اخلاق تحصیلی در رابطه عدالت و بی­عدالتی آموزشی با فریب­کاری تحصیلی: مدل معادله ساختاری. فصلنامه روانشناسی تربیتی، 11(37). 65-51.
مرزوقی، رحمت­اله، حیدری، معصومه و حیدری، الهام. (1392). بررسی رابطه عدالت آموزشی با فرسودگی تحصیلی دانشجویان دانشگاه علوم بهزیستی و توانبخشی. گام‌های توسعه در آموزش پزشکی، 10(3)،334-328.
هلب، جی. ام. (2016). راهنمای عملی رگرسیون لجستیک. ترجمه علی بنی­اسدی و ابراهیم خدایی (1399). تهران: جهاد دانشگاهی.
همبلتون، آر.ک.، سوامیناتان، اچ.، و راجرز، اچ. جی. (1991). مبانی نظریه ی پرسش – پاسخ. ترجمه محمدرضا فلسفی نژاد (1389). تهران: دانشگاه علامه طباطبایی.
References
Alm, F., & Colnerud, G. (2015). Teachers’ experiences of unfair grading. Educational Assessment, 20(2), 132–150.
Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal statistical society: series B (Methodological), 57(1), 289-300.
Brown, G. T. (2006). Secondary school students’ conceptions of assessment: a survey of four schools. Conceptions of Assessment and Feedback Project Report, 5.
Brown,G. T. L., Pishghadam, R., & Sadafian, S. (2014). Iranian university students’ conceptions of assessment: Using assessment to self-improve. Assessment Matters, 5-33.
Burger, R., & Grob, M. (2016). Fairness and university dropout. The role of grading procedures in the development of dropout intentions.
Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment. Journal of statistical Software, 48(1), 1-29.
Chalmers, P., Pritikin, J., Robitzsch, A., & Zoltak, M. (2015). Package ‘mirt’. https://cran.r-project.org/web/packages/mirt/mirt.pdf
Chen, W. H., & Thissen, D. (1997). Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral Statistics, 22(3), 265-289.
Chory‐Assad, R. M. (2002). Classroom justice: Perceptions of fairness as a predictor of student motivation, learning, and aggression. Communication Quarterly, 50(1), 58–77.
Chory, R. M., Horan, S. M., & Houser, M. L. (2017). Justice in the higher education classroom: Students’ perceptions of unfairness and responses to instructors. Innovative Higher Education, 42(4), 321–336.
Čiuladienė, G., & Račelytė, D. (2016). Perceived unfairness in teacher-student conflict situations: students’ point of view. Polish Journal of Applied Psychology, 14(1), 49–66.
De Ayala, R. J. (2013). The theory and practice of item response theory. Guilford Publications.
DeLuca, C. (2012). Preparing teachers for the age of accountability: Toward a framework for assessment education. Action in Teacher Education, 34, 576-591.
Depaoli, S., Tiemensma, J., & Felt, J. M. (2018). Assessment of health surveys: Fitting a multidimensional graded response model. Psychology, health & medicine, 23(sup1), 1299-1317.
Educational Testing Service. (2009). ETS Guidelines for Fairness Review of Assessments. Princeton: NJ: ETS.
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Maheah.
Gordon, M. E., & Fay, C. H. (2010). The effects of grading and teaching practices on students’ perceptions of grading fairness. College Teaching, 58(3), 93–98.
Ishak, Z., & Fin, L. S. (2013). Truants’ and Teachers’ Behaviors in the Classroom. Procedia - Social and Behavioral Sciences, 103.
Jiang, S., Wang, C., & Weiss, D. J. (2016). Sample size requirements for estimation of item parameters in the multidimensional graded response model. Frontiers in psychology, 7, 109.
Kang, T., & Chen, T. T. (2011). Performance of the generalized SX 2 item fit index for the graded response model. Asia Pacific Education Review, 12(1), 89-96.
Kim, S., & Feldt, L. S. (2010). The estimation of the IRT reliability coefficient and its lower and upper bounds, with comparisons to CTT reliability statistics. Asia Pacific Education Review, 11(2), 179-188.
Lautenschlager, G. J. (1989). A comparison of alternatives to conducting Monte Carlo analyses for determining parallel analysis criteria. Multivariate behavioral research, 24(3), 365-395.
Lemons, M., & Seaton, J. (2011). Justice in the classroom: Does fairness determine student cheating behaviors? Journal of Academic Administration in Higher Education, 7(1).
Orlando, M., & Thissen, D. (2000). Likelihood-based item-fit indices for dichotomous item response theory models. Applied psychological measurement, 24(1), 50-64.
Resh, N., & Sabbagh, C. (2017). Sense of justice in school and civic behavior.
Soc Psychol Educ, 20, 387-409.
Robitzsch, A., & Robitzsch, M. A. (2020). Package ‘sirt’. https://cran.r-project.org/web/packages/sirt/sirt.pdf
Singh, K., Junnarkar, M., & Kaur, J. (2016). Measures of positive psychology. Development and Validation. Berlin: Springer.
Zanon, C., Hutz, C. S., Yoo, H. H., & Hambleton, R. K. (2016). An application of item response theory to psychological test development. Psicologia: Reflexão e Crítica, 29.
Zhang, J. (2007). Conditional covariance theory and detect for polytomous items. Psychometrika, 72(1), 69-91.
Zhang, J. (2013). A procedure for dimensionality analyses of response data from various test designs. Psychometrika, 78(1), 37-58.
فصلنامه اندازه گیری تربیتی
دوره 13، شماره 49 - شماره پیاپی 49
مهر 1401
صفحه 31-51
فایل ها
هم رسانی
ارجاع به این مقاله
آمار