مقایسه توانمندی رویکرد بیزی مدل IRTچندسطحی و مدل کلاسیک چندسطحی: تحلیل داده‌های آزمون فیزیک تیمز پیشرفته (2008)

نوع مقاله: مقاله پژوهشی

نویسندگان

1 عضو هیأت علمی دانشگاه علامه طباطبائی

2 دانشیار دانشگاه علامه طباطبائی

3 استاد دانشگاه علامه طباطبائی

چکیده

زمینه: اعتبار تحلیل­های چندسطحی با تأکید بر تفاوت‌های نظریه­های اندازه­گیری (رویکرد کلاسیک اندازه­گیری و رویکرد نظریه جدید اندازه­گیری (IRT)) به کمک داده‌های مختلف مورد پژوهشهای اخیر بوده است. هدف: هدف از انجام پژوهش حاضر بدست آوردن میزان تأثیر مدارس بر نمرات کسب شدۀ دانش­آموزان شرکت کننده در آزمون تیمز پیشرفته 2008 بود. روش: برای دستیابی به هدف اصلی پژوهش از داده­های مربوط به اجرای آزمون فیزیک تیمز پیشرفته 2008 که روند آموزش فیزیک پیشرفته دانش­آموزان سال آخر متوسطه (پیش­دانشگاهی) را مورد ارزیابی قرار می­دهد، استفاده شد. جامعه آماری و گروه نمونه پژوهش حاضر، جامعه آماری و گروه نمونه پایۀ پیش دانشگاهی رشته ریاضی- فیزیک در آزمون فیزیک تیمز پیشرفته است که در سال تحصیلی 1387-1386 به اجرا در آمده است. حجم نمونه دانش­آموزان ایرانی در این سنجش برابر 2556 نفر بوده است. یافته‌ها: نتایج تحلیل­ها به طور کلی نشان داد که نخست تحلیل­های چندسطحی نظریه سؤال- پاسخ (MLIRT) نسبت به تحلیل­های چندسطحی نمرۀ واقعی (MLTS) از قدرت بیشتری در آشکارسازی تفاوت بین مدارس برخوردار است. دوم آنکه، میزان تفاوت بین مدارس شرکت کننده در آزمون ریاضیات تیمز پیشرفته که در شاخص ICC (همبستگی درون رده­ای) منعکس شده است در تحلیل­های MLIRT بسیار زیاد است. بحث و نتیجه‏گیری: نخست آنکه، در نظر گرفتن خطای اندازه­گیری تک تک سؤالات در تحلیل­­ها در چارچوب بیزی و با استفاده از نمونه­گیری گیبس به طور چشمگیری توانمندی تحلیل­های چندسطحی را بهبود می­بخشد و افزایش معنادار نسبت واریانس تبیین شده را در پی خواهد داشت. دوم آنکه، تفاوت و تبعیض آموزشی بین مدارس زیاد است که این امر عمدتاً ناشی از متغیرهای در سطح مدرسه (نظیر متغیرهای مرتبط به معلم یا متغیرهای مرتبط به مدرسه) می­باشد.

کلیدواژه‌ها


عنوان مقاله [English]

A Comparison of the Multilevel Bayesian IRT Model and the Multilevel Classic Model: An Analysis of Advanced TIMSS Physics Test (2008)

نویسندگان [English]

  • jalil Younesi 1
  • farzad Eskandari 2
  • Ali Delavar 3
  • Mohammad Reza Falsafinezhad 2
  • Noor Ali Farokhi 2
1 Member of Faculty at Allameh Tabataba’i University
چکیده [English]

Background: Validity of the multilevel analyses with a focus on differences in learning theories (with both classis approach toward measurement and new approach toward measurement (IRT)) by means of various data has recently been studied. Aim: This study is aimed at determining the level of impact of schools on the scores gained by students involved in advanced TIMSS’s 2008 test. Methodology: In order to achieve the chief goal of the study, the researchers adopted the data relating to administration of advanced TIMSS’s 2008 physics test, which assesses the course of teaching advanced physics to the high school seniors (pre-university students). The population and sample group of this study comprise the pre-university candidates of mathematics and physics taking advanced TIMSS physics test administered in the academic year 2007-2008. The sample size of Iranian students involved in this measurement equaled 2556 subjects. Findings: Results of the analyses generally suggest that firstly multilevel IRT (MLIRT) analyses are more powerful than multilevel true scores (MLTS) analyses in clarifying school differences. Secondly, the level of difference in the schools involved in advanced TIMSS math test reflected in intraclass correlation (ICC) is high in MLIRT analyses. Discussion and Conclusion: First, considering measurement error of each item in analyses within Bayesian framework and by means of Gibbs sampling can remarkably improve the power of multilevel analyses and lead to a significant rise in the ratio of the explicated variance. Second, there is too much educational difference and discrimination among schools which is largely due to school-level variables (such as those relating to teacher or school-related variables). 

کلیدواژه‌ها [English]

  • Multilevel Analysis
  • Bayesian approach
  • Item-Response Theory (IRT)
  • Classical Testing Theory (CTT)
  • Advanced TIMSS Test
  • Sensitivity Analysis