فصلنامه اندازه گیری تربیتی

شماره جاری

بر اساس شماره‌های نشریه

بر اساس نویسندگان

بر اساس موضوعات

نمایه نویسندگان

نمایه کلیدواژه ها

درباره نشریه

اهداف و چشم انداز

اصول اخلاقی انتشار مقاله

بانک ها و نمایه نامه ها

پیوندهای مفید

پرسش‌های متداول

فرایند پذیرش مقالات

اطلاعات آماری نشریه

اخبار و اعلانات

راهنمای نگارش مقاله

فایل ها

داوران سال 1398

داوران سال 1399

داوران سال 1400

داوران سال 1401

مخاطره الگوریتم متروپلیس هستینگز روبینز مونرو در مدل‌های چندارزشی چند‌بعدی نظریه سوال پاسخ با در نظر گرفتن نقش داده های گمشده

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری سنجش و اندازه گیری دانشگاه علامه طباطبایی

2 استاد تمام گروه سنجش و اندازه‏گیری، دانشگاه علامه طباطبائی، تهران، ایران

3 دانشیار گروه سنجش و اندازه گیری، دانشگاه علامه طباطبائی، تهران، ایران.

4 دانشیار گروه سنجش و اندازه‏گیری، دانشگاه علامه طباطبائی، تهران، ایران

5 دانشیار گروه آمار، دانشگاه علامه طباطبائی، تهران، ایران

چکیده

کارایی و سوگیری برآورد پارامترها، در اندازه گیری های علوم رفتاری یکی از مهمترین موضوعات روانسنجی است. وجود الگوریتم های گوناگون مانند MHRM و کاربرد آنها در آزمون‌های دارای داده گمشده، یکی از چالش‌های موجود در حوزه مدل های نظریه سوال پاسخ است. هدف این پژوهش بررسی مخاطره الگوریتم MHRM در مدل های چند بعدی نظریه سوال پاسخ در داده‌های چند ارزشی با در نظر گرفتن مکانیزم و میزان داده گمشده متفاوت، بود. روش پژوهش مورد استفاده آزمایشی و با استفاده از طرح پس آزمون چند گروهی بود. نمونه مورد مطالعه براساس مطالعات شبیه سازی تحت شرایط مختلف متغیرهای مستقل (نوع الگوریتم، نوع داده گمشده و میزان داده گمشده) در 27 حالت با 100 تکرار برای هر کدام، ایجاد شد. مدل مورد استفاده مدل پاسخ مدرج چندبعدی و پارامترهای مورد بررسی شیب و آستانه سوالات بود. جهت بررسی مخاطره هر یک از پارامترها در حالت های مختلف آزمایشی شاخص میانگین توان دوم خطاها (MSE) مورد استفاده قرار گرفت. جهت تولید و تحلیل داده ها ار نرم افزار آماری R استفاده شد. نتایج پژوهش نشان داد الگوریتم MHRM در قیاس با الگوریتم های EM و MCEM دارای مخاطره برآورد کمتری است. همچنین نتایج نشان داد که در میزان مخاطره پارامترهای شیب و آستانه، بین سه مکانیزم متفاوت داده های گمشده تفاوت معنی داری وجود دارد ولیکن در رابطه با متغیر مستقل میزان داده های گمشده، تفاوت معنی داری مشاهده نشد. همچنین بین نوع الگوریتم و مکانیزم گمشدگی نیز تعامل معنی داری وجود داشت که حکایت از عملکرد مطلوب الگوریتم MHRM داشت. در نتیجه زمانی که از این الگوریتم استفاده می شود، میانگین و واریانس MSE پارامترهای شیب و آستانه در هر سه مکانیزم گمشدگی، همزمان که کاهش می یابند، به یکدیگر نزدیک نیز می شوند. پس می توان گفت کاربرد الگوریتم MHRM در داده های با میزان داده گمشده بالا و انواع گمشدگی، ضروری است. بنابراین، به پژوهشگران توصیه می شود که از الگوریتم MHRM در تحلیل داده های با ساختار پیچیده از قبیل میزان داده گمشده بالا و انواع مکانیزم گمشدگی بهره گیرند.

کلیدواژه‌ها

عنوان مقاله [English]

The Risk of the Metropolis-Hastings Robbins-Monroe Algorithm in Multidimensional Multidimensional Models of Item-Response Theory Considering the Role of Missing Data

نویسندگان [English]

  • Mehdi Molaei yasavoli 1
  • Ali Delavar 2
  • Mohammad Asgari 3
  • Jalil Younesi 4
  • Vahid Rezaei tabar 5

1 PhD student in Measurement and assessment at Allameh Tabatabai University

2 Professor, Department of Measurement and assessment, Allameh Tabataba'i University, Tehran, Iran.

3 Associate Professor, Department of Measurement and Assessment, Allameh Tabataba'i University, Tehran, Iran

4 Associate Professor, Department of Measurement and Assessment, Allameh Tabataba'i University, Tehran, Iran

5 Associate Professor, Department of Statistics, Allameh Tabataba'i University, Tehran, Iran.

چکیده [English]

Efficiency and bias of parameter estimation is one of the most important psychometric issues in behavioral science measurements. The existence of various algorithms such as MHRM and their application in tests with missing data is one of the challenges in the field of item-response theory models. The purpose of this study was to investigate the risk of MHRM algorithm in multidimensional models of item-response theory in multi-valued data by considering the mechanism and the amount of missing data. The research method was experimental using a multi-group post-test design. The study sample was created based on simulation studies under different conditions of independent variables in 27 cases with 100 replications for each. The model used was a multidimensional scaled response model and the studied parameters were the slope and threshold of the questions. R statistical software was used to generate and analyze the data. The results showed that MHRM algorithm has less estimated risk compared to EM and MCEM algorithms. The results also showed that there is a significant difference in the risk of slope and threshold parameters between three different mechanisms of missing data, but no significant difference was observed in relation to the independent variable of missing data. There was also a significant interaction between the type of algorithm and the missing mechanism, which indicated the optimal performance of the MHRM algorithm. Thus when this algorithm is used, the mean and variance of the MSE slope and threshold parameters in all three loss mechanisms also converge as they decrease. As a result, it can be said that the application of MHRM algorithm is essential in data with high data missing and types of missing. Therefore, researchers are advised to use the MHRM algorithm in data analysis with complex structure such as high data missing and various missing mechanisms

کلیدواژه‌ها [English]

  • MHRM Algorithm
  • Risk
  • Multidimensional Multidimensional Models item-response Theory
  • Missing Data
مراجع
Jackson, L. M. (2019). The psychology of prejudice: From attitudes to social action (2nd ed.). American Psychological Association
Asparouhov, T., & Muthén, B. (2012). General random effect latent variable modeling: Random subjects, items, contexts, and parameters. In annual meeting of the National Council on Measurement in Education, Vancouver, British Columbia.
Akbaş, U. (2017). Examination of the Effects of Different Missing Data Techniques on Item Parameters Obtained by CTT and IRT. International Online Journal of Educational Sciences, 9(3).
Bartolucci, F., Bacci, S., & Gnaldi, M. (2015). Statistical analysis of questionnaires: A unified approach based on R and Stata (Vol. 34). CRC Press.
Bashkov, B. M., & DeMars, C. E. (2017). Examining the performance of the Metropolis–Hastings Robbins–Monro algorithm in the estimation of multilevel multidimensional IRT models. Applied psychological measurement, 41(5), 323-337.
Bulut, O., & SÜNBÜL, Ö. (2017). Monte Carlo Simulation Studies in Item Response Theory with the R Programming Language R Programlama Dili ile Madde Tepki Kuramında Monte Carlo Simülasyon Çalışmaları. Journal of Measurement and Evaluation in Education and Psychology, 8(3), 266-287.
Cai, L. (2010). High-dimensional exploratory item factor analysis by a Metropolis–Hastings Robbins–Monro algorithm. Psychometrika, 75(1), 33-57.
Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahway.
Dong, Y., & Peng, C. Y. J. (2013). Principled missing data methods for researchers. SpringerPlus, 2(1), 1-17.
Enders, C. K. (2010). Applied missing data analysis. Guilford Press.
Embretson, S. E., & Reise, S. P. (2013). Item response theory. Psychology Press.
Finch, H. (2008). Estimation of item response theory parameters in the presence of missing data. Journal of Educational Measurement, 45(3), 225-245.
Finch, W. H. (2010). Imputation methods for missing categorical questionnaire data: A comparison of approaches. Journal of Data Science, 8(3), 361-378.
Gibbons, R. D., Weiss, D. J., Frank, E., & Kupfer, D. (2016). Computerized adaptive diagnosis and testing of mental health disorders. Annual Review of Clinical Psychology, 12, 83-104.
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1985). Principles and applications of item response theory.
Han, K. T., & Hambleton, R. K. (2014). User's Manual for WinGen 3: Windows Software that Generates IRT Model Parameters and Item Responses (Center for Educational Assessment Report No. 642). Amherst, MA: University of Massachusetts.
Liu, Q., & Pierce, D. A. (1994). A note on Gauss—Hermite quadrature. Biometrika, 81(3), 624-629.
Kuo, F. Y., & Sloan, I. H. (2005). Lifting the curse of dimensionality. Notices of the AMS, 52(11), 1320-1328.
Kuo, T. C., & Sheng, Y. (2016). A comparison of estimation methods for a multi-unidimensional graded response IRT model. Frontiers in psychology, 7, 880, 1-29.
Lesaffre, E., & Spiessens, B. (2001). On the effect of the number of quadrature points in a logistic random effects model: an example. Journal of the Royal Statistical Society: Series C (Applied Statistics), 50(3), 325-335.
Linden, W. J. & van der, & Hambleton, RK (1997). Handbook of modern item response theory, 9-39.
Naylor, J. C., & Smith, A. F. (1982). Applications of a method for the efficient computation of posterior distributions. Journal of the Royal Statistical Society: Series C (Applied Statistics), 31(3), 214-225.
Patz, R. J., & Junker, B. W. (1999). Applications and extensions of MCMC in IRT: Multiple item types, missing data, and rated responses. Journal of educational and behavioral statistics, 24(4), 342-366.
Robbins, H., & Monro, S. (1951). A stochastic approximation method. The annals of mathematical statistics, 400-407.
Rubin, D. B. (1976). Inference and missing data. Biometrika, 63(3), 581-592.
Schouten, R. M., Lugtig, P., & Vink, G. (2018). Generating missing values for simulation purposes: a multivariate amputation procedure. Journal of Statistical Computation and Simulation, 88(15), 2909-2930.
Van Buuren, S., & Groothuis-Oudshoorn, K. (2011). mice: Multivariate imputation by chained equations in R. Journal of statistical software, 45, 1-67.
Yang, J. S., & Cai, L. (2014). Estimation of contextual effects through nonlinear multilevel latent variable modeling with a Metropolis–Hastings Robbins–Monro algorithm. Journal of Educational and Behavioral Statistics, 39(6), 550-582.
فصلنامه اندازه گیری تربیتی
دوره 15، شماره 57
مهر 1403
صفحه 7-31
فایل ها
هم رسانی
ارجاع به این مقاله
آمار