فصلنامه اندازه گیری تربیتی

شماره جاری

بر اساس شماره‌های نشریه

بر اساس نویسندگان

بر اساس موضوعات

نمایه نویسندگان

نمایه کلیدواژه ها

درباره نشریه

اهداف و چشم انداز

اصول اخلاقی انتشار مقاله

بانک ها و نمایه نامه ها

پیوندهای مفید

پرسش‌های متداول

فرایند پذیرش مقالات

اطلاعات آماری نشریه

اخبار و اعلانات

راهنمای نگارش مقاله

فایل ها

داوران سال 1398

داوران سال 1399

داوران سال 1400

داوران سال 1401

کاربرد روش های همترازسازی مبتنی بر نظریه کلاسیک آزمون در نمونه های با حجم کم: انتخاب و شناسایی رویکرد بهینه

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری رشته سنجش و اندازه‌گیری، دانشگاه علامه طباطبایی، تهران، ایران.

2 دانشیار گروه سنجش و اندازه‌گیری، دانشگاه علامه طباطبایی، تهران، ایران.

3 استاد گروه سنجش و اندازه‌گیری، دانشگاه علامه طباطبایی، تهران، ایران.

چکیده

همترازسازی فرم‌های جدید یک آزمون با فرم های قبلی یکی از موضوعات مهم و پرکاربرد در امر سنجش و اندازه‌گیری است. پژوهش حاضر با هدف مطالعه و ارزیابی روش‌های همترازسازی در قالب الگوی گروه‌های تصادفی بر مبنای نظریه کلاسیک آزمون بر حسب خطاها و همجنین بررسی عوامل موثر بر افزایش دقت روش های همترازسازی در نمونه های با حجم کم انجام شده است. نظر به اینکه در این پژوهش محقق در پی مقایسه رویکردهای مختلف در همترازسازی و به دست آوردن برآوردهای باثبات تر پارامترها و افزایش اعتبار تصمیم ها و دقت اندازه گیری و در نهایت تعیین روش بهینه همترازسازی بوده، لذا دو نوع مطالعه بر اساس دو روش پژوهش طرح ریزی شد. روش پژوهش در این مطالعه به طور عام جزء پژوهش های توصیفی است. با توجه به دو نوع داده مورد استفاده در پژوهش حاضر (داده های واقعی و داده های شبیه سازی شده)، و متناسب با آن دو نوع مطالعه، دو نوع جامعه نیز مطرح است. در مورد مطالعه اول به منظور بررسی مقایسه ای روش های همترازسازی و با توجه به اجرای پرسش نامه تفکر انتقادی کالیفرنیا (فرم A و B)، از داده های واقعی استفاده شد. جامعه آماری در این مطالعه شامل کلیه کارکنان در تمامی رده های شغلی شاغل در شهرداری قزوین در سال 1399 با حجم 2048 نفر می باشد. همچنین به جهت استفاده از الگوی گروه های تصادفی همترازسازی، دو نمونه به صورت کاملاً تصادفی و مستقل با حجم 200 نفر از جامعه مذکور انتخاب شد. در خصوص مطالعه شبیه سازی نیز در حالات مختلف (حجم نمونه و ضرایب دشواری) پارامترها بر اساس توزیع آماری تولید شدند. با توجه به شاخص های محاسبه شده در خصوص میزان خطای همترازسازی، نتایج نشانگر کاهش میزان خطا با افزایش حجم نمونه بود. همچنین با افزایش مقدار تفاوت دشواری میزان خطا نیز در هر چهار روش همترازسازی افزایش یافت.

کلیدواژه‌ها

عنوان مقاله [English]

Application of Equating Methods based on classical test theory in Small Sample: selection and Identification Optimum Approach

نویسندگان [English]

  • azam ghafouri 1
  • noorali farrokhi 2
  • jalil Younesi 3

1 Ph.D. Student in Measurement and Assessment, Allameh Tabataba'i University, Tehran, Iran.

2 Associate Professor, Department of Educational Measurement and Assessment, Allameh Tabataba'i University, Tehran, Iran.

3 Professor, Department of Educational Measurement and Assessment, Allameh Tabataba'i University, Tehran, Iran

چکیده [English]

پژوهش حاضر با هدف مطالعه و ارزیابی روش‌های همترازسازی در قالب الگوی گروه‌های تصادفی بر مبنای نظریه کلاسیک آزمون بر حسب خطاها و همجنین بررسی عوامل موثر بر افزایش دقت روش های همترازسازی در نمونه های با حجم کم انجام شده است. نظر به اینکه در این پژوهش محقق در پی مقایسه رویکردهای مختلف در همترازسازی و به دست آوردن برآوردهای باثبات تر پارامترها و افزایش اعتبار تصمیم ها و دقت اندازه گیری و در نهایت تعیین روش بهینه همترازسازی بوده، لذا دو نوع مطالعه بر اساس دو روش پژوهش طرح ریزی شد. روش پژوهش در این مطالعه به طور عام جزء پژوهش های توصیفی است. با توجه به دو نوع داده مورد استفاده در پژوهش حاضر (داده های واقعی و داده های شبیه سازی شده)، و متناسب با آن دو نوع مطالعه، دو نوع جامعه نیز مطرح است. در مورد مطالعه اول به منظور بررسی مقایسه ای روش های همترازسازی و با توجه به اجرای پرسش نامه تفکر انتقادی کالیفرنیا (فرم A و B)، از داده های واقعی استفاده شد. جامعه آماری در این مطالعه شامل کلیه کارکنان در تمامی رده های شغلی شاغل در شهرداری قزوین در سال 1399 با حجم 2048 نفر می باشد. همچنین به جهت استفاده از الگوی گروه های تصادفی همترازسازی، دو نمونه به صورت کاملاً تصادفی و مستقل با حجم 200 نفر از جامعه مذکور انتخاب شد. در خصوص مطالعه شبیه سازی نیز در حالات مختلف (حجم نمونه و ضرایب دشواری) پارامترها بر اساس توزیع آماری تولید شدند. با توجه به شاخص های محاسبه شده در خصوص میزان خطای همترازسازی، نتایج نشانگر کاهش میزان خطا با افزایش حجم نمونه بود. همچنین با افزایش مقدار تفاوت دشواری میزان خطا نیز در هر چهار روش همترازسازی افزایش یافت.

کلیدواژه‌ها [English]

  • equating
  • classical theory
  • small sample
مراجع
اصغری، سیما. (1396). ویژگی‌های روان‌سنجی آزمون تفکر انتقادی کالیفرنیا در مدیران مدارس شهر تهران (پایان‌نامه کارشناسی ارشد). دانشکده روان‌شناسی و علوم تربیتی. دانشگاه علامه طباطبایی. تهران.
بهمن‌آبادی، سمیه، فلسفی نژاد، محمدرضا، فرخی، نورعلی، و مینایی، اصغر. (1403). نقش تخطی از تک‌بعدی بودن آزمون در خطاهای همترازسازی مدل‌های نظریه سؤال پاسخ و کلاسیک. اندازه‌گیری تربیتی، 14(56)، 7-41..https://doi.org/10.22054/jem.2024.49153.1991
ثرندایک، رابرت (1982). روان‌سنجی کاربردی. ترجمه حیدرعلی هومن. (1375). تهران: انتشارات دانشگاه.
خلیلی، حسین، و سلیمانی، محسن. (1382). تعیین اعتماد، اعتبار، و هنجار نمرات آزمون مهارت‌های تفکر انتقادی کالیفرنیا فرم ب (CCTST-B). دانشگاه علوم پزشکی بابل، 2، 90-84.
عسگری، محمد، و ملکی، سامان. (1389). اعتبار، رواسازی و هنجاریابی آزمون مهارت‌های تفکر انتقادی کالیفرنیا برای دانشجویان. اندازه‌گیری تربیتی، 169 - 147.
مقدم زاده، علی. (1395). روش بهینه همترازسازی با توجه به ویژگی‌های بومی آزمون‌های ملی ایران: موردمطالعه آزمون تولیمو و آزمون‌های جامع کنکورهای آزمایشی سازمان سنجش آموزش کشور. اندازه‌گیری تربیتی، 6 (22)، 261-287.
مهری نژاد، سید ابوالقاسم. (1386). انطباق و هنجاریابی آزمون مهارت‌های تفکر انتقادی کالیفرنیا. تازه‌های علوم شناختی، 9 (3)، 72-63.
Asghari, S. (1017). Psychometric characteristics of California's critical thinking test in school principals in Tehran, Master Dissertation, Allameh Tabatabai University. [In Persian]
Asgari, M., & Maleki, S. (2010). Validation, validation, and standardization of the California Test of Critical Thinking Skills for College Students. Educational measurement, 169-147. [In Persian]
Asiret, S., & Sünbül, S. Ö. (2016). Investigating Test Equating Methods in Small Samples through Various Factors. Educational Sciences: Theory and Practice, 16(2), 647-668.
Babcock, B., Albano, A; & Raymond, M. (2012). Nominal weights mean equating: A method for very small samples. Educational and Psychological Measurement, 72 (4), 608 – 628.
Babcock, B. & Hodge, K. J. (2019) Rasch Versus Classical Equating in Context of Small Sample Sizes. Educational and Psychological Measurement. 1-23.
Bahmanabadi S., Falsafinejad, M. R., Farrokhi, N., Minaei, A. (2024). The Role of Test Unidimensionality Violation in Equating Errors of IRT and Classical Theory Models. Educational Measurement, 14 (56), 7-41. https://doi.org/10.22054/jem.2024.49153.1991 [In Persian]
Caglak, S. (2016). Comparison of several small sample equating methods under the NEAT design. Turkish Journal of Education, 5 (3), 96-118.
Devdass, S. (2011). Conditions affecting the accuracy of classical equating methods for small samples under the NEAT design: A simulation study (Doctoral dissertation). University of North Carolina, NC.
Dorans, N. J., Moses, T. P., & Eignor, D. R. (2010). Principles and practices of test score equating (ETS Research Report NO. RR – 10-29). Princeton, NJ: ETS.
Dorans, N. J., & Holland, P. W. (2000). Population Invariance and the Equatability of Tests: Basic Theory and the Linear Case. Journal of Educational Measurement, 37(4), 281-306.
Dorans, N. J., & Moses, T. (2023). Score equating: an aspirational form of score linking. International Encyclopedia if Education (Fourth Edition). 236-248. DOI:10.1016/B978-0-12-818630-5.10034-x
Heh, V K. (2007). Equating accuracy using Small Samples in the random group design (Doctoral dissertation). Patton College of Education at Ohio University, Athens, OH.
Jaeger, R. M. (1981). Some Exploratory Indices for Selection of a Test Equating Method. Journal of Educational Measurement, 18 (1), 23-38.
Khalili, H., & Soleimani, M. (2003). Determining reliability, validity, and norm scores of the California Critical Thinking Skills Test Form B (CCTST-B). Journal of Babol University of Medical Sciences. 2. 90-84. [In Persian]
Kim, S., Von Davier, A. A., & Haberman, S. (2008). Small – Sample Equating Using a Synthetic Linking Function. Journal of Educational Measurement, 45 (4), 325-342.
Kim, S., & Livingston, S. A. (2010). Comparisons among Small Sample Equating Methods in a Common–Item Design. Journal of Educational Measurement, 47 (3), 286-298.
Kim, S., Livingston, S. A., & Lewis, C. (2011). Collateral Information for Equating in Small Sample: A Preliminary Investigation. Applied Measurment in Education, 24, 302-323.
Kim, S., von Davier, A. A., & Haberman, S. (2006). An alternative to equating with small samples in the non-equivalent groups anchor test design. Paper presented at the annual Meeting of the National Council on Measurement in Education, San Francisco, CA.
Kolen, M. J., & Brennan, R. L. (2014). Test equating, scaling, and linking: Method and practice (3nd ed). New York, NY: Spiringer.
Livingston, S. A; Kim, S. (2009b). The circle – arc method for equating in small samples. Journal of Educational Measurement, 46 (3), 330 – 343.
Mechael, M. (2008). The Impact of the errors of Equating and errors of measurement on the reported scores. (Doctoral dissertation). Department of Psychology at Fordhanm University, New York.
Mehrinejad, A. (2007). Adaptation and standardization of the California Test of Critical Thinking Skills. Cognitive science news, 9 (3), 72-63.[In Persian]
Moghadamzadeh, A. (2013). Optimal Smoothing Method of Data in Test Equating: The Case of TOLIMO and Comprehensive Trial Tests of Iran Educational Testing Organization. [In Persian]
Parshall, C. G., Houghton, P. D., & Kromrey, J. D. (1995). Equating error and statistical bias in small sample linear equating. Journal of Educational Measurement, 32 (1), 37 – 54.
Puhan, G., Moses, T. P., Grant, M. C., & McHale, F. (2009). Small – Sample Equating Using a Single – Group Nearly Equivalent Test (SiGNET) Design. Journal of Educational Measurement, 46 (3), 344 – 362.
Skaggs, G. (2005). Accuracy of Random Groups Equating with Very Small Samples. Journal of Educational Measurement, 42 (4), 309-330.
Thorndike, R. (1982). Applied psychometrics. Translated by Heydar Ali Homan. Tehran University Publications. [In Persian]
VonDavier, A. A., Holland, P. W., & Thayer, D. T. (2004). The Kernel method of test equating. New York, NY: Springer-Verlag.
Iriyadi, D; Rahayu,W; & Naga, D. (2018). Equating Method for Small Sample: Comparative research on nominal weight mean and linear method. Advances in Social Science, Education and Humanities Research, 295, 178-182.
فصلنامه اندازه گیری تربیتی
دوره 16، شماره 59
فروردین 1404
صفحه 7-35
فایل ها
هم رسانی
ارجاع به این مقاله
آمار