نوع مقاله : مقاله پژوهشی

نویسندگان

1 سنحش و اندازه گیری، دانشکده روانشناسی و علوم تربیتی دانشگاه غلامه طباطبائی

2 دانشیار گروه سنجش و اندازه گیری دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبایی

3 دانشیار گروه ستجش و اندازه گیری دانشگاه علامه طباطبایی

4 دانشیار گروه روانشناسی دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبایی

چکیده

هدف اصلی این پژوهش شناسایی رویکرد بهینه تجزیه و تحلیل داده‌های ایپستیو در سنجش ویژگی‌های شخصیتی بود. شاخص‌های روایی ملاکی، پایایی تجربی و پایایی واقعی نمرات، با توجه به تاثیر همبستگی بین عامل‌هادر دو رویکرد نمره‌گذاری به روش کلاسیک و روش IRT ترستونی مورد مقایسه قرار گرفت. جامعه آماری پژوهش حاضر عبارت از کلیه موقعیت‌هایی است که در آن پرسشنامه‌های شخصیت جهت ارزیابی و گزینش افراد مورد استفاده قرار می‌گیرد. بدین منظور با استفاده از نرم افزار MPLUS به شبیه سازی فرمت های مختلف مقیاس‌های گزینه-بایست پرداخته شد و دو رویکرد نمره گذاری به روش سنتی و روش IRT ترستونی مورد مقایسه قرار گرفتند. در کل یافته‌های پژوهش گویای این بود که رویکرد IRT ترستونی نسبت به رویکرد کلاسیک نمره‌گذاری، در دقت برآورد نمرات واقعی، پایایی تجربی و روایی ملاکی، بهتر عمل می‌کند. همچنین، یافته های تحقیق نشان دادند که میانگین همبستگی بین نمرات برآورد شده و نمرات واقعی برای هر سه ضریب همبستگی (صفر، 25/0 و 50/0)، در روش IRT ترستونی بیشتر از نمرات حاصل از روش کلاسیک است؛ میانگین نمرات پایایی واقعی برای هر سه ضریب همبستگی، در روش IRT ترستونی بیشتر از نمرات حاصل از روش کلاسیک است و میانگین نمرات پایایی تجربی برای ضرایب همبستگی 25/0 و 5/0 با روش کلاسیک بیشتر از نمرات حاصل از روش IRT ترستونی است، ولی برای ضریب همبستگی صفر میانگین نمرات روش IRT ترستونی بیشتر از نمرات کلاسیک است.

کلیدواژه‌ها

عنوان مقاله [English]

Comparison of Validity, Accuracy, and Reliability of the Scores obtained from Thurstonian Item Response Theory in forced-choice scales

نویسندگان [English]

  • ALI TAYARANI RAD 1
  • mohamad reza falsafinejad 2
  • noorali farrokhi 3
  • ahmad borjali 4

1 Allameh Tabataba’i University

2 Allameh Tabataba’i University-Faculty of Psychology and Educational Sciences

3 Allameh Tabataba’i University-Faculty of Psychology and Educational Sciences

4 Allameh Tabataba'i University-FACULTY OF PSYCHOLOGY AND EDUCATIONAL SCIENCES

چکیده [English]

The main purpose of this study was to identify the optimum approach to analysis of epistemic data in measuring personality traits. For this purpose, MPLUS software and lavan software package simulate different formats of response scales, and two traditional scoring approaches and Thurston's IRT method were compared in some of the most important psychometric outcomes. Overall the findings of the study indicated that the Thurstonin IRT approach performs better than the traditional scoring approach in accurately estimating actual scores, criterion validity, locating a person on the attribute continuum. Also, the research findings showed that the average correlation between estimated scores and actual scores for all three correlation coefficients (0, 0.25 and 0.50) in Thurstonian Item Response Theory is higher than the scores obtained from the classical method; True for all three correlation coefficients, in Thurstonian Item Response Theory more than classical method scores and mean experimental reliability scores for correlation coefficients 0.25 and 0.5 with classical method are higher than scores obtained by Thurstonian IRT method, but for coefficient The mean correlation of the mean scores of the Turestonian IRT method is higher than the classical scores. The findings also showed that the difference between the two tests, both Classical and Trestonium IRT, was significant for both the 48 and 96 questions, and the correlation between estimated scores and actual scores in the Thursetonium IRT method was more than the classical method.

کلیدواژه‌ها [English]

  • Ipsative scores
  • Forced-choice Scale
  • Traditional Scoring
  • Thurstonian Item Response Theory
Baron, H., 1996. Strength and limitations of ipsative measurement. J. Occup. Organ. Psych. 69, 49-56.
Borman, W. C., Buck, D. E., Hanson, M. A., Motowidlo, S. J., Stark, S., & Drasgow, F. (2001). An examination of the comparative reliability, validity, and accuracy of performance ratings made using computerized adaptive rating scales. Journal of Applied Psychology, 86, 965–973.
Brown, A., & Maydeu-Olivares, A. (2014). Modeling forced-choice response formats. In P. Irwing, T. Booth, & D. Hughes (Eds.). The Wiley handbook of psychometric testing. John Wiley & Sons.
Dunlp, W.P., & Cornwell, J.M. (1994). Factor analysis of ipsative measures.
Journal Multivariate Behavioral Research. 29,115-126.
Gordon, L.V. 1976. “Survey of interpersonal values. Revised manual”. Chicago, IL: Science
He, J., & van de Vijver, F. J. (2013). A general response style factor: Evidence from a multi-ethnic study in the Netherlands. Personality and Individual Differences, 55, 794–800.
Maydeu-Olivares, A., & Brown, A. (2010). Item response modeling of paired comparison and
Meade, A. (2004). Psychometric problems and issues involved with creating and using ipsative measures for selection. Journal of Occupational and Organisational Psychology, 77, 531-552.
Merk J., Schlotz W.,  Falter T. (2017). The Motivational Value Systems Questionnaire (MVSQ): Psychometric Analysis Using a Forced Choice Thurstonian IRT Model. Front Psychol. 8(1), 1-14.
Semadar, A., Robins, G., & Ferris, G. R. (2006). Comparing the validity of multiple social effectiveness constructs in the prediction of managerial job performance. Journal of Organizational Behavior, 27, 443–461.
SHL. (2006). OPQ32 technical manual. Surrey, UK. Author.
Stark, S., Chernyshenko, O. S., Drasgow, F., & White, L. A. (2012). Adaptive testing with multidimensional pairwise preference items: Improving the efficiency of personality and other noncognitive assessments. Organizational Research Methods, 15(3), 463-487.
Tenopyr, M.L. (1988). Artifactual reliability of forced-choice scales. Journal of  Applied Psychology, 78, 749-751.
Van Rooy, D. L., & Viswesvaran, C. (2004). Emotional intelligence: A meta-analytic investigation of predictive validity and nomological net. Journal of Vocational Behavior, 65, 71–95