نوع مقاله : مقاله پژوهشی

نویسندگان

• اعظم مقدم ¹
• محمدرضا فلسفی نژاد ²
• نورعلی فرخی ²
• معصومه استاجی ³

¹ دانشجوی دکترا سنجش و اندازه گیری دانشگاه علامه طباطبایی تهران

² دانشیار گروه سنجش و اندازه گیری دانشگاه علامه طباطبایی تهران

³ استادیار گروه زبان خارجه دانشگاه علامه طباطبائی

چکیده

زمینه: رویکردهای سنتی و جاری سنجش در بازنمایی قابلیت‌های زبانی افراد با چالش‌های عملی و نظری همراه بوده و توانایی آن‌ها در سنجش و گزینش داوطلبان مورد تردید قرار گرفته است. به گونه‌ای که متخصصان حوزه اندازه‌گیری آموزشی را به استفاده از روش‌های جدیدتر و کارآمدتر، سنجش تشخیصی شناختی، سوق داده است. هدف: هدف مقاله حاضر تحلیل تشخیصی سوالات بخش درک مطلب آزمون ورودی دوره‌های دکتری زبان انگلیسی عمومی با استفاده از مدل غیرجبرانی فیوژن به منظور شناسایی مهارت‌های آزمون مورد مطالعه، کفایت مدل ارائه شده (همگرایی و برازش مدل)، توان تشخیصی آزمون و میزان تسلط داوطلبان در هر یک از مهارت‌ها بود. روش: جامعه مورد بررسی عبارت از کلیه 3942 داوطلب کنکور در رشته‌های آموزش زبان انگلیسی، زبان‌شناسی، مترجمی و ادبیات انگلیسی در سال 1391 بود و اطلاعات مربوط به 2754 آزمودنی به عنوان گروه نمونه در تحلیل نهایی وارد شدند. از تحلیل محتوای آزمون، کدگذاری آن و بررسی گزارش‌های کلامی پنج دانشجوی کارشناسی ارشد و دکترای زبان انگلیسی دارای سابقه تدریس در آموزش زبان انگلیسی برای تعیین مهارت‌های زیربنایی احتمالی هر یک از سوالات استفاده شد. یافته‌ها: نتیجه بررسی‌های بخش کیفی شش مهارت تدوین شده شامل استفاده از دانش واژگان، استفاده از دانش نحوی، استخراج اطلاعات صریح، استنتاج، اتصال و ادغام و استفاده از دانش عملی بود. تحلیل داده‌ها با استفاده از مدل غیرجبرانی فیوژن کاهش یافته مبتنی بر الگوریتم زنجیره مارکف مونته کارلو، نشان دهنده کفایت مدل تدوین شده و امکان استفاده از آن در داده‌های زبان انگلیسی بود. اتصال و ادغام (1/39 درصد)، استفاده از دانش عملی (8/36)، استخراج اطلاعات صریح (1/37 درصد)، استنتاج (9/25 درصد)، استفاده از دانش نحوی (1/25) و استفاده از دانش واژگان (9/22 درصد) به ترتیب آسان‌ترین تا دشوارترین مهارت‌های آزمون درک مطلب است. ضریب دشواری آزمون 42/. به دست آمد‌ و آزمون از توان تشخیصی بالایی برخوردار نبود. بحث و نتیجه‌گیری: امکان استفاده از مدل‌های تشخیصی شناختی در داده‌های مربوط به آزمون‌های زبان وجود دارد و منجر به کسب اطلاعات بیش‌تر از آزمون و پاسخ آزمودنی‌ها شده و به تحقق هدف سنجش برای یادگیری کمک می‌کند.

کلمات کلیدی: مدل‌های تشخیصی شناختی، مدل غیرجبرانی فیوژن، ‌مهارت‌های سازه درک مطلب، زبان انگلیسی

کلیدواژه‌ها

• مدل‌های تشخیصی شناختی
• مدل غیرجبرانی فیوژن
• ‌مهارت‌های سازه درک مطلب
• زبان انگلیسی

عنوان مقاله [English]

Diagnostic analysis of general English reading comprehension's items of PhD entrance exam using non-compensatory fusion model

نویسندگان [English]

• azam moghadam ¹
• mohammadreza falsafinejhad ²
• norali farokhi ²
• masoomeh estaji ³

چکیده [English]

Traditional approaches in educational measurement have some practical and theoretical challenges in demonstrating language competencies and their abilities in assessment candidates' skills and selecting them have been questioned. In order to overcome these restrictions cognitive diagnostic models (CDMs) have been introduced and applied. Objective: The purpose of this study was diagnostic analysis of reading comprehension items of a general English language test (PhD entrance exam) to investigate underlying skills of a given test, inspection of model convergence and its fit, diagnostic power of the test and the mastery status of examinees. Method: The study conducted in cognitive diagnostic modeling. The population was all PhD candidates which majored in English teaching, linguistics, translation, and English literature. 2754 examinees were used as a sample. Task analysis, coding and verbal reports were applied to determine underlying skills of the test. Results: In qualitative section, 6 skills including using vocabulary knowledge, using syntactic knowledge, extracting explicit information or scan, drawing inference, connecting and synthesizing and using pragmatic knowledge were investigated. Also, quantitative analyses using non-compensatory reduced fusion model (FM) based on a Monte Carlo Markov chain (MCMC) indicated MCMC convergence and model fit and possibility of application of fusion model in English language's tests. The ability parameters were low for all skills. Using vocabulary knowledge was the simplest skill. The mean of item proportion-correct scores was .42 and the test did not have a high diagnostic power. Discussion and conclusion: Using cognitive diagnostic models in general and fusion model in particular results in achieving more information about tests and examinees' responses and it helps to reach the goal of assessment for learning and classify examinees as masters or non-masters correctly.

Key Words: Cognitive Diagnostic Models (CDMs), Non-compensatory Fusion Model (FM), Reading Comprehension's Skills, and English Language

کلیدواژه‌ها [English]

• Cognitive Diagnostic Models (CDMs)
• Non-compensatory Fusion Model (FM)
• Reading Comprehension's Skills
• and English Language