การเปรียบเทียบคุณภาพของวิธีการเชื่อมโยงคะแนนตามทฤษฎีการตอบสนองข้อสอบแบบพหุมิติภายใต้การหมุนแกน โครงสร้างเชิงมิติและระดับความสัมพันธ์ที่แตกต่างกัน / พัชรี จันทร์เพ็ง = A comparison of quality of multidimensional item response theory linking methods under the differences of rotation, dimensional structure, and correlation coefficient / Putcharee Junpeng
คุณภาพของวิธีการเชื่อมโยงคะแนนที่ต่างกันขึ้นอยู่กับ DS และ r โดยมีปฏิสัมพันธ์ในทิศทางเดียวกันแต่ไม่ส่งผลให้มีค่าความสัมพันธ์ระหว่างคะแนนที่แปลงได้กับคะแนนเกณฑ์ (CORR) ต่างกัน 2. คุณภาพของการเชื่อมโยงคะแนนระหว่างวิธี M และวิธี NOP มีค่าใกล้เคียงกัน โดยเฉพาะเงื่อนไขที่ไม่มีความสัมพันธ์ระหว่างมิติความสามารถและมีความสัมพันธ์ระหว่างมิติความสามารถในระดับกลางกับโครงสร้างที่ไม่ซับซ้อน แต่เมื่อความสัมพันธ์ระหว่างมิติความสามารถเพิ่มขึ้นกับโครงสร้างที่ซับซ้อนมากขึ้น พบว่า วิธี NOP มีคุณภาพของการเชื่อมโยงคะแนนมากกว่าวิธี M อย่างมีนัยสำคัญทางสถิติที่ระดับ .05 นั่นคือ วิธี NOP มีความคงที่ (RMSE) และความถูกต้อง (BIAS) ของการเชื่อมโยงคะแนน มากกว่าวิธี M ซึ่งมีแนวโน้มในการประมาณค่าต่ำกว่าความเป็นจริง อย่างไรก็ตามผลการวิจัยพบว่าทั้งสองวิธีมีค่าความสัมพันธ์ระหว่างคะแนนที่แปลงได้กับคะแนนเกณฑ์ (CORR) ไม่ต่างกันไม่ว่าจะศึกษาในโครงสร้างลักษณะใดหรือความสัมพันธ์ระหว่างมิติความสามารถระดับใด
The purposes of this experimental study were to 1) compare the quality of the linking methods according to MIRT Model with two characteristics of rotations--the orthogonal rotation by M (Min’s Method) and non-orthogonal rotation by NOP (Non-Orthogonal Procrustes Method)--under testing conditions of differences of dimensional structures and correlation levels between traits conditions 2) study the interaction of the linking methods, dimensional structures and correlation levels between traits.There were 12 conditions (2X2X3) consisted of two-linking methods--M and NOP methods, two-dimensional structures-- approximate simple structure and mixed structure, three-correlation levels between traits conditions which were no correlation (r = 0.0), moderate correlation (r = 0.5) and high correlation (r = 0.8). This research was based on the data simulation of the examinees with different ability classed in 3 levels; beginner, intermediate, and advance. There were 2,000 examinees in each level. The data collection for non-equivalent group design using the 20 common items in each level was studied by transforming items parameter from the beginner level to the intermediate level and from the intermediate level to the advance level. The data simulation consisted of three steps-- generating true item parameters and response patterns for each grade level, calibrating MIRT parameter model and equating the procedure of linking. Root-mean squared error (RMSE), BIAS, and correlation coefficient between transformed estimated on the equated form and the criterion estimated on the base form (CORR) were used as criteria compare the quality of linking methods in this research. In addition, Three-way Multivariate Analysis of Variance (Three-way MANOVA) was conducted to compare means difference of RMSE, BIAS, and CORR in order to explore interaction of conditions being studied. The results were as follows: 1. There was an interaction among linking method (METHOD), dimensional structure (DS), and correlation levels between traits (r) which affected correlation between transformed estimated and the criteria estimated (CORR) from the beginner level to the intermediate level and on accuracy of linking (BIAS) from the intermediate level to the advance level at the .05 significant level. However, the interaction had no effect on the stability of linking (RMSE) in every level of the items parameter transformation. The interaction between components showed that there were interactions between METHOD and DS, and METHOD and r which affected the difference between the stability and the accuracy of linking method at the .05 significant level. In other word, the differences of quality linking method depended on DS and r. The interactions between these conditions were ordinal interaction but they did not affect the difference of CORR. 2. The quality of linking methods between M and NOP, especially the conditions of no correlation and moderate correlation between traits which had approximate simple structure, was comparable. However, when the correlation became higher and the structure became much more complex, NOP had more quality of linking method than M method at .05 significant level. M method had more errors and under estimate parameters than NOP. Nevertheless, the result revealed that both correlation between transformed estimated and the criterion estimated (CORR) of M and NOP methods were not different in all conditions.
