一家教育考试公司正在为十二年级标准化论文式考试的写作部分培训五名新检验员。现在需要评估检验员对论文评级时遵守标准的能力。每个评分员以五点尺度(-2,-1,0,1,2)对 15 篇论文进行了评级。
1 打开工作表“散文.MTW”。
2 选择统计 > 质量工具 > 属性一致性分析。
3 在属性列中,输入等级。
4 在样本中,输入样本。
5 在检验员中,输入检验员。
6 在已知标准/属性中,输入属性。
7 选中属性数据的类别是有序的,并单击确定。
会话窗口输出
评级 的属性一致性分析
每个检验员与标准
评估一致性
# 检 # 相 检验员 验数 符数 百分比 95% 置信区间 Duncan 15 8 53.33 (26.59, 78.73) Hayes 15 13 86.67 (59.54, 98.34) Holmes 15 15 100.00 (81.90, 100.00) Montgomery 15 15 100.00 (81.90, 100.00) Simpson 15 14 93.33 (68.05, 99.83)
# 相符数: 检验员在多次试验中的评估与已知标准一致。
Fleiss 的 Kappa 统计量
检验员 响应 Kappa Kappa 标准误 Z P(与 > 0) Duncan -2 0.58333 0.258199 2.25924 0.0119 -1 0.16667 0.258199 0.64550 0.2593 0 0.44099 0.258199 1.70796 0.0438 1 0.44099 0.258199 1.70796 0.0438 2 0.42308 0.258199 1.63857 0.0507 整体 0.41176 0.130924 3.14508 0.0008 Hayes -2 0.62963 0.258199 2.43855 0.0074 -1 0.81366 0.258199 3.15131 0.0008 0 1.00000 0.258199 3.87298 0.0001 1 0.76000 0.258199 2.94347 0.0016 2 0.81366 0.258199 3.15131 0.0008 整体 0.82955 0.134164 6.18307 0.0000 Holmes -2 1.00000 0.258199 3.87298 0.0001 -1 1.00000 0.258199 3.87298 0.0001 0 1.00000 0.258199 3.87298 0.0001 1 1.00000 0.258199 3.87298 0.0001 2 1.00000 0.258199 3.87298 0.0001 整体 1.00000 0.131305 7.61584 0.0000 Montgomery -2 1.00000 0.258199 3.87298 0.0001 -1 1.00000 0.258199 3.87298 0.0001 0 1.00000 0.258199 3.87298 0.0001 1 1.00000 0.258199 3.87298 0.0001 2 1.00000 0.258199 3.87298 0.0001 整体 1.00000 0.131305 7.61584 0.0000 Simpson -2 1.00000 0.258199 3.87298 0.0001 -1 1.00000 0.258199 3.87298 0.0001 0 0.81366 0.258199 3.15131 0.0008 1 0.81366 0.258199 3.15131 0.0008 2 1.00000 0.258199 3.87298 0.0001 整体 0.91597 0.130924 6.99619 0.0000
Kendall 的相关系数
检验员 系数 系数标准误 Z P Duncan 0.87506 0.192450 4.49744 0.0000 Hayes 0.94871 0.192450 4.88016 0.0000 Holmes 1.00000 0.192450 5.14667 0.0000 Montgomery 1.00000 0.192450 5.14667 0.0000 Simpson 0.96629 0.192450 4.97151 0.0000
检验员之间
评估一致性
# 检 # 相 验数 符数 百分比 95% 置信区间 15 6 40.00 (16.34, 67.71)
# 相符数: 所有检验员的评估一致。
Fleiss 的 Kappa 统计量
响应 Kappa Kappa 标准误 Z P(与 > 0) -2 0.680398 0.0816497 8.3331 0.0000 -1 0.602754 0.0816497 7.3822 0.0000 0 0.707602 0.0816497 8.6663 0.0000 1 0.642479 0.0816497 7.8687 0.0000 2 0.736534 0.0816497 9.0207 0.0000 整体 0.672965 0.0412331 16.3210 0.0000
Kendall 的一致性系数
系数 卡方 自由度 P 0.966317 67.6422 14 0.0000
所有检验员与标准
评估一致性
# 检 # 相 验数 符数 百分比 95% 置信区间 15 6 40.00 (16.34, 67.71)
# 相符数: 所有检验员的评估与已知的标准一致。
Fleiss 的 Kappa 统计量
响应 Kappa Kappa 标准误 Z P(与 > 0) -2 0.842593 0.115470 7.2971 0.0000 -1 0.796066 0.115470 6.8941 0.0000 0 0.850932 0.115470 7.3693 0.0000 1 0.802932 0.115470 6.9536 0.0000 2 0.847348 0.115470 7.3383 0.0000 整体 0.831455 0.058911 14.1136 0.0000
Kendall 的相关系数
系数 系数标准误 Z P 0.958012 0.0860663 11.1090 0.0000 |
图形窗口输出
Minitab 显示三个评估一致性表:“每个检验员与标准”、“检验员之间”和“所有检验员与标准”。以上每个表中都包括 Kappa 和 Kendall 统计量。 总的来说,这些统计量表明一致性良好。检验员之间的总 Kendall 系数为 0.966317 (p=0.0000)。所有检验员与标准的 Kendall 系数为 0.958012 (p=0.0000)。
但是,仔细分析“每个检验员与标准”表就会发现 Duncan 与 Hayes 评估与标准匹配得较差。但是,Holmes 和 Montgomery 匹配了所有 15 项评估,匹配百分比为 100%。注意,每个匹配的百分比都与某个置信区间相关联。
“检验员与标准”图是“每个检验员与标准”评估一致性表的图形化表达。您可以轻松地比较 5 名检验员的评估一致性。
根据这些数据,可以推断 Duncan、Hayes 和 Simpson 需要进行更多的培训。
注意 |
并未显示“检验员各自”表,因为每个检验员都只进行了一次试验。 |