Kappa是什么意思？Kappa系数或Kappa值的作用及案例(转载)

IPZ

Kappa是什么意思？希腊字母κ，有时直接用英文字母K表示，读者Kappa，Kappa值或Kappa系数常用来度量两个被观测对象的一致程度。Kappa有时也叫做Cohen's Kappa。用来衡量一个二元分类器的准确性，而且非常实用于标签非平衡的情况。

Kappa的数值在-1到1之间。越大说明分类器越好。

Kappa = 0，说明这个分类器和随便猜测没什么区别。这里的猜测是按照整体的分布进行猜测。比如已知90%的标签是1，你也是按照这个概率随机猜测。如果按照其他概率来猜测，得到的Kappa很可能是负数。

• Kappa > 0.1，说明模型凑合，马马虎虎
• Kappa > 0.4，说明模型还行
• Kappa > 0.8，说明模型挺好的
  

κ 是如何计算的？我们直接上栗子。假设我们有两个对象，对，对象，男生甲和女生乙，相亲。媒婆想知道他们两个能不能处得来，首先就想问能不能吃到一块去。就分别问两个人二十道菜，他们只需回答“喜欢”或者“不喜欢”这道菜。媒婆非常认真，做了下面的表：

Kappa是什么意思.GIF

越接近1，两者越一致、越吻合。换句话说，男生甲和女生乙是有缘人！我们喜欢一样的东西，也讨厌一样的东西。

接近0，表面两者之间符合偶然的预期。换句话说，男生甲和女生乙是路人！

接近-1，表面两者之间的相符程度非常低。换句话说，男生甲和女生乙是冤家，死对头！我喜欢你讨厌的东西，我讨厌你喜欢的东西。

具体来算两个例子。

Kappa系数或Kappa值的作用及案例.GIF

这次一算Kappa系数，发现有0.3，虽然不是很高，但是说明口味还是比较接近的。

例子讲完了，下面说一说应用。之前Kappa系数在医学领域应用比较多，比如利用症状的阴性和阳性诊断病情的一致性。现在在机器学习领域，也越来越多得被重视。Kappa系数可以用来评价一个分类器的准确性，特别是在标签不平衡的状态下。比如说

Kappa系数.GIF

如果采用一般的方法来评价这个分类器的话，我们发现它的精度到达了90%，看起来还不错。可实际并不是这样的。因为这个样本本身就很不平衡，95%的标签是“+”。计算一下，我们可以发现这个分类器的Kappa系数只有-0.05，说明这个预测结果不理想。

mjw1360530

讲解的挺好的，所以KAPPA是一种评估属性MSA一致性的方法。不过KAPPA不光只有Cohen's KAPPA,还有Fleiss KAPPA哦，而且Fleiss应用更广泛，它能评估两个以上的评价人的一致性程度，Cohen's只能评价两个。

JX3402

讲解的非常详细，点赞。

涂建明

lurenjia2011050

讲解的很好，感谢！

liuzhouwuzheng

辉男

z3353259

阿甘1014

1101003615

zackrui

非常好，谢谢分享！