品质协会(www.PinZhi.org)

 找回密码
 加入协会

QQ登录

只需一步,快速开始

查看: 23725|回复: 43

Kappa是什么意思?Kappa系数或Kappa值的作用及案例(转载)

  [复制链接]

253

主题

283

回帖

15

精华

品质协会主任会员

Rank: 8Rank: 8

积分
31409
品质币
30573
职位
1
发表于 2018-6-18 21:44:54 | 显示全部楼层 |阅读模式
Kappa是什么意思?希腊字母κ,有时直接用英文字母K表示,读者Kappa,Kappa值或Kappa系数常用来度量两个被观测对象的一致程度。Kappa有时也叫做Cohen's Kappa。用来衡量一个二元分类器的准确性,而且非常实用于标签非平衡的情况。

Kappa的数值在-1到1之间。越大说明分类器越好。

Kappa = 0,说明这个分类器和随便猜测没什么区别。这里的猜测是按照整体的分布进行猜测。比如已知90%的标签是1,你也是按照这个概率随机猜测。如果按照其他概率来猜测,得到的Kappa很可能是负数。

  • Kappa > 0.1,说明模型凑合,马马虎虎
  • Kappa > 0.4,说明模型还行
  • Kappa > 0.8,说明模型挺好的

κ 是如何计算的?我们直接上栗子。假设我们有两个对象,对,对象,男生甲和女生乙,相亲。媒婆想知道他们两个能不能处得来,首先就想问能不能吃到一块去。就分别问两个人二十道菜,他们只需回答“喜欢”或者“不喜欢”这道菜。媒婆非常认真,做了下面的表:

Kappa是什么意思.GIF

Kappa是什么意思.GIF


越接近1,两者越一致、越吻合。换句话说,男生甲和女生乙是有缘人!我们喜欢一样的东西,也讨厌一样的东西。

接近0,表面两者之间符合偶然的预期。换句话说,男生甲和女生乙是路人!

接近-1,表面两者之间的相符程度非常低。换句话说,男生甲和女生乙是冤家,死对头!我喜欢你讨厌的东西,我讨厌你喜欢的东西。

具体来算两个例子。

Kappa系数或Kappa值的作用及案例.GIF

Kappa系数或Kappa值的作用及案例.GIF


这次一算Kappa系数,发现有0.3,虽然不是很高,但是说明口味还是比较接近的。

例子讲完了,下面说一说应用。之前Kappa系数在医学领域应用比较多,比如利用症状的阴性和阳性诊断病情的一致性。现在在机器学习领域,也越来越多得被重视。Kappa系数可以用来评价一个分类器的准确性,特别是在标签不平衡的状态下。比如说

Kappa系数.GIF

Kappa系数.GIF


如果采用一般的方法来评价这个分类器的话,我们发现它的精度到达了90%,看起来还不错。可实际并不是这样的。因为这个样本本身就很不平衡,95%的标签是“+”。计算一下,我们可以发现这个分类器的Kappa系数只有-0.05,说明这个预测结果不理想。

1. 问答、交流探讨的帖子,回帖时,请不要发纯表情等无价值回帖,无意义,太多了影响用户体验,经常这样账号会被扣分甚至禁号的;
2. 品质协会是个学习、交流分享的平台,所有资料和内容归作者和版权方所有,需要正版标准、资料的请去相关的官方网站等平台购买。

0

主题

226

回帖

0

精华

品质协会高级会员

Rank: 4

积分
3935
品质币
3709
职位
28
居住地
上海市 嘉定区
发表于 2022-3-17 08:23:11 | 显示全部楼层
讲解的挺好的,所以KAPPA是一种评估属性MSA一致性的方法。不过KAPPA不光只有Cohen's KAPPA,还有Fleiss KAPPA哦,而且Fleiss应用更广泛,它能评估两个以上的评价人的一致性程度,Cohen's只能评价两个。

20

主题

3833

回帖

0

精华

品质协会高级会员

Rank: 4

积分
3867
品质币
14
职位
40
发表于 2024-10-13 09:25:26 来自手机 | 显示全部楼层
这次一算Kappa系数,发现有0.3,虽然不是很高,但是说明口味还是比较接近的。

19

主题

1049

回帖

0

精华

品质协会高级会员

Rank: 4

积分
7668
品质币
6600
职位
2
发表于 2018-6-19 08:28:12 | 显示全部楼层
讲解的非常详细,点赞。

126

主题

8847

回帖

0

精华

品质协会高级会员

Rank: 4

积分
10192
品质币
1219
职位
4
发表于 2018-6-19 08:47:23 | 显示全部楼层
讲解的很好,感谢!

6

主题

8496

回帖

0

精华

品质协会主任会员

Rank: 8Rank: 8

积分
30276
品质币
21774
职位
10
发表于 2018-6-20 08:33:51 | 显示全部楼层
非常好,谢谢分享!
您需要登录后才可以回帖 登录 | 加入协会

本版积分规则

《品质协会规则》|品质币|手机版|品质B2B|联系我们|注册加入协会|品质协会(www.PinZhi.org) |网站地图

GMT+8, 2024-12-4 21:45 , Processed in 0.097345 second(s), 8 queries , Gzip On, Redis On.

Powered by 品质协会 © 2010-2024

品质人,让生活和环境变得更美好!!!

快速回复 返回顶部 返回列表