请选择 进入手机版 | 继续访问电脑版
楼主: 挞挞
50101 10

[问答] 模型的稳定性用PSI指标来检验 [推广有奖]

  • 0关注
  • 0粉丝

本科生

45%

还不是VIP/贵宾

-

威望
0
论坛币
670 个
通用积分
2.3500
学术水平
1 点
热心指数
1 点
信用等级
0 点
经验
1696 点
帖子
14
精华
0
在线时间
177 小时
注册时间
2015-10-14
最后登录
2022-10-26

挞挞 发表于 2016-1-8 17:01:33 |显示全部楼层 |坛友微信交流群

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
PSI指标是什么?有没有相关介绍
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:PSI 稳定性 有没有 模型 稳定性

yuexfe 发表于 2016-8-1 17:52:53 |显示全部楼层 |坛友微信交流群
群体稳定性指标(population stability index),
公式: psi = sum((实际占比-预期占比)/ln(实际占比/预期占比))
举个例子解释下,比如训练一个logistic回归模型,预测时候会有个概率输出p。你测试集上的输出设定为p1吧,将它从小到大排序后10等分,如0-0.1,0.1-0.2,......。
现在你用这个模型去对新的样本进行预测,预测结果叫p2,按p1的区间也划分为10等分。
实际占比就是p2上在各区间的用户占比,预期占比就是p1上各区间的用户占比。
意义就是如果模型跟稳定,那么p1和p2上各区间的用户应该是相近的,占比不会变动很大,也就是预测出来的概率不会差距很大。
一般认为psi小于0.1时候模型稳定性很高,0.1-0.25一般,大于0.25模型稳定性差,建议重做。
已有 1 人评分论坛币 收起 理由
admin_kefu + 20 热心帮助其他会员

总评分: 论坛币 + 20   查看全部评分

使用道具

condor_gz 在职认证  发表于 2017-1-5 14:55:32 |显示全部楼层 |坛友微信交流群
yuexfe 发表于 2016-8-1 17:52
群体稳定性指标(population stability index),
公式: psi = sum((实际占比-预期占比)/ln(实际占比/预期 ...
未邀自来。。
1、纠正@yuexfe一个错误:psi = sum((实际占比-预期占比)/ln(实际占比/预期占比)) 公式中差与对数的除应该是乘,即:psi = sum((实际占比-预期占比)* ln(实际占比/预期占比))
2、除了按概率值大小等距十等分外,还可以对概率排序后按数量十等分,两种方法计算得到的psi可能有所区别但数值相差不大。
已有 4 人评分论坛币 学术水平 热心指数 信用等级 收起 理由
Kane.Vincent + 5 精彩帖子
bllhm + 5 + 1 + 1 + 1 精彩帖子
574269 + 1 + 1 + 1 观点有启发
admin_kefu + 20 热心帮助其他会员

总评分: 论坛币 + 30  学术水平 + 2  热心指数 + 2  信用等级 + 2   查看全部评分

使用道具

574269 学生认证  发表于 2017-1-17 10:14:07 |显示全部楼层 |坛友微信交流群
condor_gz 发表于 2017-1-5 14:55
未邀自来。。
1、纠正@yuexfe一个错误:psi = sum((实际占比-预期占比)/ln(实际占比/预期 ...
赞~钊哥  哈哈

使用道具

yuexfe 发表于 2017-4-5 11:52:10 |显示全部楼层 |坛友微信交流群
574269 发表于 2017-1-17 10:14
赞~钊哥  哈哈
赞,笔误,谢谢纠正

使用道具

stina525 发表于 2018-7-13 11:13:03 |显示全部楼层 |坛友微信交流群
condor_gz 发表于 2017-1-5 14:55
未邀自来。。
1、纠正@yuexfe一个错误:psi = sum((实际占比-预期占比)/ln(实际占比/预期 ...
不好意思啊,看到第二点有点疑惑。不知道对概率排序后按数量十等分的话,是对客户数量十等分么?那不管是训练集还是验证集,每个区间内的客户占比永远都是10%,算出来的PSI不就永远为零了么?

使用道具

笨_O 发表于 2018-8-30 11:42:21 |显示全部楼层 |坛友微信交流群
stina525 发表于 2018-7-13 11:13
不好意思啊,看到第二点有点疑惑。不知道对概率排序后按数量十等分的话,是对客户数量十等分么?那不管是 ...
要按照训练集的分组上下限来分测试集

使用道具

yuexfe 发表于 2016-8-1 17:52
群体稳定性指标(population stability index),
公式: psi = sum((实际占比-预期占比)/ln(实际占比/预期 ...
有见地,赞!

使用道具

Walker_Tang 发表于 2019-8-25 11:01:05 |显示全部楼层 |坛友微信交流群
[quote]stina525 发表于 2018-7-13 11:13 https://github.com/mwburke/population-stability-index/blob/master/psi.py

使用道具

qwe0208 学生认证  发表于 2020-6-30 20:48:18 |显示全部楼层 |坛友微信交流群
condor_gz 发表于 2017-1-5 14:55
未邀自来。。
1、纠正@yuexfe一个错误:psi = sum((实际占比-预期占比)/ln(实际占比/预期 ...
预期占比是0怎么办?PSI就是无穷大了?

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-3-29 07:58