模型的稳定性用PSI指标来检验

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

PSI指标是什么？有没有相关介绍

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：PSI 稳定性 有没有 模型 稳定性

群体稳定性指标(population stability index),
公式： psi = sum(（实际占比-预期占比）/ln(实际占比/预期占比))
举个例子解释下，比如训练一个logistic回归模型，预测时候会有个概率输出p。你测试集上的输出设定为p1吧，将它从小到大排序后10等分，如0-0.1,0.1-0.2,......。
现在你用这个模型去对新的样本进行预测，预测结果叫p2,按p1的区间也划分为10等分。
实际占比就是p2上在各区间的用户占比，预期占比就是p1上各区间的用户占比。
意义就是如果模型跟稳定，那么p1和p2上各区间的用户应该是相近的，占比不会变动很大，也就是预测出来的概率不会差距很大。
一般认为psi小于0.1时候模型稳定性很高，0.1-0.25一般，大于0.25模型稳定性差，建议重做。

yuexfe 发表于 2016-8-1 17:52
群体稳定性指标(population stability index),
公式： psi = sum(（实际占比-预期占比）/ln(实际占比/预期 ...

未邀自来。。
1、纠正@yuexfe一个错误：psi = sum(（实际占比-预期占比）/ln(实际占比/预期占比)) 公式中差与对数的除应该是乘，即：psi = sum(（实际占比-预期占比）* ln(实际占比/预期占比))
2、除了按概率值大小等距十等分外，还可以对概率排序后按数量十等分，两种方法计算得到的psi可能有所区别但数值相差不大。

condor_gz 发表于 2017-1-5 14:55
未邀自来。。
1、纠正@yuexfe一个错误：psi = sum(（实际占比-预期占比）/ln(实际占比/预期 ...

赞~钊哥  哈哈

574269 发表于 2017-1-17 10:14
赞~钊哥  哈哈

赞，笔误，谢谢纠正

condor_gz 发表于 2017-1-5 14:55
未邀自来。。
1、纠正@yuexfe一个错误：psi = sum(（实际占比-预期占比）/ln(实际占比/预期 ...

不好意思啊，看到第二点有点疑惑。不知道对概率排序后按数量十等分的话，是对客户数量十等分么？那不管是训练集还是验证集，每个区间内的客户占比永远都是10%，算出来的PSI不就永远为零了么？

stina525 发表于 2018-7-13 11:13
不好意思啊，看到第二点有点疑惑。不知道对概率排序后按数量十等分的话，是对客户数量十等分么？那不管是 ...

要按照训练集的分组上下限来分测试集

yuexfe 发表于 2016-8-1 17:52
群体稳定性指标(population stability index),
公式： psi = sum(（实际占比-预期占比）/ln(实际占比/预期 ...

有见地，赞！

[quote]stina525 发表于 2018-7-13 11:13 https://github.com/mwburke/population-stability-index/blob/master/psi.py

condor_gz 发表于 2017-1-5 14:55
未邀自来。。
1、纠正@yuexfe一个错误：psi = sum(（实际占比-预期占比）/ln(实际占比/预期 ...

预期占比是0怎么办？PSI就是无穷大了？