楼主: 滨滨有利123
1378 0

[投稿经验分享] 评分模型报告分享 [推广有奖]

  • 0关注
  • 31粉丝

副教授

24%

还不是VIP/贵宾

-

威望
0
论坛币
198 个
通用积分
25.4545
学术水平
1 点
热心指数
2 点
信用等级
0 点
经验
9596 点
帖子
328
精华
0
在线时间
383 小时
注册时间
2015-4-26
最后登录
2024-7-21

楼主
滨滨有利123 发表于 2019-8-17 18:17:49 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币

在自然科学界有一条法则,叫简约法则,叫越简单越接近正确,如果能用越少信息评估的数,就千万别用复杂的。所以尽量少用信息去评估一个事物,而不是多用信息。在做模型也如此,当然包括我们常提的评分模型。

现在计算机的对数据的处理能力越来越强,使处理数据跟复杂信息越来越强,使得我们对复杂信息非常迷恋。人们总是相信输入的数值越多,得到的估值模型会越准确。


问题的关键是,越来越多的信息其实伴随着噪音,你输入越来越多信息的同时,其实输入的噪音也越来越大,所以也产生越来越多的误差。个人认为在模型的特征处理和特征筛选时候,也是在不断简化模型的过程。所以最终在评分模型入模的变量顶多也就是十几个,一般还不会多于三四十个。本篇文章给各位分享之前做过的某个项目里的建模报告,里面就涉及具体的变量明细情况。


一.建模的目标:

   用于线下准入判断


二.建模的目标变量:

Dependent定义:

1 - 用户授信后2个月内账单历史逾期15+(只看订单金额>1的账单);

0 - 其他


三.建模样本:

用户授信时间到2016/12/01,定义样本的观察窗口

评分模型报告分享1.jpg


满足建模条件的人数为22,000

评分模型报告分享2.jpg


建模样本取授信时间6、7月,验证样本1取授信时间5月,验证样本2取授信时间1-4月:

评分模型报告分享3.jpg


四.模型结果:

1)模型变量:

评分模型报告分享4.jpg


2)逻辑回归参数估计:

评分模型报告分享5.jpg


3)模型评估

a)与第二版比较

在建模样本上,新模型达到29%的KS,相对第二版模型有58%的KS lift;

前20%的人群中抓出41%的bad,比第二版模型提高32%;

在所有人群上,新模型达到29%的KS,相对第二版模型有33%的KS lift;

前20%的人群中抓出42%的bad,比第二版模型提高25%;

评分模型报告分享6.jpg


b)在FPD10+的表现

新模型在FPD10+依然表现稳定,且优于第二版决策树。

评分模型报告分享7.jpg


c)在贷款订单的表现

把模型应用到有短贷订单的用户人群,以短贷订单是否逾期15+/7+作为dependant,模型效果如下:


评分模型报告分享8.jpg


五.模型切分效果

评分模型报告分享9.jpg


六.模型各个验证指标展示

ROC值

评分模型报告分享10.jpg


lift值

评分模型报告分享11.jpg


KS值

评分模型报告分享12.jpg


psi情况:

评分模型报告分享13.jpg


六.最后是关于变量的说明与分箱的得分

评分模型报告分享15.jpg


总结点:

1.我们可以发现新上线的评分模型的的KS还不算特别高,但是相对之前的模型都有不少程度有KS lift,我们后续可以对这个模型进行调优监控,看下各个指标是否仍处于合理的范围内

2.我们发现最终入模的变量的个数,模型变量也比较精简符合我们开篇所提简约法则,也就是在十三个左右,变量分箱合理


此份完整的模型开发报告,已经同步到知识星球,各位同学有兴趣可以上去上去查收。



二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝


您需要登录后才可以回帖 登录 | 我要注册

本版微信群
扫码
拉您进交流群
GMT+8, 2026-2-12 06:41