各位同学大家好,新的一周开始了,我们继续输出有关风控的相关知识,做过模型的同学都知道,在做模型训练的时候会分训练集和验证集(或者说测试集),在我们做好评分卡的评分后,同样需要做测试集与验证集的效果验证,本人就来介绍下在当时做某产品的时候,如何做关于产品的切分细则。
本文会从切分逻辑、切分目标分析、切分目标、最终确定切分方案、按最终切分方案切分后training sample 与 validation sample 表现与原表现对比和切分实际上线后的流程占比与通过率。
一、切分逻辑
1.取2018/01/01——2018/06/30 XXX贷订单样本作为切分方案的training sample(bad定义与XXX贷专属建模的bad定义一致,为ever FSTPD10)。
2.取 2019/01/01-2019/02/28 服务贷订单作为切分方案的 validation sample 。
3.在training sample寻找满足切分目标的阈值,测算training sample中按照切分的阈值划分的各流程单量占比的变化、风险的变化以及通过率的变化。
4.根据3中划分的阈值,带入validation sample中验证各流程单量占比与通过率的变化,并讨论影响是否可以接受,如需调整,则返回3步骤有针对性的调整阈值。
5.根据讨论结果重复3-5步骤,直至validation sample中验证结果满足现有业务状况。
二、切分目标分析
1.该产品现存流程中,training sample和validation sample 中judgment中占比均较高,流程单量占比不均匀。
2.Training sample 中出现medium流程badrate高于easy和hard的现象,各流程中风险分层不明显。
三、切分目标
维持该节点现有hard,medium,easy,judgment流程结构前提下,风险紧缩且分层明显,以降低少许通过率和增加XXX工作量为代价。取消城市等级变量参与划分(因之前城市等级划分数据大多基于商品贷样本)。
四、最终确定切分方案
将training sample 由评分从底到高划分为30分段,1-11段走judgment,12-18段通过决策树切分出medium和easy,19-29段走hard,第30段拒绝。
五、切分后预测forcaset
切分后:
1、各流程占比进一步均匀化
2、各流程通过率维持稳定
3、风险紧缩且风险分层明显
实际上线后的流程占比与通过率
心得:
以下是划重点敲黑板:上面的这些操作,我们做了什么?为什么要这么做?特别是没有做过评分卡切分的同学,看到上面的操作后,估计彻底凌乱了?What is the problem?
风控系统本身就是逻辑框架系统,昨晚跟内部同学分享的时候,也提到这一点。而做以上的操作,无非要明白的风控的核心是两个:
1.流程之间的占比尽量均匀化,且节点之间需要稳定运作,某些节点得过度偏移这将导致各个节点间的压力多大,容易造成堆积;
2.每层之间的分层必须明显,评分卡的目的就是为了分成,如果实现不了客群分层或者分成不明显,评分卡的意义减半。
3....你还知道哪些点,欢迎留言分享?
此份文件和涉及到完整得到风控逻辑,会完整给到平台会员,也同时发布至知识星球,如果有兴趣的同学可以上去参阅 ,谢谢。
本平台聚集多位风控行业老司机,加下官微聊一哈...