风控建模（七）：催收评分卡的流程—上（所有评分模型与机器学习模型同样适用）-经管之家官网！

a．数据规整

数据规整，需要结合业务和头脑风暴把业务合适的介绍出来，梳理出来。最后是把数据都汇合成一张宽表。里面包括的就是目标变量Y、时间、许多基础变量和衍生变量组成的宽表。

b.数据清洗

数据清理是对各种脏数据进行对应方式的处理，得到标准、干净的数据，提供给模型使用。

如果数据源系统分散在各个应用系统，系统之间对数据的要求、理解和规格不同，导致对于同一数据对象的描述规格完全不同。

那么当数据来自不同数据源时，则需要统一数据规格，如对变量名称、变量类型、度量单位等进行统一。

通常变量分为数值跟字符，数值变量里还可细分为日期跟纯数值。清洗这三种的手法有些许差别。如字符经常用频率来统计，数值应该用范围来限定数量。

c.衍生变量

衍生变量的方式就比较多种多样，通常的日期跟变量的结合做各种事件切片，一月数据/二月数据/三月数据；

变量的之间的拼接，如教育程度跟婚姻状况的拼接，如本科已婚，博士未婚等

d.缺失值异常值处理

变量缺失值处理是数据处理过程的一个重要环节。通过报表分析，统计字段在表中的缺失情况。

在缺失值处理上，可以结合变量不同的缺失情况、缺失原因以及变量类型，采取相应的缺失值处理策略。针对缺失值处理，通常都有删除法、替换法以及插补法。

e.异常值的处理

造成异常值的情况也多种多样，如系统问题，数据端口的对接传送有问题，亦或是你在清洗的过程中不小心造成的个别错误，都是造成异常值的原因。

基于此，我们一般可以通过做各种分位数的方法检测（一般采取95%分位数去卡极值点），也有三倍标准差等方法。这个知识点比较多，在后续的视频里会把这块当成重点来讲解。

f.数据初步挖掘

某些同学会称为数据探索，其实是同个意思。旨在挖掘有价值的变量。

变量清洗完成，之后得到干净的数据就能对数据进行数据挖掘了。探索的目的是为了初步比较有区分能力的字段。

比如对婚姻情况的分析：

找到这个变量，然后可以看到已婚的占比最大，再接着分析逾期率看看跟频数有没有正相关。

总之我们根据初步分析来找某些前期比较有价值的数据。

数据探索，当然也包括对得到某些重复太高或者缺失太大的变量（缺失超过70%的变量），就考虑剔除这部分变量。

最后你应该可以把所有的变量合作一张大表里，方便你后期分析：

综上，主要是分析不同渠道、不同时间或者是产品之间的差异。

提供一段关于合并报表的代码：

%macro pub_best_num(data,lib,dsor);

proc datasets lib=work;

delete _all_;

run;

proc sql noprint;

drop table ben.total_char;

quit;

%if &i.=1 %then %do;

proc sql noprint;

create table ben.total_char(variable char(50),type char(50),count num,PERCENT num );

quit;

~~~~~~~~~未完待续~~~~~

本文涉及到几个代码，要不要获取下源数据练习下，加下官微聊一下

---

十年职场生涯，这个长期混迹在风控界和科技界，摸爬滚打的大叔，曾经就职于全国最大的固网运营商平台、国内最大的ERP软件公司和一家老牌的互金公司，如果你想了解他，欢迎加入一起学习一起聊！

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP