发帖
雷达卡
今天这篇文章介绍下数据标准化，也算是模型里一个很重要的内容。
WOE
先来介绍WOE，是信贷评分模型里经常会用到的一种编码转换方式。
WOE即证据权重，如果大家有评分卡开发经验，一般都会知道这种编码形式，这也是在逻辑回归里比较常用的编码方式。
WOE的计算公式是：
WOE=ln[(违约/总违约)/(正常/总正常)]。
（关于woe还有很多内容，后续再跟大家好好分享这个知识点）
在传统的评分卡开发里，经常将logistic回归模型转化为标准评分卡格式，WOE是对原始自变量的一种编码形式，要对一个变量进行WOE编码，需要首先把这个变量进行分组处理（也叫离散化、分箱）。
WOE编码后变量就有了某种标准化的性质，也就是说，自变量内部的各个取值之间都可以直接进行比较（WOE之间的比较），而不同自变量之间的各种取值也可以通过WOE进行直接的比较。
而且逻辑回归经过特定的转换后，每个变量跟Y（这里的Y是log（p/1-p））之间又可以用线性来表达。而且能将异常值顺带处理了，所以在传统的评分卡建模里，经常需要用woe对变量进行处理。
本篇文章，当然不仅只是提到于对变量进行woe的转换，因为在机器学习里，对变量处理经常使用其他方式的处理方式：标准化处理。
为什么要进行标准化处理：
1. 使不同的特征变量具有相同的尺度，比如影响评分模型数据里，年龄的范围是0-100岁，收入的范围是0-100万+，这个完全不是同个数量级别的，不能同时进入模型；
2. 能够加速权重参数的收敛，浅白点说就是能很快求到最优解，不用绕很多弯。
3. 简而言之：对数据标准化的目的是消除特征之间的差异性
大家主要记住上面三条重要结论就行了，如果需要更深入的了解，请看中间剖析更深入的地方，如果不想看，直接跳过。剖析之后也有资源+视频+代码指导大家练习。
开始部位，就等着你不看(#^.^#)
这一部分涉及的内容比较比较羞涩难懂，如果没有兴趣看，就知道跳过，不影响后面的内容。
其实我这里，是把标准化跟归一化混在一起了，其实如果深究起来，他们还真的是不同的概念。
不过为了方便大家的记忆，快速进入模型领域，我暂且把他们都称为数据标准化，只不过归一化只是把值锁定在0到1的区间里而已，下面的文字里，帮大家理清楚两者的区别。
归一化跟标准化的计算方法：
归一化跟标准化
不同：
归一化：缩放仅仅跟最大和最小值的差别有关
标准化：缩放和每个点都有关系，他的值主要是通过方差体现出来的
所以两者是数据的缩放不同，从输出的范围来看，归一化理论上输出值范围不会受到范围的限制，不过其值还是会在特定狭窄的范围内。
相同：
从上图的推导来分析
1. 归一化和标准化都是一种线性变换
2. 归一化跟标准化都不会改变原始数据的数值排序
什么时候用归一化，什么时候用标准化？
如果对输出结果必须限定在0跟1之间，用归一化
如果数据存在异常值比较少，用归一化
如果存在比较多的异常点，用标准化
~到此为止~
为了帮助大家理解，来点代码实操会更好点：
from sklearn import preprocessing
a = np.array([[21, 3.5, 4.6],
[-150, 6, -6],
[150, 52, 100]], dtype=np.float64)
print(a)
print(preprocessing.scale(a))
在python里运行以上代码，先看下用标准化处理后，数据有什么不同：
可以看到用的preprocessing处理数据后，之前跨度很大的数据都会压缩一定的范围内。
这里你需要用到python去练习这段代码，如果你还没用过python，请用我下面的链接下载。当然你也可以上去官网下载。为了方便广大同学，已经上传到网盘里。
练习前大家需要进行工具的下载使用，推荐anaconda：
链接：
https://pan.baidu.com/s/1e5pfZM72K_T4E32hqR6q9A
提取码：
gwyx
下面给个简易模型来进行训练，代码如下：
from __future__ import print_function
from sklearn import preprocessing
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.datasets.samples_generator import make_classification
from sklearn.svm import SVC
import matplotlib.pyplot as plt
X,y=make_classification(n_samples=300,n_features=2 , n_redundant=0, n_informative=2,
random_state=22, n_clusters_per_class=1, scale=100)
plt.scatter(X[:, 0], X[:, 1], c=y)
plt.show()
X = preprocessing.scale(X)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.3)
clf = SVC()
clf.fit(X_train, y_train)
print(clf.score(X_test, y_test))
最后大家可以参考视频，好好做下练习：
观测标准化后的结果为0.93，没有标准化的结果为0.51，所以经过标准化处理过后得分还是提升了0.4个点，是一个非常有效的处理方式。
相关的代码解释已经放到知识星球里，有兴趣的可以去观看学习，后续可留意更多相关的视频讲解操作。谢谢！
十年职场老司机，从事数据工作，长期混迹在风控界和科技界，如果想了解他，欢迎找他聊一下 ！
京公网安备 11010802022788号
