数据分析师教你防骗子_数据分析师-经管之家官网！

扫码加入金融交流群

数据分析师教你防骗子_数据分析师

现在再新闻里总能听到某某被骗了，某某被骗走多少钱等等。其实想要防骗你可以站在一名骗子的角度上想问题。其实骗子所使用的的伎俩在数据分析师眼里，并不是什么神奇的事情。

想要骗到你，骗子最需要以下三类数据

想要成为一个成功率高的大骗子，首先必须获得客户数据，无论这数据是通过广撒 “木马”搜集来的，还是在地下数据交易市场弄来的，在这各种类别的数据中，有三类是骗子们比较关注的：

一是身份类信息，最常见的是姓名与身份证号的表格，这种信息出货多，泄露渠道多样，市场上供大于求。还有些扩充了性别、年龄、工作单位、职级、年收入等，通常来源于收入调查与黑客拖库数据。

二是金融类信息，姓名、银行卡号、信用卡卡号、开卡行、手机、地址、信用额度等数据，此数据大部分来源于制卡邮寄等环节的信息泄露，制卡工厂、快递公司、邮局、物流点都有可能成为泄露点，另一小部分是内鬼数据，市场供不应求、价值极高。

三是金融账号密码，主要是各大银行登录类的，通常是黑客数据，来源于钓鱼、撞库等黑客行为，通过此类数据往往能获得更详细的金融数据，如详细交易流水。

利用特征选择进行“精准欺诈”

一旦骗子拿到了上述这些数据，接下来他就要筛选出易骗人群进行“对号入座”。只要运用大数据的思维方式， “选择易骗人群”这个需求就变成了一个有监督的模型学习问题。而一般针对监督模型的特征选择有如下五种方法：

利用相关性对变量进行排序

自变量x1,x2,..xn，目标变量y，变量xi和y的相关性越高，则xi所包含的用于预测y的信息量越大，从而其排序越高。可以用Pearson相关系数来衡量两个变量的线性相关性：

利用Pearson相关系数来做变量排序有以下问题：

(1)只考虑单一变量的重要性，很多变量单独存在时没有用，但和其他变量结合在一起后则会起到显著作用;

(2)依赖于自变量和目标变量之间的线性假设。

(3)适用于回归问题，即，目标变量y是连续的，对于分类问题应用起来需要谨慎。

单变量分类器

如1里面提到的，对于分类问题，利用相关性对变量进行排序可能会出现问题。一个简单的将上述思路拓展到分类问题的方法是，构造一个单变量分类器，然后依据单个变量对y的预测能力进行排序。单变量的预测能力可以通过IV或者AUC等各种指标进行评估。除此之外，对于分类变量卡方检验也是常见的筛选特征的方法，基本思想是假设两个变量独立，利用列联表的数据计算实际频数与理论频数的差异，如有显著差异则拒绝原假设认为变量间是有相关关系，反之接受原假设。

信息增益

信息增益是一种有效的特征选择方法，它的公式：

对于公式的解释为：原本分类的信息熵减去加入特征后分类的条件熵，两者的差值就是这个特征给分类带来的“净化”程度，如果信息增益越大，该特征对于分类来说就越有价值。其中熵表示不确定程度，分布越均匀，越不确定，熵越大。

逐步回归法

上述的三种方法都是对单变量进行排序，不能考虑这个变量在和其他变量结合在一起时的作用。为了解决这个问题，可以用forward selection、backward selection和stepwise selection的方法。

forward selection是从截距项开始依次按显著性水平将自变量一个一个地加入模型，直到没有满足显著性水平的变量可以加入为止。

backward selection一开始所有变量都在模型中，将不符合显著性水平的变量依次剔除，值得一提的是存在于某些情况多个变量各自对目标变量不显著，但组合起来能显著的提高模型的表现，这种情况在采用forward selection的情况下变量是进入不了模型的，而采用backwardselection可以解决这个问题。

如图1(a)所示X2变量(纵轴)能区分分类1、0，X1变量(横轴)完全是不显著的，如图1(b)将X2变量替换成X3变量，两个变量组合的区分能力要好于之前一个变量，完全不显著的变量可能与其他变量组合显著提高区分能力。

stepwise selection，依次按显著性水平将变量一个一个加入，同时对已加入的变量做显著性检验，如果原来变量因为新的变量加入而变得不再显著，那就将它剔除模型。stepwise的优势在于能保证方程中的变量全部显著，而方程外无显著性的变量。

Lasso回归

为进一步消除变量间共线性的问题，可以通过Lasso回归，其本质是通过在损失函数中加入惩罚函数项，在增加细微偏差的同时换取更小的预测方差，并使得模型变量更为精炼、解释性更强。

其中，使用惩罚约束来筛选拟合模型中的系数，当t值小到一定程度，估计参数的估值是0，这样就起到了变量筛选的作用。当t不断增大，选入模型的变量会增多，当t增大到某个值时所有变量都会进入，这是就相当于传统方法的参数估计。

如图3，L1正规化的约束条件是图中坐标中心方形区域，而传统方法偏差最小的估计是以第一象限椭圆区域为中心向外扩散，故最优解是在两者的临界点，即对应方形与椭圆形的切点，此时对应的q1 为0，起到了变量筛选的作用。

大数据如何筛选出信用卡诈骗易骗人群

我们再以信用卡提额诈骗举例。就目前披露的数据显示，某一银行在短短的3个月时间内接到被骗客户投诉数突增6000多起，占到欺诈案件总数的48%以上。为何看似老套的欺诈手段，为什么还有这么多人上当受骗呢?

前面我们提到，特征选择剔除不显著的变量，能有效的提高模型的预测能力，降低模型的复杂度从而减少更多的预测方差，增强模型的可解释性。我们以信用卡申请人的一组信息为样本，模拟一下骗子的筛选过程。

见图4，经过对客户信息进行“特征选择”，可以看出“额度”、“年龄”、“发卡渠道”、“性别”、“婚姻状况”是最具有信息价值的变量，可以从这五个维度对名单进行筛选，从而进行“精准诈骗”。

那么，从选出的五个维度的特征来看，什么样的人最容易上当呢?通过网络申请数据，我们得到图5的结果，其中横坐标表示被欺骗的容易程度，取值越大，越容易被欺骗。从图可以看出：

1、信用卡额度较低但对资金需求量大的年轻人(18-25岁)，提额对其诱惑较大，因此容易成为目标人群;

2、通过网络发卡的渠道可能更容易遇到信息泄漏;

3、单身的男性一般有易轻信、嫌麻烦、求助资源少的情况，容易被骗子利用。

老话说，“知己知彼，才能百战不殆”。只有深入的了解骗子们所使用的方法，才能更好的做好反欺诈工作，有针对性地去做一些数据上的深挖。另一方面，电话欺诈的根源仍然是数据泄露的问题，相关企业要加强信息安全方面的投入建设，咱们每个个人更要树立起对隐私数据保护的安全意识，为共同维护安全的信息生态圈而努力。

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP