使用LVQ+PSO简化信用评分规则

无论何时获得规则，都会从输入数据集中删除该规则所涵盖的示例。该过程将继续，直到覆盖所有示例，或者直到每个类示例中未覆盖的示例数量低于各自的最小已建立支持，或者直到达到获取规则的最大尝试次数。需要注意的是，由于示例一旦被规则覆盖，就会从输入数据集中删除，因此它们构成了一种分类。这就是说，为了对新示例进行分类，必须按照获得规则的顺序应用规则，并且将根据第一条规则的结果的相应类别对示例进行分类，第一条规则的前件验证了所检查的示例。在开始获取规则的迭代过程之前，该方法首先使用第2节中描述的全套示例和算法对LVQ神经网络进行监督训练。这一步骤的目标是确定最有希望的空间搜索领域。由于神经网络仅对数字数据进行操作，因此标称属性通过使用与标称属性的不同选项一样多的二进制数字的虚拟编码来表示。此外，在开始训练之前，每个数值属性在区间[0，1]中线性缩放。使用的相似性度量是欧几里德距离。一旦训练完成，每个质心将包含它所代表的示例的大致平均值。为了得到每一条规则，首先确定其对应的结果类。为了获得具有高支持度的规则，该方法分析具有更多未覆盖示例的类。

规则必须满足的最小支持度与获得时该类的未覆盖示例数量成比例。换言之，随着迭代次数的增加，每个类所需的最小支持都会减少，因为相应类的示例已被涵盖。因此，预计第一条规则比最后一条规则有更多的支持。一旦选择了类，结果将由规则确定。为了获得先行条件，将使用第3节中描述的算法对群体进行优化，并使用所有质心的信息进行初始化，这些质心能够代表所选类别及其近邻中的最少数量的示例。质心信息用于确定向量veloc2，如第3节所述。如果这是一个标称属性，则质心信息将线性缩放到间隔[lowerbound2j，upperbound2j]。但是，如果是数字属性，则要缩放的值为（1-1.5*偏差j），偏差j是由质心表示的示例偏差的第j维。在这两种情况下，都打算使用0到1之间的值6进行操作，该值测量属性（如果是数字）或属性值（如果是标称）在构建规则先行项时的参与程度。对于标称属性，很明显，平均值表示质心表示的与相同值匹配的元素的比率。但是，当它是数字时，该比率不存在于质心中，而是示例的偏差（考虑到特定尺寸）。如果某个尺寸的偏差为零，则所有示例的质心值都一致，但如果它太大，则应理解为它不能代表该组。

因此，将其列入规则的前提是不适当的。如果偏差较大，使用（1-1.5*偏差j），速度值veloc2（sigmoid函数的参数）将较低，并且使用属性的概率将降低。在所有情况下，速度veloc1在[下限1j，j上限1j]中随机初始化。图1显示了该方法的伪代码。使用所有训练示例训练LVQ网络计算每个类的最小支持度，同时（未达到最终标准）选择具有最大数量未覆盖示例的类构建减少的个体群体，根据质心，根据第4节，使用PSE进化种群，获得最佳种群规则If（该规则满足所需的支持度和置信度），然后将该规则添加到规则集，视为涵盖了前一规则正确分类的示例，重新计算该类的最小支持度End If End，而图1为所提方法的伪代码。数据和结果我们在厄瓜多尔一家储蓄和信贷机构的真实消费者信贷记录中测试了我们的方法，该机构慷慨地提供了数据。数据包括2011年1月至2015年8月期间的信贷业务，具有以下属性：状态；申请日期；树枝省份请求的金额；授权金额；信用证的目的；申请人的现金、银行账户、投资、其他资产、负债和工资；信息验证日期；授权日期；批准/拒绝日期；申请人合伙人的现金、银行账户、投资、其他资产、负债和工资。如果申请人是一家小型企业，则要求提供的数据是该企业的收入和费用。“status”变量对应于信贷的情况。

可以拒绝或接受申请。在被接受的情况下，状态分为按时偿还的信贷和延迟偿还的信贷。然后，根据《信贷程序手册》，将逾期贷款分为逾期90天以下的贷款和逾期90天以上的贷款（提起法律诉讼）。7使用上述数据，我们比较了拟议方法LVQ+PSO与Quinlan（1993）定义的C4.5方法和Witten等人（2011）定义的部分方法的性能。两种可选方法都允许使用分类规则。C4.5是一棵修剪过的树，其分支相互排斥，允许分类示例。第部分给出了一个与所提出的分类方法生成的规则等效的规则列表，但具有确定性。部分操作基于部分树的构造。每棵树的创建方式与C4.5中建议的创建方式相似，但在此过程中，会计算每个分支的构造误差。这些错误允许选择最合适的属性组合。有关该方法的详细说明，请参见第【1】部分。我们对每种方法进行了10次独立运行。对于LVQ+PSO，我们使用了一个由30个神经元组成的LVQ网络，这些神经元按所用示例的比例分布在类之间。对于修剪后的树，采用部分法，置信因子为0.3。对于其他参数，使用了默认值。表1总结了应用这三种方法获得的结果。在每种情况下，不仅考虑规则集覆盖率的准确性，还考虑所获得模型的“透明度”。这种“透明度”反映在获得的规则的平均数量和用于形成先行词的术语的平均数量上。

我们想强调的是，正如我们在导言中所说，所提出的方法很简单。这种简单性为金融机构的总经理提供了“好客户”的清晰轮廓。这种情况不仅可以降低违约风险，还可以通过营销活动帮助公司在未来找到合适的客户。表1：。建议和基准方法的预测结果MethodPredictionDenyaAcceptType I errorPrecision#RulesantAcceptentC4.5Den1422.60244.180.1181.05114.168.669.700.19Accept181.61398.61PartDen1407.15238.580.1180.6141.971.854.710.11Accept197.04404.23LvqPSOVarDeny1450.26314.730.1479.203.120.092.540.17Accept152.75329.26在之前的工作中，Lanzarini等人（2015a）使用公共数据库表明，LVQ+PSO实现了比PART更高的精度，但与C4.5方法实现的精度相当。在我们的例子中，尽管我们的方法的精度略低于基准模型，但规则的数量却显著减少。事实上，我们的方法需要的规则不到C4.5规则的3%，部分规则的7.5%。与基准模型相比，我们的方法中的先行条件也更短。因此，我们认为我们的模型适用于信用评分。事实上，决策者更容易理解。考虑到规则数量和精度/类型I错误之间的权衡，我们认为我们的模型是可以接受的，因为它为管理者提供了可理解的信息，以便在未来瞄准正确的潜在客户。8.5。结论：我们引入了一种基于二进制粒子群优化算法的竞争信用评分方法，该算法的种群由先前训练的LVQ神经网络的质心信息初始化。

这种双重处理的优点是，它允许处理数字和名义属性，这是信贷申请中的常见情况。我们在厄瓜多尔一家重要零售信贷机构的实际信贷业务中测试了我们的模型。结果表明，LVQ+PSO方法得到的模型更简单。它使用大约7.5%的PART生成的规则和3%的C4.5所需的规则，前提条件很少，准确性稍差。尽管所进行的测试未显示结果与LVQ网络初始大小之间存在依赖关系，但认为最好使用最小大小的LVQ网络和可变总体PSO版本重复测量，以充分探索未来的解决方案空间。最后，我们想强调的是，我们的方法的目标是实现一个直观的信用评分模型，其准确性与流行的基准模型相当。我们的结果表明，简化决策规则可以提高信用评分的透明度，从而提高金融机构的声誉。参考文献Abid，L.、Masmoudi，A.和Zouari Ghorbel，S.，2016年。消费贷款支付违约预测模型：Logistic回归和判别分析在突尼斯一家商业银行的应用。《知识经济杂志》，第1-15页。提供地点：http://dx.doi.org/10.1007/s13132-016-0382-8.Agrawal，R.，Srikant，R.，1994年。大型数据库中关联规则挖掘的快速算法。摘自：《第20届超大数据库国际会议记录》，VLDB’94，第487–499页。摩根·考夫曼出版公司，旧金山。奥特曼，E.I.，1968年。财务比率、判别分析与企业破产预测。《金融杂志》，23（4），第589-609页。

提供地点：http://doi.wiley.com/10.1111/j.1540-6261.1968.tb00843.x.Chen，N.，Ribeiro，B.&Chen，A.，2016年。金融信用风险评估：最近的回顾。《人工智能评论》，45（1），第1-23页。提供地点：http://dx.doi.org/10.1007/s10462-015-9434-x.FitzPatrick，P.J.，（1932年）。比较成功工业企业与失败工业企业的比率。《注册会计师》，1998年10月、11月、12月，Frank，E.，Witten，I.H。无需全局优化即可生成准确的规则集。摘自：第十五届机器学习国际会议记录，ICML’98。，第144-151页。摩根·考夫曼出版公司，旧金山。9 Freitas，A.A.，2003年。数据挖掘和知识发现的进化算法综述。A.Ghosh&S.Tsutsui主编，《进化计算的进展：理论与应用》。柏林，海德堡：施普林格柏林海德堡，第819-845页。提供地点：http://dx.doi.org/10.1007/978-3-642-18965-4_33.Hand，D.J.，Henley，W.E.，1997年。消费者信用评分中的统计分类方法：综述。皇家统计学会杂志。A辑（社会统计），160（3），第523-541页。提供地点：http://www.jstor.org/stable/2983268.Hernández Orallo，J.，Ramírez Quintana，M.J.，Ferri Ramírez，C.，2004年。Datos矿工简介。1ra Edición.Pearson。Hung，C.和Huang，L.，2010年。从自组织映射的最优簇中提取规则。在第二届计算机建模与仿真国际会议上。ICCMS’10。第382-386页。Kennedy，J.&Eberhart，R.，1995年。粒子群优化。年，IEEE神经网络国际会议论文集。1942-1948页第4卷。Kennedy，J.和Eberhart，R.C.，1997年。粒子群算法的离散二进制版本。

IEEE系统、城域网和控制论国际会议，第5期，第4104-4108页。Kohonen，T.，1990年。自组织映射。IEEE会议录，78（9），第1464-1480页。Kohonen，T.，Schroeder，M.R.，Huang，T.S.（编辑），2001年。自组织地图，第三版。Springer Verlag，纽约。Lanzarini，L.、López，J.、Maulini，J.A.、De Giusti，A.，2011年。一种新的具有速度控制的二进制粒子群优化算法。在Y.Tan等人主编的《群体智能进展：第二届国际会议》，ICSI 2011，中国重庆，2011年6月12日至15日，会议记录，第一部分。柏林，海德堡：施普林格-柏林-海德堡，第111-119页。提供地点：http://dx.doi.org/10.1007/978-3-642-21515-5_14.Lanzarini，L.Villa Monte，A.，Bariviera，A.F.，Jimbo Santana，P.，2015a。使用LVQ+PSO获取分类规则：信用风险的应用。J.Gil Aluja等人编辑的《社会科学中处理不确定性的科学方法》。智能系统和计算的进展。查姆：斯普林格国际出版社，第383-391页。提供地点：http://link.springer.com/10.1007/978-3-319-19704-3.10Lanzarini，L.，Villa Monte，A.，Ronchetti，F.，2015b。SOM+PSO。一种获取分类规则的新方法。《计算机科学与技术杂志》（JCS&T），15（1），第15-22页。Lessmann，S.、Baesens，B.、Seow，H-S.、Thomas，L.C.，2015年。对信用评分的最新分类算法进行基准测试：研究更新。《欧洲运筹学杂志》，247（1），第124-136页。提供地点：http://www.sciencedirect.com/science/article/pii/S0377221715004208.昆兰，J.R.，1993年。C4.5：机器学习计划，摩根·考夫曼出版社。文图里尼，G.，1993年。SIA：一种有监督的归纳算法，通过遗传搜索学习基于属性的概念。在P.B.Braddil，ed。

机器学习：ECML-93：欧洲机器学习会议，1993年4月5日至7日，奥地利维也纳。柏林，海德堡：施普林格柏林海德堡，第280-296页。提供地点：http://dx.doi.org/10.1007/3-540-56602-3_142.Wang，Z.，Sun，X.&Zhang，D.，2007年。一种基于粒子群算法的分类规则挖掘算法。在D-S.Huang、L.Heutte和M.Loog主编的《高级智能计算理论和应用》。《人工智能方面：第三届智能计算国际会议》，ICIC 2007，中国青岛，2007年8月21日至24日。诉讼程序。柏林，海德堡：施普林格·柏林·海德堡，第377-384页。提供地点：http://dx.doi.org/10.1007/978-3-540-74205-0_42.Witten，I.H.、Frank，E.和Hall，M.A.，2011年。数据挖掘实用机器学习工具和技术3。编辑，加利福尼亚州旧金山：摩根·考夫曼出版公司，洛杉矶扎德，1965年。模糊集。《信息与控制》，8（3），第338–353页。提供地点：http://linkinghub.elsevier.com/retrieve/pii/S001999586590241X.