发帖
雷达卡
AdaBoost（Adaptive Boosting）算法的核心思想是将多个弱分类器组合成一个强分类器。其算法步骤如下：
第一：初始化权重，为每个训练样本分配相等的初始权重；
第二：训练弱分类器，根据当前样本权重训练一个弱分类器，并计算其错误率；
第三：更新权重，增加错分类样本的权重，使后续弱分类器更关注这些样本，减少正确分类样本的权重；
第四：组合分类器，将所有弱分类器的加权结果组合起来，形成最终的强分类器；
最后：通过反复迭代以上步骤，AdaBoost 能够显著提高分类性能。
Adaboost模型案例
- 1、背景
当前有一项关于‘信用卡交易欺诈’的数据科学研究，已整理好数据共为1000条，其包括六项，分别是换设备次数，支付失败次数，换IP次数，换IP国家次数，交易金额和欺诈标签，欺诈标签时，数字1表示欺诈，数字0表示没有欺诈行为，现希望通过Adaboost进行模型构建，并且做一些预测工作，部分数据如下图所示：
- 2、理论
在进行Adaboost模型时，其涉及参数如下表所述：
参数
说明
参数值设置
损失函数
构建模型的算法方式，通常使用默认参数值即可。 其仅针对回归任务时使用。
linear: 使用预测误差的绝对值来衡量误差的大小。
square: 使用预测误差的平方来衡量误差的大小。
exponential: 使用预测误差的指数值来衡量误差的大小。学习器数量
用于构建的树的数量。 默认是50。
学习率
学习率即模型参数更新步长，越小收敛越快，但迭代次数越多。 范围(0.0, 1.0] 默认0.1。
任务类型
包括自动判断，分类和回归任务。
系统会结合Y的不同数字个数自动判断分类或回归任务，当然可自行选择分类或回归任务。
除此之外，与其它的机器学习算法类似，SPSSAU提供训练集比例参数（默认是训练集占0.8，测试集占0.2），数据归一化参数（默认不进行），以及保存预测值（Adaboost时会生成预测类别，但不会生成预测概率），保存训练测试标识（生成一个标题来标识训练集和测试集数据的标识）。
- 3、操作
本例子操作截图如下：
将欺诈标签放入Y框中，其余5个特征项作为自变量X。与此同时，训练集比例默认为0.8，暂不进行数据归一化，当然当前数据也可考虑做标准化处理，因为涉及数据的量纲不同。更多参数设置暂保持为默认值。
- 4、SPSSAU输出结果
SPSSAU共输出5项结果，依次为基本信息汇总，特征权重值，训练集或测试集模型评估结果，测试集结果混淆矩阵，模型汇总表和模型代码，如下说明：
项
说明
基本信息汇总
因变量Y(标签项)的数据分布情况等。
特征权重值
展示各个X（特征）对于模型的贡献力度。
训练集或测试集模型评估结果
分析训练集和测试集数据的模型效果评估，非常重要。
测试集结果混淆矩阵
测试集数据的进一步效果评估，非常重要。分类任务时提供，如果是回归任务则没有该矩阵。
模型汇总表
模型参数及评估汇总表格。
模型代码
模型构建的核心python代码。
上述表格中，基本信息汇总展示出因变量Y（标签项）的分类分布情况，模型评估结果（包括训练集或测试集）用于模型的拟合效果判断，尤其是测试集的拟合效果，以及提供测试集数据的混淆矩阵结果（如果是分类任务则提供，如果是回归任务则无该表格）；模型汇总表格将各类参数值进行汇总，并且在最后附录模型构建的核心代码。
- 5、文字分析
首先针对特征的权重即重要性情况进行说明，如下图：
上图可以看到：交易金额对于是否欺诈行为有着非常重要的作用，明显高于其它几项。接下来针对最重要的模型拟合情况进行说明，如下表格：
上表格中分别针对训练集和测试集，提供四个评估指标，分别是精确率、召回率、f1-scrore、准确率，以及平均指标和样本量指标等，整体来看，模型效果较好，因为无论是训练集还是测试集，F1-score值均高于0.9，其它指标比如精确率或者召回率指标，均接近或明显高于0.9，整体上意味着模型构建较优。
接着进一步查看测试数据的‘混淆矩阵’，即模型预测和事实情况的交叉集合，如下图：
‘混淆矩阵’时，右下三角对角线的值越大越好，其表示预测值和真实值完全一致。上图中显示测试集时，真实值为1（即欺诈）但预测为0（即不欺诈）的数量为20，以及真实为0（即不欺诈）但预测为1（即欺诈）的数量为1，其余均预测正确，仅测试集共有200条，但预测出错为21条，出错率为10.5%。最后SPSSAU输出模型参数信息值，如下表格：
模型汇总表展示模型各项参数设置情况，最后SPSSAU输出使用python中slearn包构建本次Adaboost模型的核心代码如下：
model = AdaBoostClassifier(algorithm='SAMME.R', n_estimators=50, learning_rate=1.0')
model.fit(x_train, y_train)
京公网安备 11010802022788号
