【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

元学习（Meta Learning）

一、考试范围知识框架

• 元学习原理
• 装袋法（Bagging）
• 提升法（Boosting）
• 随机森林（Random Forest）
• 堆栈法（Stacking）

二、正文内容

1. 元学习原理

关键词：元学习、系综方法、多分类器融合、组合学习、分类器集成、基学习器

什么是元学习？
元学习（Meta Learning），又称作系综方法、多分类器融合、组合学习或分类器集成（Ensemble），是一种通过整合多个学习器来提升整体模型性能的技术。

核心思想：不存在一种适用于所有场景的完美学习算法。因此，与其依赖单一模型，不如结合多个模型的优势。

通俗理解：正如俗语所说，“三个臭皮匠，顶个诸葛亮”。多个能力各异的学习器协同工作，往往能取得优于任何单个模型的效果。不同模型可能在不同数据子集或特征上表现优异，联合决策可实现互补。

重要区别：该方法并非简单地将同一数据集输入多个分类器进行重复训练，而是关注如何有效融合多个异构学习器（即基学习器），以获得更优的泛化能力。

多重解释原理
元学习基于“多重解释原理”：当多个理论均能合理解释观测数据时，应保留这些理论而非仅选择其一。

含义说明：若多个模型都能较好拟合数据，不应轻易舍弃任何一个，而应通过集成策略综合它们的预测结果，从而提高最终判断的准确性。

举例说明：
设想三位医生对同一位病人进行诊断：
- 医生A（决策树）：诊断为“感冒”，置信度80%
- 医生B（神经网络）：诊断为“感冒”，置信度75%
- 医生C（SVM）：诊断为“过敏”，置信度70%

尽管医生C的结论不同，但其意见仍具参考价值。综合三人判断，可能得出比任一单独诊断更可靠的结论。

基学习器的差异性
关键原则是：基学习器之间的差异性（diversity）越大，集成后的整体效果通常越好。

为何需要差异性？
- 若所有基学习器完全相同，则它们容易在相同样本上犯错，集成无法带来性能提升；如同多人投票却观点一致，等效于一人决策。
- 若基学习器具有多样性，则错误分布更分散，一个模型的误判可能被其他模型纠正；类似于多领域专家协作，优势互补。

如何增强差异性？
- 使用不同的学习算法：如决策树、神经网络、支持向量机（SVM）等
- 使用不同的训练数据子集：例如通过有放回采样（Bagging）
- 使用不同的输入特征：如随机选取部分特征进行建模（Random Forest）
- 设置不同的超参数：如学习率、网络层数、树深度等

示例对比：

场景1：低差异性
- 基学习器1：决策树（深度=5）
- 基学习器2：决策树（深度=5）
- 基学习器3：决策树（深度=5）
→ 模型高度相似，集成效果有限

场景2：高差异性
- 基学习器1：决策树
- 基学习器2：神经网络
- 基学习器3：SVM
→ 模型结构和机制不同，集成后效果更佳

元学习的优势

1. 提高准确性：通过多数投票或加权平均等方式整合预测结果，减少个体偏差，通常优于最优单模型。
2. 提高鲁棒性：个别学习器出现异常或受噪声干扰时，其余模型可起到纠正作用，增强系统稳定性。
3. 降低过拟合风险：单个模型可能过度适应训练数据，而集成通过对多个模型输出取平均，削弱了这种倾向。
4. 处理复杂问题：不同学习器擅长捕捉不同类型的数据模式，集成可综合利用各模型优势应对复杂任务。

实际应用场景：图像识别竞赛（如ImageNet）、推荐系统、金融风控模型、医疗辅助诊断系统等。

2. 装袋法（Bagging）

关键词：装袋法、叠加归纳法、有放回采样、相同权值、投票

什么是Bagging？
Bagging（Bootstrap Aggregating），中文称作“装袋法”或“叠加归纳法”，由Breiman于1996年提出。

核心思想：通过对原始训练集进行有放回采样生成多个子训练集，分别训练多个基学习器，最后通过投票（分类）或平均（回归）方式得到最终预测结果。

名称来源解析：
- “Bootstrap”指统计学中的自助采样法，即从原数据中有放回地抽取样本；
- “Aggregating”表示聚合操作，如投票或求均值。

Bagging的模型生成过程

算法步骤：

1. 设原始训练集中包含 n 个样本。
2. 对于第 t 次迭代（共进行多次循环）：
   • 采样：从原始数据中**有放回地抽取** n 个样本构成新训练集；
     • 允许同一样本被多次选中
     • 每个样本被选中的概率相等
     • 每次生成的训练集大约包含原始数据的63.2%，其余为重复样本
   • 训练：将选定的学习算法应用于当前采样得到的数据集，训练出一个基学习器
   • 保存：保留该轮训练所得模型，供后续集成使用

示例说明：
假设原始训练集包含1000个样本，计划构建5个基学习器：
- 训练集1：通过有放回采样生成，可能包含某些样本多次，同时缺失部分原始样本
- 同理生成训练集2至训练集5，各自独立采样并训练对应模型

[此处为图片1]

3. 提升法（Boosting）

关键词：Boosting、迭代训练、权重调整、弱学习器、强学习器

什么是Boosting？
Boosting是一类通过**迭代方式**训练多个弱学习器，并将其组合成一个强学习器的集成方法。与Bagging并列，属于主流集成学习范式之一。

核心思想：每一轮训练都重点关注之前模型预测错误的样本，逐步提升整体性能。后期模型会根据前期模型的表现调整样本权重或学习目标。

Boosting的模型生成过程

1. 初始化所有训练样本的权重，通常设为相等。
2. 对于每一轮迭代 t：
   • 基于当前样本权重训练一个弱学习器
   • 评估该学习器的误差率
   • 根据误差率计算其在最终集成中的权重 —— 误差越小，影响力越大
   • 更新样本权重：增加被错误分类样本的权重，使其在下一轮更受重视
3. 重复上述过程直到达到预设轮数或收敛条件。
4. 最终预测结果由所有弱学习器加权投票决定。

Boosting的分类过程
对于新的输入样本，各弱学习器分别做出预测，然后根据其对应的权重进行加权汇总：

• 分类任务：采用加权多数投票
• 回归任务：采用加权平均

Boosting的特点

• 串行训练：各模型依次生成，后一个依赖前一个的结果
• 关注难例：不断调整权重，使后续模型聚焦于难以分类的样本
• 弱学习器组合成强学习器：即使每个基础模型都很简单（如决策桩），也能形成高性能集成

Boosting的优势

1. 高精度：通常在多种任务中表现优异，尤其适合处理复杂非线性关系。
2. 灵活性强：可与多种基学习器结合使用，常见搭配为决策树。
3. 偏差降低明显：通过持续修正错误，显著降低模型偏差。

Boosting的缺点

• 对噪声敏感：异常样本因持续被错误分类而权重不断增加，可能导致过拟合。
• 训练速度慢：由于串行结构，无法并行化处理，耗时较长。
• 调参复杂：涉及学习率、迭代次数、树深度等多个参数，需精细调节。

AdaBoost
AdaBoost（Adaptive Boosting）是最经典的Boosting算法之一，由Freund和Schapire提出。

其特点在于自适应地调整样本权重和模型权重，使得每一次迭代都能朝着减少总体误差的方向优化。它奠定了后续GBDT、XGBoost等先进算法的基础。

[此处为图片2]

4. 随机森林（Random Forest）

关键词：随机森林、双重随机性、Bagging扩展、特征随机选择

什么是随机森林？
随机森林是一种基于决策树的集成学习方法，本质上是Bagging框架与特征随机选择机制的结合体。

随机森林的算法流程

1. 设定要生成的决策树数量 T。
2. 对于每一棵树 t = 1, 2, ..., T：
   • 从原始训练集中进行有放回采样，构建自助样本集
   • 在每次节点分裂时，从全部特征中**随机选取一部分特征**作为候选分裂变量
   • 基于所选特征，使用信息增益、基尼系数等标准选择最佳分割点
   • 递归构建决策树，通常不限定剪枝（依赖集成本身抑制过拟合）
3. 所有树构建完成后，进行集成预测：
   • 分类任务：各树投票决定类别
   • 回归任务：各树输出取平均值

双重随机性
这是随机森林的核心创新点，体现在两个层面：

• 样本随机性：每棵树使用不同的自助采样数据集（来自Bagging）
• 特征随机性：每次分裂仅考虑随机选取的特征子集（如总数的√d 或 log d）

这种双重扰动极大增强了基学习器之间的差异性，有效防止了模型趋同，提升了整体泛化能力。

随机森林的特点

• 高度并行：各决策树相互独立，易于分布式实现
• 抗过拟合能力强：得益于随机性和集成机制
• 无需交叉验证即可估计泛化误差：可通过袋外误差（Out-of-Bag Error）直接评估
• 可评估特征重要性：通过统计某特征在各树中用于分裂的频率及带来的纯度提升

随机森林的优势

1. 准确性高：在大多数分类与回归任务中表现稳健
2. 鲁棒性强：对缺失值、异常值和噪声具有一定容忍度
3. 不易过拟合：即使使用深树也较少出现严重过拟合
4. 可解释性相对较好：提供特征重要性排序
5. 适用广泛：适用于高维、非线性、无先验假设的数据

随机森林的关键参数

• n_estimators：森林中树的数量，越多越稳定但计算成本上升
• max_features：每次分裂时考虑的最大特征数，影响多样性
• min_samples_split：节点分裂所需的最小样本数
• max_depth：树的最大深度，控制模型复杂度
• bootstrap：是否启用有放回采样

[此处为图片3]

5. 堆栈法（Stacking）

关键词：Stacking、元学习器、二级模型、模型融合、跨层集成

什么是Stacking？
Stacking（堆叠法）是一种高级集成技术，通过引入“元学习器”（meta-learner）来学习如何最优地组合多个基学习器的输出。

与Bagging/Boosting的区别：
不同于简单的平均或投票机制，Stacking利用另一个机器学习模型来动态学习各基模型的权重分配，更具灵活性和表达能力。

Stacking的算法流程

1. 准备多个类型不同的基学习器（如SVM、KNN、决策树、神经网络等）
2. 使用交叉验证的方式获取每个基学习器在验证集上的预测输出（避免过拟合）
3. 将这些预测结果作为新的特征输入到第二层模型（即元学习器）中
4. 元学习器在此基础上训练，学会如何加权或组合这些初级预测
5. 最终预测时，先由各基学习器输出结果，再由元学习器整合得出最终结论

Stacking的特点

• 两层结构：第一层为基模型，第二层为元模型
• 非线性融合：元学习器可以是非线性模型（如神经网络），实现复杂的组合逻辑
• 高度灵活：可根据任务选择不同的元学习器结构
• 训练较复杂：需分阶段训练，且要注意防止泄露

Stacking的变体

• Blending：使用留出集（hold-out set）而非交叉验证生成第二层输入，结构更简单但利用率较低
• Multi-level Stacking：构建三层甚至更多层级的集成体系，进一步挖掘模型潜力
• Heterogeneous Stacking：使用完全不同类型的基学习器，增强多样性

Stacking的优势

1. 潜力最高：理论上能够逼近最优组合方式，常在竞赛中取得顶尖成绩
2. 可融合异构模型：允许将完全不同的算法结果统一整合
3. 自动化权重学习：无需手动设定各模型权重，由元学习器自动优化

Stacking的缺点

• 结构复杂：设计和调试难度大
• 易发生过拟合：尤其是当元学习器过于复杂或数据量不足时
• 训练耗时：需训练多个模型并分阶段进行
• 可解释性差：最终结果由多层模型共同决定，难以追溯原因

[此处为图片4]

从原始的1000个样本中进行有放回抽样，生成一个包含1000个样本的训练集（可能含有重复样本）：

• 训练集1：基于上述方式采样得到
• 训练集2：重新有放回采样，确保与训练集1不同
• 训练集3：再次独立采样，与前两个训练集均不相同
• 训练集4：同理，独立生成的第四个训练集
• 训练集5：第五个独立采样的训练集

每个训练集分别用于训练一个基学习器（例如决策树），最终获得5个不同的模型。

[此处为图片1]

Bagging 的分类流程

当面对一个新的待分类实例时，执行以下步骤：

1. 预测阶段：使用这 t 个已训练好的模型，各自对实例进行类别预测。
2. 投票阶段：采用多数投票机制，选择被预测次数最多的类别作为最终输出结果。

示例说明：

假设五个基学习器对某一样本的预测如下：

• 模型1：预测为“猫”
• 模型2：预测为“猫”
• 模型3：预测为“狗”
• 模型4：预测为“猫”
• 模型5：预测为“猫”

统计结果：“猫”出现4次，“狗”出现1次 → 最终分类结果为“猫”。

Bagging 的核心特性

• 实例扰动：通过有放回采样构建不同的训练子集，使各基学习器在略有差异的数据上训练，从而增强模型多样性。
• 等权重投票：所有基学习器在集成中具有相同的投票权重，采用简单多数原则决定最终结果。
• 并行化训练：各个基学习器之间相互独立，可同时训练，提升整体效率，适用于大规模数据处理场景。

Bagging 的优势分析

• 降低方差：单一模型容易因训练数据的小幅变动而产生较大波动（高方差）。通过多个模型平均预测结果，有效减小方差，提高泛化性能。
• 缓解过拟合：每个基学习器仅接触部分样本，难以记住全部数据模式，组合后进一步降低了过拟合的风险。
• 实现简便且高效：无需修改底层学习算法，结构清晰，易于部署，通常能显著提升模型表现。

适用与不适用场景

适合使用 Bagging 的情况包括：

• 基学习器本身易发生过拟合（如深度决策树）
• 训练样本数量充足
• 需要利用并行计算加速训练过程

不太适合的场景有：

• 基学习器已经非常稳定（如k近邻算法）
• 训练数据量极少
• 单个模型训练耗时极长（因需训练多个模型）

典型应用实例

• 随机森林（结合了Bagging、决策树与特征随机选择）
• 图像识别任务中的模型集成
• 推荐系统中的多模型融合策略

3. 提升法（Boosting）详解

关键词：提升法、级联归纳法、AdaBoost、权重调整、困难样本

什么是 Boosting？

Boosting，又称“提升法”或“级联归纳法”，最早由 Freund 在1996年提出。其核心理念是通过顺序训练一系列弱学习器，并让后续模型重点关注之前模型分类错误的样本，逐步提升整体性能。

[此处为图片2]

与 Bagging 的主要区别

• 训练方式：Bagging 并行训练多个模型；而 Boosting 是顺序训练，后一个模型依赖前一个的结果。
• 模型权重：Bagging 中所有模型权重相等；Boosting 根据模型表现分配不同权重，表现越好权重越高。

形象类比：

• Bagging 类似于多位专家独立评审后投票决策；
• Boosting 则像一位接一位的专家不断修正前任的错误，聚焦难点问题。

Boosting 的模型构建流程

1. 初始化阶段：为每个训练样本赋予相同的初始权重 \( w_i = 1/n \)，其中 n 为总样本数。
2. 循环迭代 t 次：
   • a. 训练基学习器：在加权后的数据集上训练模型，权重高的样本对训练影响更大。
   • b. 计算误差率：评估当前模型在加权数据上的分类误差 \( e_t \)。
   • c. 判断是否终止：若 \( e_t = 0 \)（完美分类）或 \( e_t \geq 0.5 \)（劣于随机猜测），则停止建模。
   • d. 更新样本权重：
     • 正确分类的样本：权重乘以因子 \( e_t / (1 - e_t) \)，使其相对降低；
     • 错误分类的样本：权重保持不变，因而相对升高。
   • e. 归一化处理：将所有样本权重重新调整，使其总和为1。

关键理解：每次迭代后，那些被错分的“困难样本”会获得更高的关注度，促使下一个模型集中精力解决这些难题。

Boosting 的分类过程

1. 初始化：为每个类别设置累计得分初始值为0。
2. 加权投票：对每一个训练好的模型（共 t 个或更少），将其预测的类别加上一个权重值：\( -\log(e_t / (1 - e_t)) \)。该值随误差减小而增大，意味着性能越好的模型拥有更大的话语权。
3. 输出结果：选择累计得分最高的类别作为最终预测结果。

权重解析：误差 \( e_t \) 越小，对应的 \( -\log(e_t / (1 - e_t)) \) 值越大，表明该模型的预测更为可信，因此在集成中占据更高权重。

Boosting 的主要特点

• 实例扰动机制：不同于 Bagging 的采样扰动，Boosting 通过动态调整样本权重来改变学习重点，尤其强化对难例的学习。
• 顺序依赖训练：模型必须逐个训练，无法并行化，因为后一个模型依赖前一个的误差信息。
• 差异化权重分配：根据每个基学习器的表现赋予不同投票权重，优秀者影响力更大。
• 利用算法不稳定性：巧妙利用学习器在不同样本上的不稳定表现，形成互补效应，提升整体准确性。

Boosting 的优势总结

• 能够将多个弱分类器组合成强分类器
• 对偏差较大的模型特别有效，显著提升准确率
• 自动聚焦于难以分类的样本，优化资源分配
• 广泛应用于分类与回归任务，实战效果突出

Boosting 的特点与局限性

Boosting 是一类强大的集成学习方法，其核心思想是通过逐步优化模型对困难样本的关注度来提升整体性能。

Boosting 的优势

• 重点关注困难样本：算法能够自动识别分类难度较大的样本，并在后续的学习过程中重点训练这些样本，从而逐步提高模型的整体表现力。
• 降低偏差：单个弱学习器可能存在欠拟合问题（即高偏差），而多个弱学习器组合后可以有效减少偏差，增强模型的表达能力，提升复杂任务下的预测精度。
• 通常效果很好：在许多实际任务中，Boosting 方法表现出色。例如，AdaBoost 在多个标准数据集上均取得了优异的成绩，验证了其广泛适用性。

Boosting 的缺点

• 对噪声敏感：由于算法会不断调整权重以关注难以分类的样本，若数据中存在噪声或异常点，可能被误判为“困难样本”，导致模型过度拟合噪声。
• 顺序训练机制：各学习器之间为串行训练，前一个模型的输出影响下一个模型的构建，因此无法并行化处理，训练周期较长。
• 依赖弱学习器：要求基学习器为“弱学习器”——即性能仅略优于随机猜测；如果基学习器本身已经很强，Boosting 难以进一步带来显著提升。

AdaBoost 算法简介

AdaBoost（Adaptive Boosting）是最具代表性的 Boosting 算法之一。它通过自适应地调整每个样本的权重和每个基学习器的投票权重，根据前一轮的分类误差动态优化模型结构，在多种任务中展现出卓越性能。

典型应用场景包括：
- 人脸检测
- 文本分类
- 图像识别

[此处为图片1]

随机森林（Random Forest）

由 Breiman 于 2001 年提出，随机森林是一种结合了 Bagging 思想、决策树与特征随机选择的集成学习方法。

关键词

随机森林、实例扰动、属性扰动、随机有放回采样、随机属性抽取

核心思想

通过对训练样本和特征空间同时引入随机扰动，构建多个差异化的决策树，最终通过投票机制得出预测结果。“随机”体现在样本和特征的选择上，“森林”则指代由大量决策树构成的模型集合。

算法流程

1. 实例扰动：采用随机有放回的方式从原始数据集中抽取样本，形成多个不同的训练子集，每个子集用于训练一棵独立的决策树（与 Bagging 一致）。
2. 属性扰动：在每棵决策树的每个节点分裂时，并非使用全部特征，而是从所有特征中随机选取一部分进行最优切分特征的选择。
3. 训练决策树：每棵树基于各自的训练集独立生长，可选择不限制深度（不剪枝），依靠随机性控制过拟合。
4. 投票机制：所有树的预测结果以相同权重参与多数投票，决定最终输出。

双重随机性

随机森林的核心在于引入了两种层次的随机性：

• 实例随机性（行随机）：通过有放回采样使每棵树看到的数据略有不同。
• 属性随机性（列随机）：在节点分裂时仅考虑随机子集的特征，增加树之间的多样性。

举例说明

假设数据集包含 1000 个样本和 100 个特征：

• 树1：从 1000 个样本中有放回抽取 1000 个作为训练集；在每个节点从 100 个特征中随机选 10 个，从中选出最佳分割特征。
• 树2：新的有放回样本集（可能含重复样本）；每个节点随机选取另一组 10 个特征进行分裂。
• 树3 至 树N：依此类推，每棵树都基于不同的样本和特征组合独立训练。

主要特点

• 双重扰动机制：既扰动样本也扰动特征，相比单纯的 Bagging 提供更强的模型差异性。
• 等权重投票：所有决策树具有相同的投票权重，采用简单多数规则整合结果。
• 支持并行训练：各决策树相互独立，可同时训练，大幅缩短训练时间。
• 无需剪枝：即使让树完全生长，双重随机性本身已起到正则化作用，有效抑制过拟合。

优势分析

• 性能优异：在多数任务中表现优于单一决策树，且因引入特征随机性，通常优于传统 Bagging 方法。
• 适应高维数据：随机特征选择机制有助于应对高维场景，具备一定的自动特征筛选能力。
• 评估特征重要性：可通过统计各特征在所有树中的使用频率，衡量其对预测的贡献程度。
• 处理缺失值能力强：算法内部机制允许直接处理含有缺失值的数据，减少预处理负担。
• 抗过拟合能力强：得益于双重随机性带来的正则化效应，即便不剪枝也不易出现严重过拟合。

关键参数设置

• 树的数量：一般设定在 100 到 500 之间，数量越多稳定性越强，但计算成本上升。
• 每次分裂考虑的特征数：常用选择为总特征数 $ p $ 的平方根 $ \sqrt{p} $ 或 $ \log_2(p) $。
• 树的最大深度：可根据需要限制或允许自由生长。

广泛应用领域包括：
- 分类任务
- 回归任务
- 特征选择
- 异常检测

[此处为图片2]

堆栈法（Stacking）

堆栈法是一种高级集成策略，不同于简单的平均或投票机制，它利用一个额外的学习器——元学习器，来智能地融合多个基学习器的输出。

关键词

堆栈法、组合不同类型基学习器、元学习器、堆栈变体

核心理念

不是采用固定规则（如加权平均或多数表决）合并结果，而是通过机器学习的方法，训练一个“学习如何组合”的模型，实现更优的集成效果。

两层架构设计

• 第一层：基学习器层
  使用多种类型的基学习器（如决策树、神经网络、SVM、kNN 等）分别对训练数据进行建模和预测，生成一组中间预测结果。
• 第二层：元学习器层
  将第一层各模型的预测输出作为新的输入特征，原始标签作为目标变量，训练一个元学习器（如逻辑回归、线性模型等）来学习最优组合方式。

训练过程详解

1. 数据划分：将训练集划分为 K 折（如常见的 5 折交叉验证）。
2. 生成基学习器预测：对于每一折，用其余 K-1 折数据训练各个基学习器，然后对该折样本进行预测，确保每个样本都有对应的“出袋”预测值。
3. 训练元学习器：将所有样本的基学习器预测结果作为新特征矩阵，配合真实标签训练元学习器，使其学会如何加权或组合这些预测。

预测流程

1. 输入新样本，各基学习器分别输出预测结果。
2. 将这些预测结果拼接成特征向量，输入至元学习器。
3. 元学习器综合判断，输出最终预测结果。

Stacking 的特性

• 支持异构基学习器：可灵活集成不同类型的学习器（如树模型、神经网络、支持向量机等），充分发挥各类模型的优势。
• 学习型组合机制：不再依赖人为设定的融合规则，而是由元学习器自动学习最优组合策略，更具适应性和表现力。

[此处为图片3]

Stacking的优势

性能通常最优：Stacking能够学习到基模型之间最优的组合方式，因此其表现往往优于简单的投票或平均策略。

灵活性强：该方法对基学习器和元学习器的类型没有限制，可以灵活组合不同算法，提升模型表达能力。

Stacking的缺点

计算复杂度高：需要依次训练多个基学习器以及一个元学习器，整体流程较为耗时，尤其在数据量大或模型复杂时更为明显。[此处为图片1]

容易发生过拟合：若基学习器本身存在过拟合现象，可能传递至元学习器；因此在设计过程中需谨慎使用验证策略以控制泛化误差。

常见变体

Blending：采用独立的验证集来训练元学习器，避免直接使用训练数据带来的信息泄露问题。

Super Learner：一种理论上的最优Stacking实现方式，通过交叉验证选择最佳权重组合，具有良好的统计性质。

StackingC：Stacking的一种改进形式，可能引入不同的元学习器结构或结合新的特征工程手段进行优化。

实际应用场景

常用于对性能要求极高的任务中，如Kaggle等机器学习竞赛；适用于具备充足计算资源且追求极致精度的项目场景。

实现要点

依赖更多数据：由于包含两层模型训练，需要足够的样本支持元学习器的学习过程；一般采用交叉验证机制防止过拟合问题。[此处为图片2]

学习复杂的集成方式：与简单加权不同，Stacking可通过元学习器自动学习各基模型输出之间的非线性关系，从而获得更优的组合权重。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：机器学习 模式识别 Estimators Bootstrap estimator