【学习笔记】2019/12/16 《No.15: p122-p127》《增强型分析-AI驱动的数据分析 ...

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

2019/12/16
《No.15: p122-p127》《增强型分析-AI驱动的数据分析、业务决策与案例实践》读书笔记
第5章 应用数据分析做出最优决策

5.4 优化技术介绍
5.4.1 数据挖掘算法中常用的优化技术: 在约束条件或无约束条件下，寻找目标最大值或最小值。
  1.无约束优化
   (1)无导数优化算法: 适用目标函数非光滑、求导比较耗时或比较复杂的情况
     a)模拟退火算法:是一种概率能收敛于全局最优解的全局优化算法。
     b)粒子群算法: 通过初始化为一群随机粒子，然后通过多次迭代，每次迭代都追随最优粒子的方向，直到集中在最优。应用在神经网络、聚类分析、网络社区发现等。
     c)遗传算法:优化过程通过交叉变易产生子代，若子代符合标准则输出子代，否则选择适合度高的个体作为父母，重新产生子代。
   (2)一阶导数优化算法
     a)固定学习率的优化算法: 算法包括，SGD(随机梯度下降)、Momentum、NAG(Nesterov Acceleration Gradient)
     b)自适应学习率的优化算法: 算法包括，AdaGrad、RMSProp、AdaDelta、Adam、Nadam。

   (3)二阶导数优化算法
     a)NewTon，牛顿法，属于二阶优化技术，利用目标函数的一阶导数和二阶导数直接寻找梯度为0的点。
     b)Quasi-Newton，拟牛顿法，也是属于二阶优化技术，其二阶导数是近似值求法。BFGS和L-BFGS是两种常用的方法。
   (4)共轭梯度法: 是指每次的搜索方向与之前每次的方向保持共轭关系，保证了最多经过n次寻幽就可以找到二次函数的最优值点。

  2.有约束优化
   (1)无导数优化算法:
     a)线性规划: 目标函数与约束函数都是线性函数，不用导数求解。
     b)整数规划: 线性规划的变量限制为整数
     c)0-1规划: 整数规划的变量限制为0或1。
   (2)导数优化算法
     a)有效集法
     b)交替方向乘子法
   (3)转换为无约束优化求解
     a)投影法
     b)拉格朗日法
     c)惩罚数法
   (4)多目标优化: 指优化问题包含多个目标，而且目标之间存在冲突。
     a)线性加权法
     b)理想点法
     c)极大极小法
     d)分层序列法

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：学习笔记 数据分析 习笔记 增强型 Acceleration

赞

赞