1.统计模型法
(1)计算变量的统计量,如均值、标准差、样本量等,依据这些信息就可以直接计算(一元)
线性回归的系数;(2)阶矩模型中均可以利用这类信息直接运算sem等模型。(3)特点:计算速
度快,无须重复运算模型。
2.最小二乘法
(1)多元回归中,ols可以处理多个自变量的情况,寻求残差平方和最小化;(2)将数据视为
矩阵,利用线性代数寻求系数最优化,对内存要求很高;(3)大数据场景下,存在线性和内存约
束问题。
3.梯度下降法
(1)以迭代的方式,最小化模型误差(而不是ols的系数);(2)参数学习率alpha控制每次
迭代的步长;(3)大型的行和列不会写入内存。
4.正则化法
(1)一方面寻求最小化模型误差,另一方面可以减少模型复杂度(取L1绝对值);(2)有利于
消除共线性和过拟合现象。