发帖
雷达卡
岭回归（Ridge Regression）在机器学习里就是一种改进的最小二乘。
其本质是如果用传统的最小二乘，那么个别异常值可能对结果影响非常大（因为最小二乘法对异常值是非常敏感的）。
所以用了这个改进的方法。引入正则系数可以消除异常值，优化模型。
具体介绍如下：
最小二乘：
最后一步成立的条件是
可逆，可逆的条件是满秩，如果不满秩我们就要处理一下：
，直觉上这样是不是就可以把不满秩的变成满秩了，最小二乘就有解了，为什么想到这样做呢？
我们再看下岭回归：
换成矩阵写法：
，这个是不是和上面的一致了。
总结：岭回归是加了2范数正则下的最小二乘。当我们的feature之间完全共线性(使有解)或者相关程度异常高(使有稳定解)的时候，适合使用岭回归。
京公网安备 11010802022788号
