发帖
雷达卡
岭回归用于处理下面两类问题：
1.数据点少于变量个数
2.变量间存在共线性
变量间存在共线性是，最小二乘回归得到的系数不稳定，方差很大，这是因为系数矩阵x与它的转置矩阵相乘得到的矩阵不能求逆，而ridge regression通过引入lamda参数，使得该问题得到解决。在R语言中，MASS包中的函数lm.ridge()可以很方便地完成。它的输入矩阵x始终为n*p维，不管是否包含常数项。
当包含常数项时，该函数对y进行中心化，以y的均值作为因子，对x进行中心化和归一化，以x中各个变量的均值和标准差作为因子。这样对x和y处理后，x和y的均值为0，这使得回归平面经过原点，即常数项为0.因此，虽然指定了包含常数项，它给出的系数lmrige coef里也没有常数项的值。在使用该模型进行预测的时候，也需要首先对x和y进行中心化和归一化，因子是使用训练时候进行中心化和归一化的因子，然后再与系数相乘得到的预测结果，这里需要指出的是，如果建立模型后在命令行窗口直接输入lmridge，也会出现一整套系数，该系数会包含常数项，这个系数和模型给出的系数lmridge coef不一样，因为它是针对没有归一化和中心化数据的，在预测的时候可以直接使用该系数，不需要对数据进行归一化和中心化。
当指定模型不包含常数项时，因为要强调通过原点，该模型假设各个变量的均值为0，因此不对x和y进行中心化。但是对x进行归一化，而且归一化因子也是假设变量均值为0计算出的该变量的标准差。在进行预测的时候，如果使用lmridge$coef的系数，那么需要对数据进行归一化。如果使用lmridge直接给出的系数，只需要直接相乘。
ridge regression中lamda的选择：可以使用select(lmridge)进行自动设置，一般使用GCV最小值，lamda的范围是大于0即可。
岭回归的原理：岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价，获得回归系数更为符合实际、更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法。
岭回归的原理较为复杂。根据高斯马尔科夫定理，多重相关性并不影响最小二乘法估计量的无偏性和最小方差性，但是，虽然最小二乘估计量在所有线性估计量中是方差最小的，但是这个方差都不一定小，而实际上可以找到一个有偏估计量，这个估计量虽然有较小的偏差，但它的精度却能够大大高于无偏的估计量。岭回归分析就是根据这个原理，通过在正规方程中引入有偏常熟二求的回归估计量的。
缺点：通常岭回归方程的R平方值会稍低于普通回归分析，但回归系数的显著性往往明显高于普通回归，在存在共线性问题和病态数据偏多的研究中有较大的实用价值。
京公网安备 11010802022788号
