关于多元线性回归参数拟合推导的问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

大家好！我统计学基础比较差，最近看书遇到如下问题：
y=beta0+beta1*x1+bete2*x2+...+betap*xp

令beta=(beta0, beta1, ..., betap)’，即转置

在Hastie et al. (2001) 统计学习基础一书中关于如何拟合参数beta有如下描述：
RSS(beta) = (y - X beta)' (y - X beta)

这是p+1个参数的二次函数。关于beta的微分，我们得到：
RSS对beta的一阶偏导= - 2 X' (y - x beta)
RSS对beta的二阶偏导= - 2 X' X

暂时假定X是满秩的，从而X' X是正定的。令第一个微分等于零：
X' (y - X beta) = 0

得到唯一解：
beta的估计值 = (X' X)^(-1) X' y

显然此处^(-1)表示(X' X)的逆。




我的问题是：（1）下述推导是否可行？
beta的估计值 = (X' X)^(-1) X' y = X^(-1) (X')^(-1) X' y
因为矩阵X'的逆与其自身X'相乘等于单位矩阵，即 ((X')^(-1)) X' = I，因此beta的估计值就等于X^(-1) y。我这样推导是否正确？

（2）为什么要求X' X是正定的？是否表示二阶导数为负数，函数有最小值？

（3）如何推导beta估计值的标准误差？Hastie等说：最小二乘方参数估计的方差-协方差矩阵容易由上述beta估计值的公式导出，并由下世给出：
Var(beta的估计值) = (X' X)^(-1) sigma^2
这一步是如何推导出来的。


非常感谢! 大家能回答几条就回到几条，错了也没有关系。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：多元线性回归 线性回归 Hastie 统计学基础 协方差矩阵 统计学 二次函数 如何 正定

我上述的推导是不正确的，因为只有方阵才能求逆！而我直接对X求逆了，显然错误。

此外，请教：
函数存在二阶导数，并且二阶导数小于0，是否一定存在最小极值？

谢谢！

请教如何推导出回归系数的方差的？
即由beta估计值的公式：beta估计值=(X' X)^(-1) X' y，如何推导出：Var(beta估计值) = (X' X)^(-1) sigma^2？
我看不懂。

peijianshi 发表于 2014-10-21 21:25
我上述的推导是不正确的，因为只有方阵才能求逆！而我直接对X求逆了，显然错误。

此外，请教：

不一定啊，二维情况下都不一定，A=fxx，C=fyy，B=fxy（假设函数连续）
都要比较A的行列式和AC-B^2的行列式