请教广义最小二乘法和普通最小二乘法的区别

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

如题，请教一下这两个概念的区别。我看有的书上说普通最小二乘法是广义最小二乘法的一个特例。希望高人用简单的语言帮我解释一下，谢谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏11 回帖

关键词：广义最小二乘法 广义最小二乘 最小二乘法 最小二乘

随机变量不满足均齐方差的情况（方差不相等），可以用广义最小二乘方法来做。

gls用方差协方差阵来加权

OLS假设等方差，GLS可以在异方差的情况下得到无偏一致估计量。如果将等方差看成是异方差的特例，那OLS就可以看成是GLS的特例了。

广义最小二乘法又称加权最小二乘法，通过加权变广义最小二乘法为最小二乘法，使其变为等方差。

广义的GLS 是调整之后的OLS， OLS只可以用于残差项是White noise的模型，也就是同方差的模型。当模型中含有异方差，就是说u的方差是在不同的x情况下是不同的，就要用原model除以residual 项的估计分布公式的二次根式，将原有的异方差模型构建成同方差模型，再应用OLS 的方法。

普通最小二乘(OLS)，带权重的最小二乘(WLS)和广义最小二乘(GLS)，都是同一个东西
简单地说,用回归变量X来拟合响应变量Y，其中Y中的每个变量，存在内部方差(var)和外部协方差(cov),一起构成协方差阵(vcv)
因为X一般当做固定的，所以Y的协方差阵其实也就是误差项的协方差阵
1.如果存在外部协方差,即协方差阵不是对角阵，就是广义最小二乘
2.如果协方差阵是对角阵，且对角线各不相等，就是权重最小二乘
3.如果协方差阵是对角阵，且对角线相同，就是普通最小二乘
公式都是一样的  min RSS=误差项T * vcv-1 * 误差项
（T是转置, -1是逆矩阵）

katymeala 发表于 2016-6-1 14:14
普通最小二乘(OLS)，带权重的最小二乘(WLS)和广义最小二乘(GLS)，都是同一个东西
简单地说,用回归变量X来拟 ...

大赞，解释的非常到位！

katymeala 发表于 2016-6-1 14:14
普通最小二乘(OLS)，带权重的最小二乘(WLS)和广义最小二乘(GLS)，都是同一个东西
简单地说,用回归变量X来拟 ...

感谢，终于把这个问题弄明白了！

katymeala 发表于 2016-6-1 14:14
普通最小二乘(OLS)，带权重的最小二乘(WLS)和广义最小二乘(GLS)，都是同一个东西
简单地说,用回归变量X来拟 ...

谢谢！