ols模型选择

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

请问~我现在分别做一次和二次的ols回归，发现二次的回归R^2总是比较大，但系数 的显著性又不如一次的（二者都很显著），那么应该选哪个模型呢？
二次的模型R^2好像不管系数显不显著都比一次大？是不是应该看F统计量？F要怎么看？菜鸟一只///

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：OLS模型 模型选择 OLS 统计量 模型

只有一个解释变量吗？如果超过一个，看调整后的R^2。不知你用的什么软件，F统计量都会给出来的吧。

statax 发表于 2015-12-31 15:58
只有一个解释变量吗？如果超过一个，看调整后的R^2。不知你用的什么软件，F统计量都会给出来的吧。

一个解释变量几个控制变量。用eviews调整后的R^2可以用在非线性模型吗？我发现调整后的R^2非线性总比线性大。
就是我现在要比较一次线性回归好还是二次非线性回归好，应该看什么指标？

作为搞机器学习的学过一点统计，提供一点我的看法。
1.一般而言做2次回归肯定比一次回归的r^2小，因为复杂模型对数据的拟合肯定更精确，也就是模型的偏差(bias)比较小。
2.你所说 系数的显著性又不如一次的 解释：高次的模型进行拟合，模型更复杂，每个分量“承担的责任"更小，从很大可能来讲，越复杂的模型变量的显著性越低，也可以从信息论的角度解释：越复杂的模型，信息熵越大，那么他的抗扰动能力越强。当然这不是确定的，我没进行过推导。
3.提供给我讲过回归分析老师的话：”统计不是数学，他没有固定标准判断好和不好，一切只有拿事实说话“。所以1次，2次拟合都是可以的，你可以进行简单的交叉验证，比如最简单的方法：拿出10%的做验证数据，90%数据进行拟合，最后计算预测的准确率进行模型选择。我倾向于选择简单模型，因为简单模型抗过拟合(overfitting)能力更好，可扩展性也更好。

colintian 发表于 2016-1-2 01:23
作为搞机器学习的学过一点统计，提供一点我的看法。
1.一般而言做2次回归肯定比一次回归的r^2小，因为复杂 ...

谢谢！你的解释都是比较intuitive的，谢谢你~！新年快乐！

一般而言做2次回归肯定比一次回归的r^2