【从零开始学统计】2.可决系数真的决定一切么？

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

        前几天逛知乎的时候看到一个帖子，学计量的和学统计的在争论关于anova里的可决系数的问题。突然萌生了一个念头，想听听大家对这个R2是怎么理解的。（引用的知乎链接，大家可以前去看看http://www.zhihu.com/question/22935472；当然本坛里也展开过一个关于计量和统计两学科区别的讨论，大家也可看看https://bbs.pinggu.org/thread-2930588-1-1.html）

       那我先来说说我对这个R2的理解吧：

       R2是什么？它就是可决系数（coefficient of determination），也被称为拟合优度。说到拟合优度一般理解为回归直线与观测值的一个拟合程度，请看图：

       如果样本回归线对样本观测值拟合程度越好，各样本观测点与回归线靠得越近，由样本回归做出解释的离差平方和与总离差平方和越相近；反之，拟合程度越差，相差越大。（说的更简单点，R2越大，自变量对因变量的解释程度越高,自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集）。既然是平方那么可决系数的取值范围在0到1之间，它是一个非负统计量。试想如果所有的点都在直线上，一点也没有离开直线，那就说明拟合度很好，是1。就是能够完全解释。

       而现实情况肯定没有这样的。就比如你的努力程度和历次考试成绩，虽然越努力成绩越好，但是你不能保证自己没有失误啊。这个失误就是残差，但是失误肯定不是主要部分，所以R2还是很大的。

       R2没有很明确的界限，说什么就是好什么就是不好，有的时候时间序列的拟合程度都不是很好，甚至只有0.3到0.4，所以要综合来看，没有很确定的界限。例如，考虑这样一个例子。在冬季的几个月里，人们经常通过燃油取暖，因为取暖用的燃油在冬季的销售额比在夏天的销售额要高。同样，滑雪设备的销售额在冬季也比夏天要高。事实上，如果我们打算运行一个以滑雪设备的销售额作为自变量x以及取暖用的燃油的销售额作为因变量y的回归模型，那么产生的模型将是很好的模型，并具有很高的R2数值。不过，我们知道滑雪设备的销售额并没有造成人们购买更多的家用取暖的燃油。

       当然还有其他情况，比如当回归直线是平行于x轴，并且与原始数据的散点图拟合度也非常高，但R2=0.说明一个低的R2数值，并不一定意味着回归模型缺乏可信度。（极端举例）又或者，一个高的R2数值但原始数据的散点图表明因变量y的观测值用一条曲线拟合比用一条直线拟合的效果可能会更好。（这是我们也会考虑参考其他拟合指标，比如AIC准则……）

       so，楼主觉得R2数值有时会给出有关线性回归模型对数据拟合程度好的误导信息。一般说来，较高的R2数值比较低的R2数值要好。接受回归模型足够好的R2数值的决定因素主要取决于这个模型的应用目的以及经验和良好的管理知识。

---

  
       在扩展一下，拟合优度检验和F检验有区别吗？
       还是有区别的，拟合优度是指这个模型对于数据来说，解释变量能够解释被解释变量的程度，F说明的是整个模型中所有的解释变量的显著程度，和T值是对应的。

       在问，那R2与R的关系呢？
       撇开平方不说，R指的是线性相关系数，也就是说因变量和自变量之间的线性相关程度（注意强调的是线性！），如果两者关系很大，那么自然用他们做出的模型当然比较好用自变量解释因变量。（当然这又要引申出多重共线的问题了……这就不深究了）

       楼主也希望听听大家的见解，特别是看到知乎上的那位学计量的高票答案，有些确实说的有道理，但可能作为学统计的我，确实有些地方也不太能完全赞同吧，不知大家怎样觉得？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

关键词：从零开始 可决系数 coefficient EFFICIENT question 统计 计量经济学 可决系数 模型拟合 拟合优度

胖胖小龟宝 发表于 2014-5-8 09:50
前几天逛知乎的时候看到一个帖子，学计量的和学统计的在争论关于anova里的可决系数的问题。突然萌生 ...

任何一个指标都要辨证的看，不能指望它能给予百分百的可靠

试着回答可决系数和F检验的关系：
F检验的原假说是：所有解释变量的回归系数均等于0。相应的备择假说为：至少有一个解释变量的回归系数不等于0。在一元线性回归的情况下，R2和F值应当是等价的。但是F值存在显著性水平的检验，R2没有相应的检验标准。也就是说，我们无法说R2为5%到底是高（和零比）还是低（和1比），但是我们可以用F值判断线性假说是否成立。

正如版主说的R-square 就是解释变量能够解释被解释变量的程度，F test相当于检验是否R-square=0。
感觉R-square并不是衡量一个模型好坏的标准，好的模型也可能有低的R-square，高的R-square也并不能代表模型拟合得很好。总要结合别的因素（比如 残差分析）再作结论。
知乎上的那位学计量的高票的有一点我是肯定同意的，就是变量的筛选是不能用R-square来作为标准的。至少不能通过直接比较两个模型的R-square来决定。

yuerqieqie 发表于 2014-5-21 22:25
正如版主说的R-square 就是解释变量能够解释被解释变量的程度，F test相当于检验是否R-square=0。
感觉R-s ...

是的，现实中建的很多模型很难有高的R2，我觉得筛选时候还是要看他是否有经济意义。

真的灰常感谢楼主，辛苦了。太有用了

LS所说的R-square其实本质上是因素之间的线性相关系数的平方之间的关系，衡量的无非这两者之间的线性相关系数，R-square高只能说明两者之间的线性相关关系强而已，但是R-square低并不能说明两个因素之间没有关系（如其他非线性关系上），R-square最终也只不过是一个线性回归分析衡量两者之间A与B之间线性相关强度，其实一定意义上可以作为线性回归当中的拟合程度是否优的一个依据。

从可决系数的定义看，就是两个平方和的比值，sum(Y^hat-Y_bar)^2/sum(Y-Y_bar)^2, 对照一下，有两种情况：
1. Y^hat拟合值确实接近真实值Y，导致R^2大；
2. Y^hat拟合值与真实值Y没有多接近，但是平方和后分子分母接近，导致R^2大。
第一种情况模型正确，第二种情况，还存在更好的模型需要探索。

可决系数是看回归解释程度有多高，看作是正面的指标，还可以从误差平方和的角度去判断，就是方程的估计标准误，sqrt(sum(Y-Yhat)^2×1/自由度).  从关系式误差平方和+回归平方和=总平方和，也会知道这两种指标是相通的。

从（Y-Yhat）^2 看是不是就想起来最小二乘法, 楼主提到AIC准测，AIC准则是似然估计思想来的，所以这两个准测来说，问题就回归到了最小二乘法思想和似然法思想的优劣。

楼主举例冬天燃油和滑雪设备的销售额回归解释R^2高但是模型不恰当。的确可以强调我们不能单纯从数据出发只看R^2。

有一句名言很形象，说统计学是寄生虫，靠其他领域来生存。所以是先有其他领域的需求，才有统计学。用统计分析数据一定是先做好相关领域的理论分析，再理论分析认为可能的情况下，才来做统计分析。比如冬天燃油和滑雪设备的问题，先做个理论分析就通不过，也就不会继续下一步做回归了。

忽然联想我们现在统计方面的研究存在的问题，做理论的脱离实际领域，想做个独立的寄生虫；做应用的忘记了自己寄生虫的本份。把人做好难，把寄生虫做好也一样难呢。

马克一下