有奖回答：什么是stepwise regression??

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

<p>有奖回答：</p><p>什么是stepwise regression??它的特点是什么？？或者说与一般的最小二回归有什么不同？？（100论坛币）</p>

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏3 回帖

关键词：regression regressio stepwise regress Step

逐步方法(stepwise method)是早期人们在线性模型中进行变量选择的一个经常使用的方法，尽管它并不对应于模型选择的任何一个特定准则，譬如 AIC, BIC, Cp 等。逐步方法分为三种：1. 向前选择(Forward selection)；2. 向后消去(Backward elimination)； 3. 逐步回归(Stepwise regression)。

假定数据已经标准化，即自变量均值为0，长度为1 。
1. 向前选择从零模型（即只含常数项的模型）出发，每一步向模型中增加一个变量。其实施过程如下：
首先选取一个自变量，它与响应变量的样本相关系数的绝对值最大。其次，在模型中增加一个变量，使得增加的自变量具有最大的 F 统计量值。依次下去，直到某一步，若尚未在模型中的每一个自变量对应的F 统计量值都小于某一个预先给定的值，譬如记为a，则停止变量选择过程。

2. 向后法和向前法实施过程正好相反。它是从全模型（即包含所有自变量的模型）出发，每一步从模型中消去一个变量。消去的准则：选择所有在当前模型中的变量对应的F统计量最小的那个。停止准则是：若在某一步，在当前模型中的每一个自变量对应的F统计量值都大于某个预先给定的临界值，譬如记为b，则停止消去过程。

3. 逐步回归是上述两种方法的结合。
假设利用向前法已经选择了两个变量进入当前模型。下一步不是继续使用向前法选择尚未在模型中的变量，而是对当前模型中的变量做检验，看看当前模型中的每一个自变量是否显著（检验的办法和向后法完全一样），不显著的变量从模型中消去。（这样做的原因是，向前法的第二步选进模型的变量可能使第一步选入模型的变量变得不再显著）。然后对经过检验处理的模型使用向前法选择尚未在模型中的变量，然后再用向后法对当前模型做检验...依次下去。停止准则是：若在某一步，当前模型中的每一个变量都是显著的（即当前模型中的每一个变量对应的F统计量值都大于b），而尚未在模型中的每一个变量都是不显著的(即尚未在模型中的每一个变量对应的F统计量值都小于a)。

这是个人的一点理解，不能保证完全正确，希望对你有一点点帮助。想深入理解，需要看书。基本上，任一本回归的书都会介绍逐步方法。

[此贴子已经被作者于2009-4-14 16:49:55编辑过]

谢谢，二楼的回答，能否告知出处，让我自己研究一番。谢谢。

譬如：回归分析 周纪芗

stepwise regression 是回归分析时变元选择的一种方法。变元选择就是说，回归之前你可以收集很多自变量，但是这些并不一定都是能解释响应变量的因素，所以拟合模型之前应该从这些可能的自变量中选择出能解释响应变量的自变量。

stepwise的具体操作是从0个变量出发，一个一个地添加变量，同时每添加一个变量之后观察原来的变量在新的模型中是否还有解释作用，没有则删除相应变量。这样直到不能加进一个变量为止。添加变量和删除变量的规则是由拟合残差和模型R2确定的。

另：选择变元有很多方法，除了stepwise之外还有backward,forward,max R2等等，找一本稍理论的线性回归的书应该都有，比如：《线性统计模型》，王松桂，陈敏，陈立萍编

都过时了，现在有很好的选择变量的方法.

选择变量是选择工具变量吗？？？

The Lasso is a shrinkage and selection method for linear regression. It minimizes the usual sum of squared errors, with a bound on the sum of the absolute values of the coefficients. It has connections to soft-thresholding of wavelet coefficients, forward stagewise regression, and boosting methods.

The Lasso是一种很好的回归方法。欢迎好人赐教。

在本人提出的其他问题中，如果有人提出好的答案，不管是否说过给予奖励，本人都给予奖励，条件是把问题的答案及其来源讲清楚。谢谢。

凡是帮助我的会员，我一定努力给你们帮助。如果你急需他人回答问题，你可以发到我的该论坛上的邮箱，因为帮助我的人，我无法及时得知他们是否需要帮助.

解答有用~~~

进一步，还有fused lasso, group lasso,还有两者的混合