请教这个章节出自哪本书?
第七章 非参数回归模型与半参数回归模型
第一节 非参数回归与权函数法
一、非参数回归概念
前面介绍的回归模型,无论是线性回归还是非线性回归,其回归函数形式都是已知的,只是其中参数待定,所以可称为参数回归。参数回归的最大优点是回归结果可以外延,但其缺点也不可忽视,就是回归形式一旦固定,就比较呆板,往往拟合效果较差。另一类回归,非参数回归,则与参数回归正好相反。它的回归函数形式是不确定的,其结果外延困难,但拟合效果却比较好。
设Y是一维观测随机向量,X是m维随机自变量。在第四章我们曾引进过条件期望作回归函数,即称
g (X) = E (Y|X) (7.1.1)
为Y对X的回归函数。我们证明了这样的回归函数可使误差平方和最小,即
(7.1.2)
这里L是关于X的一切函数类。当然,如果限定L是线性函数类,那么g (X)就是线性回归函数了。
细心的读者会在这里立即提出一个问题。既然对拟合函数类L(X)没有任何限制,那么可以使误差平方和等于0。实际上,你只要作一条折线(曲面)通过所有观测点(Yi,Xi)就可以了是的,对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样,我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法,不管是核函数法,最近邻法,样条法,小波法,实际都有参数选择问题(比如窗宽选择,平滑参数选择)。
所以我们知道,参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Yi,Xi),属于参数回归;用多个低次多项式去分段拟合(Yi,Xi),叫样条回归,属于非参数回归。
二、权函数方法
非参数回归的基本方法有核函数法,最近邻函数法,样条函数法,小波函数法。这些方法尽管起源不一样,数学形式相距甚远,但都可以视为关于Yi的线性组合的某种权函数。也就是说,回归函数g (X)的估计gn(X)总可以表为下述形式:
。。。。。。。。。。。。。
。。。。。。。。。。。。
。。。。。。。。。。。