非参数回归模型与半参数回归模型

1第七章非参数回归模型与半参数回归模型第一节非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。设Y是一维观测随机向量，X是m维随机自变量。在第四章我们曾引进过条件期望作回归函数，即称g(X)=E(Y|X)（7.1.1）为Y对X的回归函数。我们证明了这样的回归函数可使误差平方和最小，即22)]([min)]|([XLYEXYEYEL（7.1.2）这里L是关于X的一切函数类。当然，如果限定L是线性函数类，那么g(X)就是线性回归函数了。细心的读者会在这里立即提出一个问题。既然对拟合函数类L(X)没有任何限制，那么可以使误差平方和等于0。实际上，你只要作一条折线(曲面)通过所有观测点(Yi，Xi)就可以了是的，对拟合函数类不作任何限制是完全没有意义的。正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。所以我们知道，参数回归与非参数回归的区分是相对的。用一个多项式去拟合(Yi，Xi)，属于参数回归；用多个低次多项式去分段拟合(Yi，Xi)，叫样条回归，属于非参数回归。二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Yi的线性组合的某种权函数。也就是说，回归函数g(X)的估计gn(X)总可以表为下述形式：niiinYXWXg1)()(（7.1.3）2其中｛Wi(X)｝称为权函数。这个表达式表明，gn(X)总是Yi的线性组合，一个Yi对应个Wi。不过Wi与Xi倒没有对应关系，Wi如何生成，也许不仅与Xi有关，而且可能与全体的｛Xi｝或部分的｛Xi｝有关，要视具体函数而定，所以Wi(X)写得更仔细一点应该是Wi(X；X1，…,Xn)。这个权函数形式实际也包括了线性回归。如果iiiXY，则YXXXXXii1)(ˆ，也是Yi的线性组合。在一般实际问题中，权函数都满足下述条件：1),,;(,0),,;(111nniiniXXXWXXXW（7.1.4）如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满足配方条件的权函数为概率权。下面我们结合具体回归函数看权函数的具体形式。1．核函数法选定Rm空间上的核函数K，一般取概率密度。如果取正交多项式则可能不满足配方条件。然后令ninininiaXXaXXKXXXW11/),,;(（7.1.5）显然niiW11。此时回归函数就是ininjnininiiiYaXXKaXXKYXWXgY111)()(（7.1.6）2．最近邻函数法首先引进一个距离函数，用来衡量Rm空间中两点u=(u1，…，um)和v=(v1，…，vm)的距离‖u-v‖。可以选欧氏距离niiiuu122)(||||，也可以选||||max||||1iiniuu。为了反映各分量的重要程度，可以引进权因子C1，…,Cn，使｛Ci｝也满足配方条件。然后将距离函数改进为niiiiuCu122)(||||（7.1.7）||max|||12iiiniuCu（7.1.8）现在设有了样本(Yi，Xi)，i=1,…,n，并指定空间中之任一点X，我们来估计回归函数在该3点的值g(X)。将X1，…，Xn按在所选距离‖·‖意义下与X接近的程度排序：||||||||||||21XXXXXXnkkk（7.1.9）这表示点1kX与X距离最近，就赋以权函数k1；与X距离次近的2kX就赋予权函数k2。…，等等。这里的n个权函数k1,…,kn也满足配方条件，并且按从大到小排序，即niinkkkk1211,0（7.1.10）就是nikXXXWinki,,1,),,;(1（7.1.11）若在｛‖Xi-X‖,i=1,…,n｝中有相等的，可将这n个相等的应该赋有的权取平均。比如若前两名相等，‖X1-X‖=‖X2-X‖,就令W1=W2=)(2121kk。这样最近邻回归函数就是nininiiiiiiniYXkYkYXXXWXgY1111)(),,;()(（7.1.12）ki尽管是n个常数，事先已选好，但到底排列次序如何与X有关，故可记为ki(X)。三、权函数估计的矩相合性首先解释矩相合性的概念。如果对样本(Yi，Xi)，i=1,…,n构造了权函数Wi=Wi(X)=WI(X;X1,…,Xn)，有了回归函数g(X)的权函数估计niiinYWXg1)(，当Y的r阶矩存在(E|Y|r∞)时，若0|)()(|limrnnXgXgE（7.1.13）则称这样的权函数为矩相合的权函数。在什么样的条件下构造的权函数是矩相合的呢?Stone(1977)提出了很一般的，几乎是充分必要的条件。下面我们考虑其充分性条件，并限于考虑概率权。定理7.1.1设概率权｛Wi｝满足下述条件：(1)存在有限常数C，使对Rm上任何非负可测函数(连续函数与分段连续函数是最常见的可测函数)f,必有)()(1XCEfXfWEniii（7.1.14）(2)ε0,当n→∞时，401)||(||PniXXiiIW（7.1.15）(3)当n→∞时，0max1PiniW（7.1.16）则｛Wi｝是矩相合的权函数。定理条件可以作一些直观解释。条件(1)可以作如下理解，因为权函数是概率权，必有|Wi|1，i=1,…,n。于是nininiiiiiniiiXfEXfEXfWEXfWE1111)()()()(（7.1.17）这里取的是C=1。因此条件(1)可以说不叫做一个条件。条件(2)是说，与X的距离超过一定值的那些Xi，对应算出来的权函数之和很小，也就是说，权函数的值主要取决于那些与X邻近的Xi的值。这个条件合理。条件(3)是说，当n越来越大时，各个权系数将越来越小，这也是合理的要求。在证明本定理之前，先证两个引理。引理7.1.1设概率权函数｛Wi｝适合定理7.1.1的条件(1)及(2)，又对某个r,E|f(X)|r∞，则0)()()(lim1riniinXfXfXWE（7.1.18）证明先设f在Rm上有界且一致连续，则任给η0，存在ε0，当‖u-v‖≤ε时，|f(u)-f(v)|≤(η/2)1/r。于是)(||11)()2(2)()()(XXniirriniiiIXWMXfXfXW（7.1.19）其中)(supXfMX，此处X表示具体取值。由条件(2)，上式右边第二项依概率收敛于0且不大于1。依控制收敛定理有0)(lim1)(||niXXiniIXWE（7.1.20）故存在n0，使当n≥n0时，有2)(1)(||niXXiiIXWE（7.1.21）因此当n≥n0时，有5niriiXfXfXWE1|)()(|)(（7.1.22）于是对这种一致连续的f，引理得证。证毕对一般的函数f，取一个在Rm上连续，且在一有界域之外为0的函数f~，使2)(~XfE，且rXfXfE)(~)(，这里η是事先指定的。因为rniiriiniiriniirriniiXfXfXWEXfXfXWEXfXfXWXfXfXWE|)()(~|)(|)()(~|)(|)(~)(|)(3)()()(11111（7.1.23）右边括号里第三项等于rXfXfE)()(~；第一项根据条件(1)不超过CXfXfCEr)()(~；因为f~在Rm上有界且一致连续，由前面已证结果知当n→∞时，第二项将趋于0。因此)1(3|)()(|)(lim11CXfXfXWErriniin（7.1.24）η是任意的，故引理得证。证毕引理7.1.2设｛Wi｝为满足定理7.1.1三个条件的概率权，函数f非负且)(XEf，则0)()(lim12iniinXfXWE（7.1.25）证明定义一组新的概率权函数2iiWW，由于0≤Wi≤1,故0≤iW≤1。于是由引理7.1.1，有0|)()(|)(lim12iniinXfXfXWE（7.1.26）因为0≤niiW12≤1，由条件(3)知60max)max(11112Pininiiniinii（7.1.27）故由控制收敛定理有0)()(lim12niinXfXWE（7.1.28）综合两个极限式可知本引理成立。证毕下面我们证明定理7.1.1。先设r=2,则E(Y2)∞。令)|()(),|(),|(XYEXfXYEYZXYEYZiiii（7.1.29）由E(Y2)∞知E(Z2)∞，故h(X)=E(Z2|X)（7.1.30）存在。又)())((,))((,0)|()|(22ZEXhEXfEXZEXZEii（7.1.31）还须注意：f(Xi)=E(Yi|Xi)(而非E(Y|Xi))。因此按定义ixxixXYEXf|)|()(而因为(X，Y)与(Xi，Yi)同分布，有E(Y|X=x)=E(Yi|Xi=x)。故)|(|)|()(iixxiiiXYExXYEXfi现有niiiniiinZXWXfXfXWXgXg11)()()()()()(（7.1.31）因E|f(X)|2∞，依引理7.1.1，有0)()()(lim21niiinXfXfXWE（7.1.32）又若将X固定为x，则有nniiiniiinXXZxWEZxWE,,)()(lim12121（7.1.33）注意到当X固定为x而X1，…,Xn也给定时，Wi(x)成为常数，而Z1，…,Zn在给定X1，…，Xn时，条件相互独立，再注意到E(Zi|Xi)=0，由上式有niiiniiiiniiiXhxWEXZExWEZxWE1212221)()()|()()(7因此式对一切x都成立，有niiiniiiXhXWEZXWE1221)()()(（7.1.34）考虑到E(h(X))∞，h≥0，由引理6.4及上式，知0)(lim1niiinZXWE（7.1.35）合并考虑(7.1.31)，(7.1.32)和上式，得0|)()(|lim2XgXgEnn。这证明了定理当r=2的情况。现在设r≥1,E|Y|r∞。定义截断函数Y(K)：KYKKYYKYKYK||||)(当当当（7.1.36）类似地定义)(KiY(只须把上式中的Y都改为Yi)。因Wi≥0，1,11rWnii，有nirKiiirniKiiiYYxWYYxW1)(1)(||)(||)(（7.1.37）记)||(|)()(xXYYExhrKK，则0||lim)(lim)(rKKKKYYEXEh（7.1.38）且)(