泛化误差最小化：一种新的模型评估方法

在这种情况下，一个小的eTE不能保证一个好的GA，而且很可能会过度匹配。并对极值估计的遗传算法进行了改进。然而，这可能很难实现，因为实际上是有限的，而且我们通常对估计模型如何在样本数据的基础上发挥作用感兴趣，例如“在相关异质性得到控制的情况下，从郊区样本估计的政策效果如何解释郊区B的变化。”因此，在实证研究中，eGE作为GA或过度拟合的一种简单直观的测量方法，已被提出并广泛应用于应用中。作为模型评估的一个合理标准，我们期望eGE能够证明一些良好的特性，这些特性将其模式或规律性描述为一个经验过程。例如，如果我们从训练集中得到一个估计模型，并通过验证/交叉验证将其应用于许多测试集总体和子样本，那么直观地说，在核密度估计中，eGE的随机性作为一个经验差异分布。抽样和二次抽样，一种方法是通过采用公式（2），得出eGE的上界，即验证中eGE和eTE之间的某种程度。定理1。A1–A3，并给出极值估计量T∈ ∧，以下概率至少为π（1）的eGE保持上界-1/nt），π∈ （0,1）。Rns（btrain | Ys，Xs）6Rnt（btrain | Yt，Xt）（1-√ε） +，（3）Rns（btrain | Ys，Xs）Rnt（btrain | Yt，Xt）ε=B lnp2/（1）-π）/nsif Q（·）∈ （0，B）和B有界，否则为=var[Q（btrain | y，x）]/（ns（1-如果ν∈ （2、，∞)ν√2τ（E[Q（btrain | Ys，Xs）]）/（n1-1/νsν√1.-π）如果ν∈ （1,2）式中，τ>sup[R（Q（b | y，x））νdF（y，x）]1/νRQ（b | y，x）dF（y，x）。在训练集中使用给定的估计值进行建模。因此，式（3）显示了如何使用训练集上极值估计的eTE来计算测试集上模型的eGE。换句话说，eq。

（3） 在验证方法下测量给定复杂性模型的GA。定理1有几个重要的含义。1、eGE的上限。等式（3）为任何样本外的eGE上界确定了eGE的上界，与引理1相反，引理1量化了验证或交叉验证的使用上界。给定定理1，可以直接使用公式（3）的RHS对eGE进行量化，从而避免验证的需要。2、上限的精确性和宽松性之间的权衡。定理（1）也显示了π∈ [0,1]。3.大型eGE的后果比小型eGE更严重。因此，我们将重点放在上界上。总体GE和总体TE收敛于总体误差。因此，最小化ETE可以直接得到种群中真正的DGP。相比之下，对于图2所示的有限样本情况，虽然过度复杂的模型（低NT/h）将有一个较小的ETE，但等式（3）显示，它可能会导致新数据的较大eGE。因此，过于复杂的模型往往会过度拟合样本数据，GA较差。另一方面，过于简单的模型（高NT/h）不太可能恢复真正的DGP，从而导致eTE和eGE之间存在较大的上限。4、式（3）的RHS。如果q（·）是有界的或轻尾的，则在数学上很简单，并且以1/ns的速率收敛到零。如果损失函数是重尾函数且f是可测量的，则可以使用损失分布闭合形式的总体矩的最高阶ν来测量损失分布尾部的重量，较小的ν表示尾部更重。在1/n1-1/νsν=1无法调整公式（3）。KK通过卷积建立交叉验证。

为方便起见，定义经验过程TQ=Rns（btrain | Yqs，Xqs）-Rnt（btrain | Yqt，Xqt）1-√ε，q∈[1，K]作为第qth轮交叉验证中的eGE差距。定理2（交叉验证极值估计的eGE上界）。在A1–A3下，给定极值估计量btrain∈ ∧且给定Tq，则（i）E（| Tq | m）6 m！Bm公司-2var（Tq）/2，m>2，概率至少为αKK∑q=1Rns（btrain | Yqs，Xqs）6K∑Kq=1Rnt（btrain | Yqt，Xqt）1-√ε+，（4）由于A1，它是闭合形式的，这保证了所有损失分布的闭合形式、一阶矩。装配不足过于复杂模型宝石modeloverfittingoversimplified模型概述模型图2EGE图2:eGE和ETE之间的权衡表示，其中α=1-2经验值-（-E[Tq]）var（Tq）/K+B（-E【Tq】/（3K）,=var[Q（b应变| y，x）]（1-π）n/K，（ii）tq概率至少αKK∑q=1Rns（btrain | Yqs，Xqs）6K∑Kq=1Rnt（btrain | Yqt，Xqt）1-√ε+，（5），其中=ν√2τE[Q（btrain | Ys，Xs）]ν√1.-π（不适用）1-1/ν，α=1.-2τν·（E[Q（btrain | y，x）]）νν·nν-K/nt+,在第四轮交叉验证中，Rns（btrain | Yqs，Xqs）分别是eGE和RNT（btrain | Yqt，Xqt）是eTE。K次抽样随机性的影响。等式的含义。（4） 和（5）如下所示。1.交叉验证的eGE。这两个方程都揭示了eTE和eGE以及theTqαn之间的权衡→ ∞Tqncan近似于卷积概率。2、απ其他相同，每轮交叉验证中较大的增加了π和α。因此，在每一次循环中，上界都会向上移动，上界保持不变的概率会增加，保持不变的概率会增加，这是以一个更宽松的边界为代价的。3.交叉验证超参数k。等式。（4） 和（5）描述K如何影响平均值KNt=n（K-1） /Kns=n/KKKsets变小，增加了次抽样随机性对eGE的影响。ONKK eTE和eGE在交叉验证下进行权衡。

因此，要描述多次运行交叉验证的影响。图3说明了K.oKKntqRnt（btrain | Yqt，Xqt）/（1）的影响-√ε） 填充误差，如图3a所示。同样对于smallK，K轮平均eTE（等式（4）和（5）RHS的第一项）更偏离真实的人口误差，如图3b所示。因此，EQ的RHS。（4） （5）K值较低时，更容易受到有限样本偏差的影响。然而，由于相对较小的Kimpliensis，测试集的波动性应该较小。因此，交叉验证的K轮平均eGE波动性相对较小，反映出等式中的不是很大。（4） 和（5）。oKKNSKF因样本固定而不同。来自的eGEs每个圆形的属于交叉验证总体GEFigure公司3aeGE公司（a） 每轮交叉验证中的eGE平均值eGEsfrom公司‐轮数（概率）eGE鞋面边界图3贝奇*（b） K轮交叉验证的平均EGE图3：交叉验证的偏差-方差权衡EGE更易波动，且将增加。然而，如果K值较高，则缓冲区RHS的第一项受偏差影响较小。Kcross验证遵循典型的偏差-方差权衡。对于较低的K值，平均K平均eGE变得更加不稳定，但偏离总体误差的偏差较小。好处是，定理2还表明，当交叉验证方法与极值估计一起使用时，每个样本可能存在最佳Foldskm数，如K*如图3b所示。更具体地说，最小化上界（4）和（5）的K也最大化了交叉验证的GA。

我们留给下一节讨论回归的最佳K。因此，在备选模型空间中选择eGE最小的模型是很自然的。2.3泛化误差最小化通过在第2.1节中建立验证或交叉验证下的eGE上界，我们展示了模型选择。因此，通过将eGE作为模型选择的标准，我们提出了基于最小化eGE的模型选择，我们称之为泛化误差最小化（GEM）。一般来说，GEM可以与（MAP）的许多常规技术一起实现。然而，在下一节中，我们将展示GEM对于惩罚回归尤其有效。bλλ{bλ}应用GEM结合验证/交叉验证和各种惩罚方法，可以通过直接应用我们之前推导的上界来分析惩罚回归的理论性质，例如其稳健性、一致性模式和收敛速度。3惩罚回归的有限样本和渐近性质在GEMIn第2节中，为了从无模型的角度分析eGE，我们建立了一类上界，我们将eGE应用于回归分析，并表明GEM是理解惩罚回归过程的一个新的清晰角度。将eGE作为模型选择的准则，模型选择直接作为改进遗传算法的有效方法；另一方面，模型的eGE可以直接解释和重新构建模型选择的属性。

此外，除了第2节中的性质外，还可以建立其他性质L（3），即惩罚回归估计量和theOLS估计量之间的L差的上界是eGE、损失函数分布的尾部行为和样本的外生性的函数。3.1用变量的大小（单位）惩罚回归ll（Y，X）。当然，在标准化之后，XandYare是无标度单位。定义2（惩罚回归、岭回归、套索回归、L-eGE和L-eTE）。1、惩罚回归目标函数的一般形式为Bλn（kY-Xbλk）+λ惩罚（kbλkγγ）。（6） 其中，惩罚项惩罚（k·kγ）是bλ的Lγ范数的函数。2、bλλb*备选方案{bλ}（如第1节中的算法1）。Letbols表示训练集上的OLS估计量。3、lasso（L-范数惩罚）的目标函数为Inbλn（kY-Xbλk）+λkbλk，（7），岭回归（L-范数惩罚）的目标函数为inbλn（kY-Xbλk）+λkbλk.（8）4。任何b的L-范数eTE和eGE分别定义为Rnt（b | Yt，Xt）=nt（kYt-Xtbk）Rns（b | Ys，Xs）=ns（kYs-Xsbk）图形4a级L 1L 2L 0.5（a）L0.5，陆上约束错误轮廓图4b级L 1约束（b） Lpenalty（套索）图形4c级L2CONSTRAINTERROR公司等高线（c）Lpenalty（脊线）图4：OLS和各种惩罚回归估计值的比较惩罚回归背后的思想如图4所示。如图4a所示，不同的γ惩罚对应于估计可行集的不同边界。对于惩罚惩罚。如图4b和4c所示，对于给定的λ，γ越小，bλ越可能是角点解。

因此，在惩罚下，变量更可能被删除，而不是删除：ETE最小∧：全部的模型具有一真的DGPTrue公司DGP空间属于E空间属于eTE公司有限的SampleSymptoticMinimumEgewithen公司全部的这个可供替代的提议3.2最小值人口GEProposition公司3.1图5图5：证明策略大纲lγ=0λ=2λ=ln NTL回归与Akaike（贝叶斯）信息准则相同。”图1中的“欠拟合”）。一般来说，处理过度融资比处理欠融资更容易。还原P。然而，不足可能是由于缺乏数据（变量），唯一的补救办法是收集更多的数据。3.2惩罚回归的GEM分析eTE空间中估计量的性质。相比之下，为了研究惩罚回归如何改进遗传算法，我们在eGE空间中重新进行了分析。图5概述了我们的证明策略。我们表明，在GEM框架下，可以建立一些惩罚回归的有限样本属性。在渐近分析中，一致性通常被认为是最基本的性质之一。为了证明GEM是一个可行的估计框架，我们证明了由eGE极小化选择的惩罚回归模型收敛到真正的DGP为n→ ∞. 本质上，我们证明了惩罚回归双射映射*对于0<γ<1的测试β上{bλ}之间的最小eGE，惩罚回归可能是一个非凸规划问题。虽然还没有找到适用于非凸优化的通用算法，但Strongin和Sergeyev（2000）、Yan和Ma（2001）以及Noor（2008）开发了工作算法。当γ=0时，惩罚回归成为离散规划问题，可用Dantzig型方法求解；见Candes和Tao（2007）。见等式。

（13） 和（14）。双射分配给总体中的全局最小eGE，以及ifminb∈bλNSN∑i=1kYs-Xsbk公司-→ minbZky公司-xTbkdF（y，x），然后是b*概率一致或L，orb*= argminbλ{eGEs}P或L----→ argminbZkys公司-xTsbkdF（y，x）=β。假设。进一步假设A4。实际DGP为Y=Xβ+u.A5。EuTX公司= 0.A6。X中没有完美的共线性。β存在一种与真实DGP没有统计差异的替代方法。这些假设是线性回归的标准。命题1β。Y=Xβ+U是唯一一个提供最小eGE asen的→ ∞.命题1指出，β与总体中的全局最小值之间存在一个双射映射。如果违反A5或A6，则样本中可能存在使trueDGP在总体中没有最小eGE的变量。如算法1所示，惩罚回归选择B*是{bλ}中最小值的模型。因此，我们需要确定，当样本量足够大时，真正的DGP包括在{bλ}中，即通过验证或交叉验证选择的模型列表中。命题2（L一致性的存在）。在A1–A6和命题1下，至少存在一个λ，使得limen→∞kbeλ-βk=0。使用套索作为惩罚回归的示例，图6说明了命题1和命题2。在图6中，β表示真实DGP，bλ表示等式（7）的解，菱形可行集是由于Lpenalty。λ的不同值意味着种群中可行λλβeTE的区域不同；（ii）oracleλ的完全收缩（图6b），β精确定位λ高值的收缩（图6c），β位于可行集之外。在第（i）和（ii）种情况下→ ∞黎明→∞bλ=阈→∞bOLS=β阈→∞bλ6=β。

一个重要的含义是，调整惩罚参数λ对于惩罚回归估计的理论性质至关重要。图形6a（a） 低λ（欠收缩）图形6b（b）甲骨文λ（完全收缩）图形6c（c）高λ（过度收缩）图6:Lpenalty3.3下惩罚回归的主要结果下的各种λ值的收缩。因此，只要λβ我们可能无法先验地知道λ是否导致过度收缩，特别是当变量的数量p不固定时，惩罚回归估计器将在某些规范或度量中保持一致。因此，我们需要使用类似验证或交叉验证的方法，通过适当的λ，b的惩罚回归选择λ模型*, 渐近收敛于真DGP。n>pn<pn>预压缩估计器。在n<p的情况下，OLS是不可行的，前向分段回归（FSR）是未启用的回归估计量。3.3.1 GEM对于n>p的惩罚回归，首先，通过对回归采用公式（3）和（4）和（5），我们建立了eGE的上界。引理2。u~N（0，σ），1。验证案例。波士（1-1/nt），π∈ （0,1）。ns（kesk）（ketk）nt（1-√ε） +2σns√1.-π，（9）其中（kesk）是OLS估计量的eGE和（ketk）是eTE，ε在表1.2中定义。K-折叠交叉验证案例。以下概率至少为π（1）的eGE forbOLSholds的界-1/nt），π∈ （0,1）。KK公司∑q=1（keqsk）不适用∑Kq=1（keqtk）n（K-1） （1）-√ε） +2σ（不适用）√1.-π，（10）其中（keqsk）是第qt轮交叉验证中OLS估计量的eGE，（keqtk）是eTE，ε在引理1中定义。以类似于eqs的方式。（3） 和（4）和（5），等式。（9） 和（10）分别在验证和交叉验证下测量OLS估计量的估计上限。

当然，在标准实践中，验证和交叉验证都不作为OLS估计的一部分，也不计算OLS估计量的有效期。然而，eqs。（9） 和（10）表明，无需进行验证或交叉验证即可计算OLS估计量的eGE。正在验证和交叉验证的eGE的ubound。作为GEM方法的一个补充，等式（10）还表明，我们可以通过最小化等式（10）中RHS的期望来找到最大化K的K。推论1K。u~ N（0，σ）K定义了使能回归（eGE的最小预期上界）：K*= argminKσ1-√ε+2σ（n/K）√1.-π惩罚参数λ可通过验证或交叉验证进行调整。ForK>2，我们有k个不同的测试集用于调谐λ，k个不同的训练集用于估计。使用等式。（9） l未启用估计量Bolsand相应的惩罚估计量B*正在进行验证和交叉验证。提案3L。A1–A6，并基于引理2、命题1和2,1。验证案例。bOLSand验证b*概率至少为π（1）的保持-1/nt）ns（kXsbOLS-Xb公司*k）ntketk1-√ε-nskesk公司+nskeTsXsk公司∞kbOLSk+（11），其中在定理1.2中定义。K-折叠交叉验证案例。K折叠交叉验证BOLSANDB中的值*概率至少为π（1）的保持-1/nt）KK∑q=1ns（kXqsbqOLS-Xqsb公司*qk）ntK公司∑Kq=1eqt1.-√ε-KK公司∑q=1nskeqsk（12） +KK∑q=1ns（eqs）TXqs∞B工具+ 。Bholsb公司*qqcross验证，定理2中定义了。L条件满足，拟合值的收敛意味着惩罚回归估计量的L范数一致性。现在我们建立了布尔和B之间的L范数差的上界*, 奥克博尔斯-b*k、 正在验证和交叉验证中。定理3（惩罚回归估计量和非惩罚回归估计量之间的L差）。在A1–A6下，基于命题1、2和3、1。