泛化误差最小化：一种新的模型评估方法

定理2适应式（2）和（3）。该证明与定理1非常相似，只是等式（2）Andette，thusKK∑q=1Rnt（btrain | Yqt，Xqt）。如定理1所示，P{Rns（btrain | Ys，Xs）6Rnt（btrain | Yt，Xt）1-√ε+}>π（1-1/nt）<==> P{Rns（btrain | Ys，Xs）-Rnt（btrain | Yt，Xt）1-√ε6}>π（1-因此，在每一轮交叉验证中，q∈[1，K]，P{Rns（btrain | Yqs，Xqs）-Rnt（btrain | Yqt，Xqt）1-√ε6}>π（1-1/nt）（A.16）Tq=Rns（btrain | Yqs，Xqs）-Rnt（btrain | Yqt，Xqt）1-√εTq-E[Tq]为零，p{Rns（btrain | Yqs，Xqs）-Rnt（btrain | Yqt，Xqt）1-√ε6}>π（1-1/nt）<==> P{Tq-E【Tq】6-E[Tq]}>π（1-1/nt）（A.17）无尾或轻尾（btrain | Yqt，Xqt）∈ （0，B）矿石（| Tq | m）6 m！Bm公司-2var（Tq）/2，m>2，byBernstein不等式，P（KK∑q=1Rns（btrain | Yqs，Xqs）6KK∑q=1Rnt（btrain | Yqt，Xqt）1-√ε+）>P（K∑q=1Tq-E【Tq】6 | K∑q=1Tq-E【Tq】| 6 K-KE[质量]>1-2经验值(-（K-KE【Tq】）var(∑Kq=1Tq）+B（K）-KE【Tq】/3）=1-2经验值-（-E[Tq]）var（Tq）/K+B（-E【Tq】/（3K）（A.18）重尾（btrain | Yqt，Xqt）Ffails用于卷积，我们无法用高斯函数近似卷积概率。

因此，我们需要将“重尾分布”的范畴缩小到重尾分布的主要子类，即次指数分布。如果是次指数变量，则根据定义，所有次指数分布满足以下条件p（KK∑q=1Tq>）~ KP{T>K}。因此，P（KK∑q=1Rns（btrain | Yqs，Xqs）6KK∑q=1Rnt（btrain | Yqt，Xqt）1-√ε+）>P（KK∑q=1TqKK∑q=1 | Tq | 6）>1-P（KK∑q=1 | Tq |>）~ 1.-KP{| T |>K}=1-K（1-（1）-2τν·（E[Q（btrain | y，x）]）ν（K）ν·nν-1s）（1-1/nt））>1-2τν·（E[Q（btrain | y，x）]）νν·nν-因此，当τ·E[Q（btrain | y，x）]/6 1且较大时，我们可以近似地得到以下概率边界p（KK∑q=1Rns（btrain | Yqs，Xqs）6KK∑q=1Rnt（btrain | Yqt，Xqt）1-√ε+）>1.-2τν·（E[Q（btrain | y，x）]）νν·nν-K/nt+, （A.20）且相对较大，可大致确定交叉验证的上限。证据命题1给定A1–A6，真正的DGP是yi=xTiβ+ui，i=1，n、 证明真正的DGP具有最低的eGE相当于证明，对于任何测试集∑ni=1易-xTiβn∑ni=1易-xTib公司n、 （A.21）相当于证明0 6nn∑i=1h易-xTib公司-易-xTiβ我<==> 0 6nn∑i=1易-xTib+yi-xTiβ易-xTib公司-yi+xTiβ<==> 0 6nn∑i=1易-xTib+yi-xTiβxTiβ-xTib公司.定义δ=β-b、 如下，0 6nn∑i=12yi-xTib公司-xTiβxTiδ<==> 0 6nn∑i=12yi-xTiβ+xTiβ-xTib公司-xTiβxTiδ<==> 0 6nn∑i=12yi-2xTiβ+xTiδxTiδ<==> 0 6nn∑i=12ui+xTiδxTiδ因此，证明命题1等价于证明thatn∑i=12ui+xTiδxTiδ> 0由于E（XTu）=0（从A2开始），因此它遵循nn∑i=1 Ixip→ 0<==>nn型∑i=1uixTi公司βP→ 0和NN∑i=1uixTi公司b→ 0因此，渐进式ynn∑i=12ui+xTiδxTiδ=nn型∑i=12δuixTi+nn∑i=1xTiδP→ ExTiδ> 0证明。命题2命题2的证明非常简单。当λ=0时，bλ=波士。n→ ∞bλ=0=bOLSL→ βλl稠度。这保证了→∞,β∈{bλ}，或真正的DGP在备选bλ列表中。证据引理2Eq。

（9） 和（10）是等式的直接应用。（3） 和（4）和（5）。因此，我们的分析分布在N（0，σ），OLSQ的损失函数（bOLS）~ σχ（1）。因此，在式（3）中，最后一个RHS项为=2σns√1.-通过将上述值替换为方程式中的值。（3） 和（4）和（5），我们有等式（9）和（10）。证据推论1通过求出最小期望值n（0，σ），即OLSQ（bOLS）的损失函数，可以获得最佳的kornt/nsc~ σχ（1）。因此，Rns（波士| Y，X）~σn/Kχ（n/K）。关于等式（4）和（5）的RHS，KK∑q=1Rnt（btrain | Yqt，Xqt）~σn（K-1） /千克安马n（K-1） 2K，2K（K-1） n个因此，式（4）和（5）中RHS的期望值为σ1-√ε+2σ√1.-π（不适用）和K*= argminKσ1-√ε+2σ√1.-π（不适用）证明。命题3在证明中，bOLSis是从训练集（Yt，Xt）失效中学习到的OLS估计，BQ是在交叉验证中从第QTH训练集（Yqt，Xqt）学习到的OLS估计。验证。如引理2所示，等式（9）至少以概率π（1）成立-1/nt），Rns（bOLS | Ys，Xs）6Rnt（bOLS | Yt，Xt）1-√ε+（A.22）b∈ {bλ}测试集上的blassoge，Rns（b*|Ys，Xs）6 Rns（bOLS | Ys，Xs）（A.23）我们有纽约-Xsb公司*knt（kYt-XtbOLSk）1-√定义ε+（A.24） = 波士-b*, 年初至今-XtbOLS=etand Ys-XSBOL=es，ns（kYs-Xsb公司*k） =ns（kYs-XSBOL+Xsk） =ns（kes+Xsk） =ns（es+Xs)T（es+Xs)=ns（kesk+2eTsXs + TXTsXs) （A.25）因此，ns（kYs-Xsb公司*k） nt（kYt-XtbOLSk）1-√ε+（A.26）表示ns（kesk）+nseTsXs +ns系列TXTsXs 6nt（ketk）1-√ε+。（A.27）如下所示：k）nt（ketk）1-√ε-ns（kesk）-nseTsXs + 。（A.28）通过Holder不等式，-eTsXs 6 | eTsXs| 6 keTsXsk∞kk、 （A.29）如下所示：k）nt（ketk）1-√ε-ns（kesk）+nskeTsXsk公司∞kk+。

（A.30）同样，自kb*k6 kbOLSkkk=千磅-b*k6 kb*k+kbOLSk6 2kbOLSk（A.31）因此，我们有避风港（kXsk）nt（ketk）1-√ε-ns（kesk）+nskeTsXsk公司∞kbOLSk+（A.32）K-折叠交叉验证。如果惩罚回归是通过k次交叉验证实现的，那么基于引理2，以下界限的概率至少为（1-1/K）πKK∑q=1Rns（bqOLS | Xqs，Yqs）6KK∑q=1Rnt（bqOLS | Xqt，Yqt）1-√ε+。（A.33）自b*最小化（1/K）∑Kq=在{bλ}，KK之间的1Rns（b | Xqs，Yqs）∑q=1Rns（b*q | Xqs，Yqs）6KK∑q=1Rns（bhols | Xqs，Yqs），（A.34）它遵循thatKK∑q=1Rns（b*q | Xqs，Yqs）6Rnt（bqOLS | Xqt，Yqt）1-√ε+。（A.35）通过定义q=bqOLS-b*Q和eqs=Yqs-XQSBsolswe避风港（KYQ-Xqsb公司*qk）=ns（kYqs-XqsbqOLS+Xqsqk）=ns（keqs+Xqsqk）=ns（等式+Xqsq） T（等式+x等式q） =ns（keqsk）+2（eqs）TXqsq+(q） T（Xqs）TXqsq. （A.36）因此，KK∑q=1ns（KYQ）-Xqsb公司*k）nt公司Yqt公司-XqtbqOLS1.-√ε+（A.37）表示kk∑q=1ns（keqsk）+KK∑q=1ns（eqs）TXs +KK公司∑q=1ns(q） T（Xqs）T（Xqs）qKK公司∑q=1nt（keqtk）1-√ε+。（A.38）下面是thatKK∑q=1nskXqskK公司∑Kq=1nt（keqtk）1-√ε-K∑Kq=1eqskns-K∑Kq=1nsEQTXqsq+。（A.39）通过Holder不等式，-1（eqs）TXqsq6 |（eqs）TXqsq | 6 k（eqs）TXqsk∞kqk。（A.40）下面是thatKK∑q=1ns（kXqsk）K∑Kq=1nt（keqtk）1-√ε-K∑Kq=1（keqsk）ns+K∑Kq=1nsk（eqs）TXqsk∞kqk+。（A.41）同样，自kb*k6 kbOLSkkqk=KBQOL-b*qk6 kb*因此，我们有∑q=1ns（kXqsk）K∑Kq=1nt（keqtk）1-√ε-K∑Kq=1（keqsk）ns+K∑Kq=1nsk（eqs）TXqsk∞kbqOLSk+。（A.43）证明。定理3证明来自命题3。验证。（1/n）kXsk> ρkkρ（Xs）tx因此，ρ（kk） ns（kXsk）nt（ketk）1-√ε-keskns公司+nsk（es）TXsk∞kbOLSk+。（A.44）通过Minkowski不等式，上述可以简化为Btrain-布拉索克斯ntρ（ketk）1-√ε-kesknsρ+snsρk（es）TXsk∞kbOLSk+rρ。（A.45）K-折叠交叉验证。对于第四轮的OLS估计，（1/n）Xqs公司> ρkk、 式中，ρqis为第q轮中（Xqs）txqs的最小特征值。

因此，如果我们从所有K轮中逐轮确定所有最小特征值的最小值，ρ*= 最小值{ρq|q∈ [1，K]}，然后kk∑q=1ρ*（k）qk）KK∑q=1ns（kXqsqk）KK公司∑q=1nt（keqtk）1-√ε-KK公司∑q=1（keqsk）ns+KK公司∑q=1nsk（eqs）TXqsk∞kbqOLSk+。（A.46）因此，KK∑q=1B工具-b*qKK公司∑q=1ρ*nt公司eqt1.-√ε-KK公司∑q=1ρ*nskeqsk公司+KK公司∑q=1ρ*ns系列（eqs）TXs∞B工具+ρ*（A.47）证明。推论2（b的L-一致性*)验证。在定理3中，kbtrain-布拉索克斯ntρ（ketk）1-√ε-kesknsρ+snsρk（es）TXsk∞kbOLSk+rρ。（A.48）Sincelim▄无→∞nt（ketk）1-√ε=limn/p→∞（kesk）ns=（kuk）nt，limn/log（p）→∞nsk（es）TXsk∞= 0如果u~N（0，σ），和limN/p→∞=0，因此，kb*-βk→ 0.K倍交叉验证。在定理3中，KK∑q=1(B工具-b*q)KK公司∑q=1ρ*nt公司eqt1.-√ε-KK公司∑q=1ρ*nskeqsk公司+KK公司∑q=1ρ*ns系列（eqs）TXs∞kbtraink+ρ*（A.49）Sincelim▄无→∞nt（keqtk）1-√ε=limn/p→∞（keqsk）ns=（kuk）nt，limn/log（p）→∞nsk（eqs）TXqsk∞= 如果你~N（0，σ），和limN/p→∞=0，因此，（1/K）∑Kq=1B工具-b*q→ 0.证明。命题4如上述命题4的讨论所示，而命题3是有效的DP>nLbFSRb*十、较长的强凸。因此，导出KBFSR的上界-b*k、 我们需要使用严格的特征值条件（Bickel et al.，2009；Meinshausen and Yu，2009；Zhang，2009）。限制特征值条件。对于某些整数和正数，对于HFSR和Lasso都满足以下条件minj{1，…，p}，| J | 6sminkJck6kkJkkX公司k√nk公司Jk=ρre>0JJand jc是J的补集。jc也可以被视为k的支持k、 因此，验证。对于FSR，（1/n）kXsbFSR-Xsb公司*k=（1/n）kXsk> ρrekk、 其中ρ是（Xs）TXs的最小特征值。因此，限制特征值条件意味着ρre（kk） ns（kXsk）nt（ketk）1-√ε-keskns公司+nsk（es）TXsk∞kbFSRk+。（A.50）通过Minkowski不等式，上述可简化为Btrain-布拉索克斯ntρre（ketk）1-√ε-kesknsρre+snsρrek（es）TXsk∞kbFSRk+rρre。

（A.51）K倍交叉验证。对于第q轮的FSR估计，受限特征值condi（1/n）Xqs公司> ρqrek第qt轮中的kρqrefor（Xqs）txqs。因此，如果我们通过所有K轮的循环特征值确定所有最小轮的最小值，ρ*re=最小值{ρqre|q∈ [1，K]}，然后kk∑q=1ρ*re（kqk）KK∑q=1ns（kXqsqk）KK公司∑q=1nt（keqtk）1-√ε-KK公司∑q=1（keqsk）ns+KK公司∑q=1nsk（eqs）TXqsk∞kbqFSRk+。（A.52）因此，KK∑q=1B工具-b*qKK公司∑q=1ρ*租金eqt1.-√ε-KK公司∑q=1ρ*伦斯克斯克+KK公司∑q=1ρ*伦斯（eqs）TXs∞bqFSR+ρ*re（A.53）附录B：模拟图B1B2B3B4B5B6B7B8B9B10202468101214（A）Lasso EstimateSB1B2B3B4B6B7B8B9B10202468101214（B）OLS estimates05101520250.994 0.995 0.996 0.997 0.998 0.999GR2countfillLassoOLS（c）GR直方图图9：DGP，n=250，p=200，σ=1。b1b2b3b4b5b6b7b8b9b1010505101520（a）套索估计SB1B2B3B4B5B6B7B8B9B1010505101520（b）FSR估计S010203040500.00 0.25 0.50 0.75 1.00GR2countfillFSRLasso（c）GR图10的直方图：n=250，p=500，σ=1的DGP。b1b2b3b4b5b6b7b8b9b10202468101214（a）Lasso estimatesb1b2b3b4b5b6b7b8b9b1010505101520（b）OLS estimates0510150.88 0.92 0.96GR2countfillLassoOLS（c）GR直方图图11：n=250，p=200，σ=5的DGP。b1b2b3b4b5b6b7b8b9b1010505101520（a）套索估计SB1B2B3B4B5B6B7B8B9B1010505101520（b）FSR估计S010203040500.00 0.25 0.50 0.75 1.00GR2countfillFSRLasso（c）GR图12的直方图：n=250，p=500，σ=5的DGP。