泛化误差最小化：一种新的模型评估方法

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Generalization error minimization: a new approach to model evaluation
  and selection with an application to penalized regression》
---
作者：
Ning Xu, Jian Hong, Timothy C.G. Fisher
---
最新提交年份：
2016
---
英文摘要：
  We study model evaluation and model selection from the perspective of generalization ability (GA): the ability of a model to predict outcomes in new samples from the same population. We believe that GA is one way formally to address concerns about the external validity of a model. The GA of a model estimated on a sample can be measured by its empirical out-of-sample errors, called the generalization errors (GE). We derive upper bounds for the GE, which depend on sample sizes, model complexity and the distribution of the loss function. The upper bounds can be used to evaluate the GA of a model, ex ante. We propose using generalization error minimization (GEM) as a framework for model selection. Using GEM, we are able to unify a big class of penalized regression estimators, including lasso, ridge and bridge, under the same set of assumptions. We establish finite-sample and asymptotic properties (including $\\mathcal{L}_2$-consistency) of the GEM estimator for both the $n \\geqslant p$ and the $n < p$ cases. We also derive the $\\mathcal{L}_2$-distance between the penalized and corresponding unpenalized regression estimates. In practice, GEM can be implemented by validation or cross-validation. We show that the GE bounds can be used for selecting the optimal number of folds in $K$-fold cross-validation. We propose a variant of $R^2$, the $GR^2$, as a measure of GA, which considers both both in-sample and out-of-sample goodness of fit. Simulations are used to demonstrate our key results.
---
中文摘要：
我们从泛化能力（GA）的角度研究模型评估和模型选择：模型在来自相同人群的新样本中预测结果的能力。我们认为，GA是正式解决模型外部有效性问题的一种方法。基于样本估计的模型的GA可以通过其经验样本外误差来衡量，称为泛化误差（GE）。我们推导了GE的上界，它取决于样本大小、模型复杂性和损失函数的分布。上界可用于预先评估模型的GA。我们建议使用泛化误差最小化（GEM）作为模型选择的框架。使用GEM，我们能够在相同的假设集下统一一大类惩罚回归估计量，包括lasso、ridge和bridge。我们建立了$n\\geqslant p$和$n<p$情况下GEM估计量的有限样本和渐近性质（包括$\\数学{L}\\u 2$-一致性）。我们还推导了惩罚回归估计和相应的未赋能回归估计之间的$\\数学{L}\\u 2$-距离。在实践中，GEM可以通过验证或交叉验证来实现。我们表明，GE边界可用于在$K$折叠交叉验证中选择最佳折叠数。我们提出了一个变量$R^2$，即$GR^2$，作为GA的度量，它同时考虑了样本内和样本外的拟合优度。通过仿真验证了我们的主要结果。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--
一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
--> Generalization_error_minimization:_a_new_approach_to_model_evaluation_and_select.pdf (1.59 MB)

2022-5-26 19:49:52 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Minimization distribution perspective Assumptions Simulations

泛化误差最小化：模型评估和选择的新方法及其在惩罚回归中的应用*悉尼大学徐宁经济学院。xu@sydney.edu.auJian悉尼大学经济学院。hong@sydney.edu.auTimothy悉尼大学C.G.费舍尔经济学院。fisher@sydney.edu.auOctober2016年6月19日模型的摘要有效性。基于样本估计的模型的GA可以通过其经验LGE来衡量，经验LGE取决于样本大小、模型复杂性和损失函数的分布。对于then>和then<两种情况，GEM估计量的性质（包括一致性）。我们还推导了惩罚和相应的非激励回归估计之间的距离。在实践中，GEM可以通过验证或交叉验证来实现。我们表明，GE边界可用于选择油墨折叠交叉验证的最佳折叠次数。我们提出了一个变量of R，theGR，作为GA的度量，它考虑了*作者要感谢迈克·贝恩、科林·卡梅隆、彼得·霍尔和徐胜尚对早期草稿的宝贵评论。我们还要感谢第12届计量经济学理论与应用国际研讨会和第26届新西兰计量经济学研究小组的与会者以及犹他州、新南威尔士州和墨尔本大学的研讨会与会者提出的有用问题和意见。Fisher感谢澳大利亚研究委员会（DP0663477）的财政支持。arXiv:1610.05448v1【统计ML】2016年10月18日样本内和样本外的拟合优度。

模拟用于演示关键结果。关键词大小回归、模型选择、交叉验证、偏差-方差权衡、线性回归一致性、套索、外部有效性、高维数据。1引言在计量经济学中，关于人口的统计推断通常是使用模型来形成的。根据样本估计的模型可以推广到人口。判断estimatedmodel对泛化是否有效称为模型评估过程。通常使用手头的样本数据来评估模型的性能，许多不同的场景称为“内部有效性”。对应用计量经济学越来越感兴趣的观点考虑了模型在样本外数据上的性能。在本文中，我们重点关注从给定样本估计的模型拟合新样本的能力，称为模型的泛化能力（GA）。泛化能力是外部有效性的一个方面，即学习结果泛化到其他环境的程度。研究人员评估试点项目和随机试验围绕模型估计和评估的不经济问题。鉴于遗传算法的特性，如何利用遗传算法进行估计？这些问题只得到了外部有效性方面的工作，重点是特定估计方法的特性。Angrist和GA，这很容易通过经验实现。对这两个群体进行了充分控制。然而，新样本很难事先测量GA。本文中，当只有一个单一的样本外经验误差时，我们称之为经验泛化误差（eGE）。属性，例如估计中的样本内和样本外数据之间的权衡。

此外，可以扩展上界来分析验证的性能，K-折叠交叉验证透视图。泛化误差最小化（GEM），作为模型选择的框架。使用惩罚方差权衡与GEM以及样本内和样本外之间的权衡有关。此外，GEM框架允许我们为偏差方差权衡中隐含的惩罚回归建立其他属性。1.1模型选择和惩罚回归的方法。考虑标准线性回归模型y=Xβ+uY∈ RnX公司∈ Rn×pu∈ i.i.d.随机误差的Rnvector。参数向量β∈ Rp可能是稀疏的，因为许多变量之间的互信息得分（Friedman et al.，1997，2004）。目标函数：minbλn（kY-Xbλk）+λkbλkγ（1）k·kγLγλ>0λ=0λ=1γ=0 Lasso（Tibshirani，1996）对应于γ=1的情况（anlpaulty）。当γ=2（anlpaulty）时，我们有岭估计（Hoerl和Kennard，1970）。对于任何γ>1，我们有bridgeestimator（Frank和Friedman，1993），作为岭的推广。推导惩罚回归估计值bλ的一种方法是使用交叉验证方法，即公式（1）中的最小化问题，针对惩罚参数λ的每个值推导abλ。当λ的可行范围耗尽时，选择在所有估计值{bλ}中产生最小样本外误差的估计值作为惩罚回归估计值，b*.算法1：交叉验证下的惩罚回归估计1。设置惩罚参数λ=0.2。T确保T和S中的惩罚回归残差e满足e（e）=0）。3.S.4上的bλTbλ误差。将惩罚参数λ增加预设步长。重复2和3，直到bλ=0.5。选择b*是使S上的预测误差最小的bλ（1995）；Chickering等人。

（2004）表明IC有缺点：他们倾向于选择更多变量和Fu（2000）；Meinshausen和Bühlmann（2006）；赵和余（2006）表明，L惩罚回归在不同的环境中是一致的。Huang等人（2008）；Hoerl和Kennard（1970）证明了γ>1的惩罚回归的一致性。邹（2006）；Caner（2009）；Friedman et al.（2010）组合搜索算法可能在计算上很难实现，尤其是在高维数据中。1.2主要结果和贡献本文的中心思想是，模型评估和模型选择可以从权衡、样本内和样本外数据之间的权衡以及验证和交叉验证的性质重新构建。同样，GA的概念也可以用来推导模型选择的其他理论属性。具体来说，对于回归分析的情况，我们使用GEM来统一变量，启发式地最多30个。γ>0的惩罚回归类的性质表明，惩罚回归的有限样本和共有性质与GA.First contributionChervonenkis（1971a，b）密切相关；McDonald等人（2011年）；Smale和Zhou（2009）；Hu和Zhou（2009），《遗传算法传统分析的内在品质》侧重于总体误差与样本内经验误差之间的关系。改进遗传算法的传统方法涉及计算高斯复杂度，这通常很难计算。相反，对于任何样本外数据，我们量化了从样本内数据学习的极值估计的预测误差的界。此外，我们还表明，通过validationselection可以直接实现经验GA分析。第二个贡献示例和样本外测试，GA与传统的偏差-方差权衡和模型选择相关联。

具体而言：模型选择对于改进估计模型的遗传算法是必要的。GEM估计的模型不仅会获得最高的遗传算法，因此具有一定程度的外部有效性，而且还具有许多良好的理论性质。GEM还与交叉验证的属性有着天然的联系。正如瓦里安（2014）所言，交叉验证在经济学的实证分析中可以被更多地采用，尤其是在大数据集在许多领域变得越来越可用的情况下。本文的第三个贡献是利用GA分析来统一以前建立的一类惩罚回归，例如概率一致性或oracle属性（Knight和Fu，GA分析表明，可以更普遍地建立类似的性质，对于更广泛的类别，任何惩罚回归估计都取决于其各自的GAs。第四个贡献K在无模型环境下进行交叉验证。我们还展示了K如何影响交叉验证的偏差-方差权衡：K越高，方差越大，偏差越小。本文的组织结构如下：s紧随其后。在第二节中，我们提出了经验推广误差和交叉验证。在第3节中，我们将GEM框架作为惩罚回归的模型选择标准。我们还展示了惩罚回归的一些新性质，即lp 6 np>nOver fitting。我们还提出了一种基于经验泛化误差的过度拟合度量，称为泛化误差。第5节最后简要讨论了我们的结果。证明Pendix B.2泛化能力和有限样本泛化错误的上限在本节中，我们提出了eGE，即模型GA的度量，作为评估模型的新角度。此外，这些上界可用于研究交叉验证和有限样本验证的性质。

所有这些结果表明，eGE是一种方便实用的模型评价标准。2.1泛化能力、泛化误差和过度拟合在计量经济学中，选择数据的最佳近似值通常涉及测量损失函数Q（b | yi，xi），定义为一个函数，该函数取决于样本点（yi，xi）的一些估计值。总体误差（或风险）函数定义为：asR（b | Y，X）=ZQ（b | Y，X）dF（Y，X）F（Y，X）yxF（Y，X）。给定一个随机样本（Y，X），我们将经验误差函数定义为：n（b | Y，X）=nn∑i=1Q（b | yi，xi）。bRn（b | Y，X）=n∑ni=1（yi-xTib）。估计员（Amemiya，1985）。然而，在许多情况下，最小化样本内经验误差修正值（In-sample experimental errorover fittings）过于适合样本数据，影响了其样本外性能。因此，模型的样本不完整性（内部有效性）可能不是模型普遍适用性（外部有效性）的可靠指标。泛化能力衡量极值估计器在样本外数据上的表现。GA可以通过样本外数据的实际值和预测值之间的差值来衡量。本文用样本外经验误差泛函来度量遗传算法。定义1（训练集、测试集、经验训练误差和经验概括误差）。让（yi，xi）表示f（y，x）中的一个样本点，f（y，x）是（y，x）的联合分布。设∧表示损失函数B∈ ∧Q（b | yi，xi），i=1，。。。，n填充错误功能lb∈ ∧R（b | Y，X）=RQ（b | Y，X）dF（Y，X）经验误差泛函为Rn（b | Y，X）=n∑ni=1Q（b | yi，xi）。2、给定一个样本（Y，X），训练集（Yt，Xt）∈ Rnt×首选用于估计B（即样本内数据）和测试集（Ys、Xs）的数据∈ Rns×首选不用于估算B的数据（即样本外数据）。Leten=最小值{ns，nt}。

训练集、测试集和总样本的有效样本量分别为nt/p、ns/p和n/p。B列车∈ ∧btrainRnt（b | Yt，Xt）验证，BtrainISRNT（btrain | Yt，Xt）的经验训练误差（eTE），经验泛化误差（eGE）isRns（btrain | Ys，Xs）和人口误差ISR（btrain | Y，X）。4.ForK-fold交叉验证，将第qt轮中的训练集和测试集分别表示为（Yqt，Xqt）和（Yqs，Xqs）。在每一轮中，训练集的样本量不等于n（K-1） /Kns=n/KRns（btrain | Yqs，Xqs）Rnt（btrain | Yqt，Xqt）分别是第qt轮交叉验证中的eTE。测试集。在对训练集进行估计后，将拟合模型应用于测试集，以计算验证的eGE。K-折叠交叉验证可被视为“多轮验证”。因此，如果模型在样本数据中表现不佳，从而影响了其样本外性能，我们认为模型在数据中表现不佳。在交叉验证方法中，样本随机分为k个亚样本或折叠。OneK公司-1KKK-1获得了拟合模型。K个eGE的平均值产生交叉验证的eGE。交叉验证使用训练集和测试集中的每个数据点。该方法还减少了这表明交叉验证对重采样错误更具鲁棒性，平均而言，交叉验证至少可以执行验证。在第三节中，我们研究了惩罚极值估计在验证和交叉验证情况下的泛化能力。为了研究模型的eGE特性，本文这一部分的分析需要三个假设，如下所述。假设Sa1。在概率空间中(Ohm,F，P），我们假设损失函数q（b | y，x），R（b | y，x）Rn（b | y，x）b的可测性∈ ∧采样点（yi，xi）。

损失函数的分布具有闭合形式的一阶矩。A2{（yi，xi）}ni=1从样本中随机划分。A3.B列车∈ ∧Btrain在概率上收敛到最小总体误差为n→∞.对于假设A1–A3，需要进行一些注释。损失分布假设A1简化了分析。存在和收敛假设A3是标准的（例如，见Newey和McFadden（1994））。非i.i.d.数据。虽然Vapnik和Chervonenkis（1974a，b）中关于GA的原始研究强加了观测到的随机变量，但可以将该变量添加到模型中以控制异质性，在实践中，研究人员任意选择K=5、10、20、40或n。例如，见Yu（1994）；Cesa Bianchi等人（2004年）；Smale和Zhou（2009）；Mohri和Rostamizadeh（2009）；Kakade和Tiwari（2009年）；McDonald等人。

（2011年）。见Michalski和Yashin（1986）；Skrondal和Rabe Hesketh（2004）；王和峰（2005）；Yu和Joachims（2009）；Pearl（2015）。作为第一步的独立案例。给定A1–A3，eTE和eGE都收敛于总体误差：limen→∞Rnt（btrain | Yt，Xt）=下限→∞Rns（btrain | Ys，Xs）=R（btrain | Y，X）。2.2经验推广误差的上界估计量R（b | Y，X）总体误差的上界，而不是最小化eTE。样本内和样本外的平衡由Vapnik和ChervonenkisVC在R（b | Y，X）和Rnt（b | Y，X）之间的不平等关系表示。引理1（VC不等式：总体误差的上界）。在A1–A3下，以下不等式的概率至少为1-η，B列车∈ ∧，和n∈N+，R（B雨水| Y，X）6 Rnt（B雨水| Yt，Xt）+√ε1-√εRnt（btrain | Yt，Xt）（2）R（btrain | Y，X）Rnt（btrain | Yt，Xt）ε=（1/nt）[hln（nt/h）+h-ln（η）]，h是VC尺寸。h参数的数量p，它不容易扩展为非线性PHTool中的复杂性度量，用于线性、非线性和非嵌套模型选择。αβ，而Smale和Zhou（2009）推广了面板数据的VC不等式。此外，一些Yu和Joachims，2009年；Pearl，2015）表明，异质性可以在模型的异质性背景下进行控制。模型简单），训练集的有效样本量（nt/h）大，ε小，第二伪维数和Natarajan维数。其中大多数指标，如VC维度，都是从Glivenko-Cantelli经验过程中得出的。VC公司维（）上面的跳跃属于这个人口错误：RHS属于（2） eTE：1stRHS学期属于（2） 第2个DRHS学期属于（2） 错误最佳模型过度装配UnderfittingFigure图1:VC不等式和总体误差的上界变得更大。