统计性质的启发复杂性

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Elicitation Complexity of Statistical Properties》
---
作者：
Rafael Frongillo, Ian A. Kash
---
最新提交年份：
2020
---
英文摘要：
  A property, or statistical functional, is said to be elicitable if it minimizes expected loss for some loss function. The study of which properties are elicitable sheds light on the capabilities and limitations of point estimation and empirical risk minimization. While recent work asks which properties are elicitable, we instead advocate for a more nuanced question: how many dimensions are required to indirectly elicit a given property? This number is called the elicitation complexity of the property. We lay the foundation for a general theory of elicitation complexity, including several basic results about how elicitation complexity behaves, and the complexity of standard properties of interest. Building on this foundation, our main result gives tight complexity bounds for the broad class of Bayes risks. We apply these results to several properties of interest, including variance, entropy, norms, and several classes of financial risk measures. We conclude with discussion and open directions.
---
中文摘要：
一个属性，或者说统计函数，如果它使某个损失函数的预期损失最小化，则被认为是可导出的。研究哪些属性是可引出的，有助于揭示点估计和经验风险最小化的能力和局限性。虽然最近的研究询问哪些属性是可引出的，但我们主张提出一个更微妙的问题：间接引出给定属性需要多少维度？这个数字被称为属性的启发复杂性。我们为启发复杂性的一般理论奠定了基础，包括关于启发复杂性如何表现的几个基本结果，以及感兴趣的标准属性的复杂性。在此基础上，我们的主要结果给出了广义贝叶斯风险的严格复杂性界限。我们将这些结果应用于几个感兴趣的属性，包括方差、熵、范数和几类金融风险度量。我们以讨论和开放的方向作为结束。
---
分类信息：

一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Mathematics        数学
二级分类：Optimization and Control        优化与控制
分类描述：Operations research, linear programming, control theory, systems theory, optimal control, game theory
运筹学，线性规划，控制论，系统论，最优控制，博弈论
--
一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Quantitative Finance        数量金融学
二级分类：Mathematical Finance        数学金融学
分类描述：Mathematical and analytical methods of finance, including stochastic, probabilistic and functional analysis, algebraic, geometric and other methods
金融的数学和分析方法，包括随机、概率和泛函分析、代数、几何和其他方法
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
--> Elicitation_Complexity_of_Statistical_Properties.pdf (618.16 KB)

2022-5-8 10:27:11 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：复杂性 Mathematical Optimization Minimization CAPABILITIES

拉斐尔·弗朗吉洛统计性质的启发复杂性科罗拉多大学博尔德分校计算机科学系美国科罗拉多州博尔德1111工程博士80309raf@colorado.eduand伊利诺伊大学芝加哥分校计算机科学系IAN A.Kashd 851 S.Morgan（M/C 152），伊利诺伊州芝加哥SEO 1120室，60607-7053iankash@uic.eduSummaryA属性，或统计函数，如果它使某些损失函数的预期损失最小化，则称为可导出的。研究哪些属性是可引出的，有助于揭示点估计和经验风险最小化的能力和局限性。虽然最近的研究询问哪些属性是可引出的，但我们主张提出一个更微妙的问题：间接引出给定属性需要多少维度？这个数字被称为属性的elicitationcomplexity。我们为启发复杂性的一般理论奠定了基础，包括关于启发复杂性如何表现的几个基本结果，以及感兴趣的标准属性的复杂性。在此基础上，我们的主要结果给出了广义贝叶斯风险的严格复杂性界限。我们将这些结果应用于几个感兴趣的属性，包括方差、熵、范数和几类金融风险度量。我们以讨论和开放的方向结束。关键词：启发性；评分规则；损失函数；经验风险最小化；点预测；风险度量。1.简介损失函数在整个统计和机器学习过程中使用，从估计和模型选择，到预测排名和比较（Gneiting&Raftery，2007；Gneiting，2011）。特别是，通过普遍存在的经验风险最小化范式，选择了一个模型来最小化数据集上的平均损失函数，可能是通过正则化。

为了理解经验风险最小化的渐近行为，为了更广泛地理解选择损失函数时的设计权衡，我们可能会问损失本身具有什么性质。在这里，属性是一个函数，为每个分布分配一个值或值向量，如果对于每个分布，属性值唯一地最小化了预期损失，那么损失就会产生一个属性。因此，研究哪些属性是可引出的，可以通过经验风险最小化来解决哪些统计数据是可计算的（Steinwart&Christmann，2008；Steinwart等人，2014；Agarwal&Agarwal，2015；Frongillo&Kash，2015）。关于财产启发的文献来源于统计学（Savage，1971年；Osband，1985年；Gneiting&Raftery，2007年；Gneiting，2011年），最近又扩展到机器学习（Abernethy&Frongillo，2012年；Steinwart等人，2014年；Agarwal&Agarwal，2015年；Frongillo&Kash，2015年）、经济学（Lambert，2018年；Lambert&Shoham，2009年），以及融资（Emmer等人，2015年；Bellini&Bignozzi，2015年；Ziegel，2016年；Wang&Ziegel，2015年；Fissler&Ziegel，2016年）。由Savage（1971）发起的R.Frongillo和I.A.Kashin的一系列工作2着眼于表征问题：哪些损失导致分布的平均值，或者更一般地说是向量值随机变量的期望值（Banerjeet al.，2005；Frongillo&Kash，2015），以及哪些实值属性是可引发的（Lambert et al.，2008；Steinwart et al.，2014；Lambert，2018）。除特殊情况外，可诱导的载体价值属性的表征仍处于开放状态，只有部分进展（Frongillo&Kash，2015；Agarwal&Agarwal，2015；Fissler&Ziegel，2016，2019b）。最近一项金融领域的平行研究试图了解，在用于帮助监管金融机构风险的几种金融风险措施中，哪些是可以引出的；查阅

以上参考文献。通常情况下，这些研究得出的结论是，风险度量是无法得出的（Gneiting，2011；Wang&Ziegel，2015；Wang&Wei，2018），但值得注意的例外是广义分位数，例如风险价值和预期值，以及预期效用（Ziegel，2016；Bellini&Bignozzi，2015）。在所有关于财产启发的文献中，有一个问题是核心的：哪些财产是可以启发的？然而，很明显，如果首先使用标准的适当评分规则得出整个分布，那么所有属性都是“间接”可得出的（Gneiting&Raftery，2007）。因此，如果发现非统计属性是不可导出的，例如方差，而不是放弃itone，则可能会询问需要多少维度才能导出它。因此，在目前的工作中，我们提出了一个更微妙的问题：属性有多容易引出？具体而言，我们对Lambert等人（2008年）提出的启发复杂性的概念进行了调整和推广，该概念捕捉到了人们在将相关财产的经验风险最小化时需要多少预测维度。特别是，对于给定的感兴趣的属性，启发复杂性的上界通常会给出统计上一致的替代损失。上界和下界都涉及间接启发所需的中间假设范围的维度；见§3·7。我们的主要结果给出了一大类风险度量的启发复杂性的严格界限。这一结果深受Fissler和Ziegel（2016）最近工作的启发，表明支持k的spectralrisk度量的启发复杂性最多为k+1。光谱风险度量，包括条件风险价值（CVaR），也称为预期短缺，是金融界正在考虑的度量之一。

他们的结果表明，虽然在经典意义上不可激发，但光谱风险度量的激发复杂性仍然很低，henceone可以为其开发合理的回归和“回溯测试”程序（Fissler等人，2016年；Rockafellar&Royset，2018年）。我们的结果扩展到这些和许多其他风险度量（§3·4–3·6），通常也提供了匹配的复杂性下限。其他相关工作出现在机器学习中，给出了线性和凸可诱导属性的诱导复杂性的界限（Ramaswamy等人，2013年；Agarwal&Agarwal，2015年）；参见§2·4、§6。我们的贡献如下。我们介绍了关于给定属性类别的启发复杂性的一般定义，该定义足够灵活，可以捕捉文献中以前的定义，但也带来了一些优势（§2·2；§E·1）。我们的主要结果给出了广义贝叶斯风险的启发式复杂性的匹配上下界，即作为基础分布函数的最优预期损失（§2·3）。然后，我们将这一结果应用于几个感兴趣的设置，包括熵和分布规范、金融风险度量和经验风险最小化（§3）。我们通过建立期望和分位数等几个基本性质的界限，以及关于激发复杂度在各种操作中如何表现的结果，为更一般的激发复杂度研究奠定了基础（§4）。然后我们证明我们的主要结果（§5），并讨论各种开放性问题（§6）。设置和主要结果2·1。初步假设Y是一组结果，P是Y上的一组凸概率测度。关于凸性假设何时可以取消，请参见§E·5。

启发的目的是了解p的分布∈ P、 具体地说，一些函数或性质Γ（P），如均值或方差，通过最小化损失函数得出统计性质3的复杂性。当Y=Rk时，我们将假设Borelσ-代数，当Y是泛型时，σ-代数将保持隐式，但相关函数需要是可测的和P-可积的，也就是说，对于每个P∈ P.自始至终，我们将使用Y作为代表结果本身的随机变量，即Y:Y→ Y、 Y 7→ y、 让X代表任意随机变量。备注1。当Y=R时，在许多情况下讨论Y形式的随机变量的性质更为自然：Ohm → Y、 比如Γ（Y）=E[Y]，现在在哪里Ohm 结果集是否被赋予了一些固定的基本度量u，从而消除了对p的需要。在大多数示例中，例如本文讨论的所有风险度量，Γ仅通过其定律依赖于Y，在这种情况下，设计仅依赖于Y=Y（ω）的损失函数也很自然，而不是允许它们直接访问ω∈ Ohm. 因此，在不失去普遍性的情况下，我们可以定义Γ（p）Γ（Y），其中p是Y的定律，让结果集再次为Y，Y是身份图；e、 g.Γ（p）=Ep[Y]。这种转换是本文中符号背后的推理。有了符号，我们现在可以介绍我们的中心研究对象，一个属性。定义1。设R是一组非空的报告。属性是函数Γ：P→ R、 它将所需的报告值关联到每个分布。水平集Γr.={p∈ P | r=Γ（P）}是与报告值r相对应的分布P的集合∈ R.集值性质是函数Γ：P→ 2R，其中2R表示R的功率集。给定一个性质Γ，我们感兴趣的是一个损失函数的存在性，其在p下的期望值被Γ（p）最小化。

损失函数可以被认为是激励风险中性人根据其个人信念揭示财产的正确价值。定义2。损失函数，或简称损失，是一个函数L:R×Y→ 使得L（R，·）对所有R都是P-可积的∈ R.损失L引出属性Γ：P→ R如果全部p∈ P、 {Γ（P）}=argminrL（r，P），其中L（r，P）。=Ep[L（r，Y）]。如果某项财产因某种损失而被征用，则该财产是可征用的。如果weinstead有Γ（p）∈ argminrL（r，p）表示所有p∈ P、 我们说L弱地引出Γ。例如，当Y=R时，平均值Γ（p）=Ep[Y]可通过平方损失L（R，Y）=（R）得出- y） ，前提是相关预期明确。虽然常数损失函数弱地导出所有属性，因此弱的可导出性是微不足道的，但讨论弱限制属性的损失集是有用的，如定理3所示。当Γ是集值的时候，我们说如果Γ（p）=argminrL（r，p），则L导出Γ，即预期损失的最小值集由Γ给出（Frongillo&Kash，2015）。例如，中位数可以设定值，例如对于具有断开支持的分布，由L（r，y）=| r得出- y |在上述意义上。我们没有开发组成集值映射所需的符号来定义这些一般属性的引出复杂性，而是仅在需要时才引用集值属性，尤其是在定理3和§E·3中，否则假设为单值属性。2·2. 启发复杂性为了激发启发复杂性，考虑众所周知的启发性必要条件，即属性的水平集是凸的。提案1（Osband（1985））。如果Γ是可导的，则水平集Γ对所有r都是稀有凸的∈Γ（P）。这种情况并不充分；例如，该模式具有凸水平集，但不可导出（Heinrich，2013）。

如图1（L，R）所示，虽然平均值Γ（p）=Ep[Y]具有凸水平集，但方差Var（p）=Ep[（Y- Ep[Y]）]没有，因此也不可引出（Osband，1985；Lambert，2018）。然而，请注意，写入Var（p）=Ep[Y]- Ep[Y]建议采用以下方法：首先导出属性^Γ（p）=（Ep[Y]，Ep[Y]），然后使用此信息计算R.Frongillo和I.A.Kashy=-1 y=1 y=0Γ0.4Γ-0.4（L）y=-1 y=1 y=0Γ0.16（M）y=-1 y=1y=0Γ0.8（R）图1：平均值、平方平均值和方差的水平集。对于每一个，我们使用结果空间Y={-1,0,1}，并描述投影到二维的概率单纯形。因此，pr[Y=0]=1的点分布p位于三角形的顶点，均匀分布在中心。平方平均和方差是不可导出的，这可以从它们的非凸水平集得到证明。（五十） Γ（p）=Ep[Y]的水平集。（M） Γ（p）=（Ep[Y]）的水平集。当r>0时，每个水平集r={p:p=r}由两条不相交的线段组成，对应于集合{p:Ep[Y]=√r} 和{p:Ep[Y]=-√r} 。自然连接函数f（r）=r来自平均值，因此Γ（p）=（Ep[Y]）=f（Ep[Y]）可以被认为是E[Y]的水平集的组合，以形成E[Y]的水平集。（R） Γ（p）=Var（p）=Ep[Y]的水平集- Ep[Y]，它们是非凸的。Var（p）。众所周知（Savage，1971年；Gneiting，2011年），这样一个^Γ可以作为向量值随机变量φ（y）=（y，y）的期望而引出，例如使用L（r，y）=kr- φ（y）k.上述方差示例提出了间接启发的概念，我们首先启发“中间”属性^Γ，然后使用结果值计算所需属性Γ。我们说一个属性是k-可导的，如果它可以作为k维可导属性的函数得到。

我们允许k是有限的，我们写下∞ 而不是更精确的红衣主教. 一个属性的启发复杂度就是它是k-可启发的所需的最小维数k。只有当中间属性仅限于某些类别的属性C（如§2·4中定义的属性）时，这两个定义才有意义，否则基本上所有属性都是1-可引出的；见§4中的备注4。有关文献中其他相关定义的讨论，请参见§E·1。定义3。为了k∈ N∪ {∞}, 设Ek（P）表示所有可引出性质Γ：P的类→Rk和E（P）=Sk∈N∪{∞}埃克（P）。当P是隐式的时，我们只需写出E的定义4。设C是一类性质，k∈ N∪ {∞}. A性质Γ：P→ 当存在中间性质^Γ时，关于C的Ris k-可导∈ C∩ Ek（P）和地图f:Rk→ R使得Γ=fo^Γ. Γis elicC（Γ）=min{k:Γ相对于C}是k-可诱导的。如果C中不存在适合于Γ的属性^Γ，则其启发复杂性将不确定。为了说明定义，从上面的方差示例中，我们有Γ=Var，^Γ：p 7→ （Ep[Y]，Ep[Y]）∈ R、 f:（R，R）7→ R- r、 因此，我们得出结论，就线性性质类别而言，Var是2-可导出的，即我们在§2·4中正式定义的预期值。特别是elicClin（Var）≤ 2，表示启发复杂性最多为2。备注2。如果一个属性是不可引出的，它仍然可以是1-可引出的，因此我们还没有为任何C显示elicC（Var）=2。换句话说，Γ/∈ E（P）并不意味着elicC（Γ）≥ 2.作为一个简单的例子，考虑性质Γ（p）=（Ep[Y]），其中Y={-1, 0, 1}. 显然，Γ的水平集不是凸的：Γ（（1,0,0））=Γ（（0,0,1））=1，但Γ（（a,0,1））- a） ）<1表示所有0<a<1；见图1（M）。

然而，Γ很容易通过^Γ（p）=Ep[Y]间接引出∈ R、 用单纯形f（R）=R，因此我们得出elicC（Γ）=1∈ C、 例如，C=统计特性的省略复杂性5线性特性集，即预期值。为了显示elicCwe的下界，我们需要更多的工具，比如下面的主要定理；有关差异的应用，请参见§3·2。2·3. 主要结果我们现在转到我们的主要结果，关于可以写成另一损失函数的Bayes Risk的性质，作为分布的函数的最小可能预期损失。定义5。给定损失函数L:A×Y→ R对于某些报告集A，被定义为L（p）：=infa的贝叶斯风险∈AL（a，p）。例如，方差是损失平方L（r，y）=（r）的贝叶斯风险- y） ，因为我们有L（p）=minr∈代表[（r）- Y）]=Ep[（Ep[Y]- Y）]=Var（p）。我们的主要结果给出了贝叶斯风险的启发复杂性的一个严格界。给定一个lossL，定理3说明它的Bayes风险可以与它所引出的性质Γ联合引出，而elicC（L）≤ 只要对（L，Γ）是C的一个元素，elicC（Γ）+1。定理4给出了一个较低的界：对于所有C，我们都有elicC（L）≥ elicC（Γ）。有关证据，请参见§5。定理1。让L:Rk×Y→ R是引起Γ：P的损失函数→ Rk，k∈ N∪ {∞}, 我将承担它的Bayes风险。If（L，Γ）∈ C和elicC（Γ）=k，然后elicC（L）∈ {k，k+1}。此外，lossL*（r，a，y）=L（a，y）+H（r）+H（r）（L（a，y）- r） （1）引出{L，Γ}，其中h:r→ R+是任何正的严格递减函数，H（R）=Rrh（x）dx，并且Lis是任何其他弱引起Γ的损失。人们可以轻易地取消Γ是函数的要求，并允许Γ（p）成为损失的最小值（Frongillo&Kash，2014）；我们将在例3·4中使用此附加功率。定理1有意义的应用需要选择合适的C类。