统计性质的启发复杂性

以下命题给出了这一观察结果的两个显著应用。我们采用了一种惯例，即Fdenotes是一个累积分布函数（CDF）。回想一下，我们用∞.提议4。当| Y |∈ N、 每一处房产都有elicC（Γ）≤ |Y|- 1所有C 克林。证据假设Y={Y，…，yn}，分布p由其第一个n唯一确定- 1组分p（y），p（yn）-1） ，每个都可以作为线性性质p（y）=EpY=y导出。提议5。当Y=R时，每个属性Γ都有elicC（Γ）≤ ∞ 不管怎样，C 克林。统计性质的启发复杂性。因为一个分布是由它在稠密集上的CDF值决定的，所以让{qi}i∈Nbe是有理数的枚举，定义^Γ（F）i=2-如果（气）。因为^Γ是平方和的，所以我们有^Γ∈ Clin，cf.用命题2的证明进行讨论，并引出byL（{ri}i∈N、 y）=Pi∈N（ri）- 2.-艾伊≤气）。通过适当的链接，我们可以计算Γ。上面对Y的限制可以很容易地放在P上。例如，有限Y等价于在Y=R的有限子集上有支撑的P。特别是，命题4和命题5适用于恒等式性质Γid（P）=P，正如我们现在转向下界所示，在温和条件下，它们给出的下界是紧的。4·4. 特定属性的下界：期望值和数量一类经过充分研究的属性是一些向量值随机变量的期望值集，通常称为线性情况。所有这些属性都是可引出和可识别的（Savage，1971；Abernethy&Frongillo，2012；Frongillo&Kash，2015），复杂性受随机变量的维数限制，但如果Γ的范围不是全维的，复杂性当然可以更低。在下面的内容中，让a off dim表示a off外壳的尺寸。引理5。

让我们来看看→ Rkbe P-可积，k∈ N、 设Γ（p）=Ep[φ（Y）]。然后elicC（Γ）=a off dimΓ（P），对于任何满足C的临床，Γ范围内的蜗壳的尺寸 C I.分位数是另一个重要的例子：对于充分丰富的分布集，不同的分位数是独立和平衡的，因此它们的启发复杂性是被证实的分位数的数量。这里我们把C=I作为损失，得出分位数不能是严格凸的；见§3.4。与预期一样，如果分布集不够丰富，则可以降低启发复杂性。我们陈述了P为“富”条件的两个版本。例如，这些条件由一元高斯分布的所有混合物的集合来满足。条件2。让k∈ N被给予。为了所有的x∈ [0,1]k，存在r，rk∈ R这样x∈int{（F（r），…，F（rk））>：F∈ P} Rk。条件3。让k∈ N被给予。存在一个P-可积函数φ：Y→ Rkwitha off dim{Ep[φ（Y）]：p∈ P} =k。这两个条件都可以作为特殊情况，将条件1应用于α-分位数V（r，y）=1y的识别函数的各种r选择≤R- α、 orV（r，p）=F（r）- α. Fissler和Ziegel（2016）的假设V1再次暗示了条件3。通过考虑φ（y）i=1y，条件2意味着条件3≤里。引理6。对于Y=R，设P §3.4中定义的Pq，对于某些k，满足条件2∈ N.对于所有不同的α，αk∈ （0，1），我们有elicI（{qα，…，qαk}）=k，其中qα是α分位数函数。尤其是分位数的例子，让我们看到所有复杂度类别，包括∞,他们都有空。事实上，从§3·3中的例子中，我们可以看到，即使对于实值房地产Γ：P→ R、 所有班级都有人。回想一下，条件2意味着条件3。提议6。设P满足条件3或条件2，对于所有k∈ N

那么不管怎样∈N∪ {∞} 存在一个性质γk:P→ 对于任何满足条件的C，具有elicC（γk）=k的R C 一、证据。Y:Y→ Rk是条件3中的随机变量，我们可以取γk（p）=kEp[φ（Y）]kby的推论8。案例k=∞ 根据推论2。我们现在给出命题4和命题5的匹配下界，指出当P足够丰富时，通过可识别属性实现整个分布的复杂性是最大的。这一观察结果与备注4一致，我们在备注4中看到，当C太大时，elicC（Γ）=1。引理7。让我们来看一看：P→ P、 Γid:p7→ p、 以下内容适用于所有临床试验 C I.如果Y是有限的，则elicC（Γid）=a off dim P；特别地，如果P是概率单纯形，那么elicC（Γid）=Y |- 1.如果Y=R，且有很多k∈ N满足条件2或3，则elicC（Γid）=∞.16 R.Frongillo和I.A.KashProof。对于| Y |<∞, 观察Γidis线性并应用引理5。对于Y=R，假设P满足条件2或3，则在命题6的证明中定义γkas；由于Γid定义了所有属性，引理4给出了elicC（Γid）≥ elicC（γk）=k。我们现在有elicC（Γid）≥ k代表所有人k∈ N、 和elicC（Γid）≤ ∞ 来自提案5。5.引出贝叶斯风险5·1。上界对于上界，我们显式地构造了可表示为随机变量{Xa}a的索引集的点最小值的性质的损失∈A、 γ：P→ R、 γ（p）=mina∈AEp[Xa]。（11） 当然，一个重要的特例是贝叶斯风险。回想一下，损失函数的Bayes风险l:a×Y→ R定义为L（p）：=infa∈AL（a，p）。有趣的是，我们的构造并没有直接引出最小值，而是作为最小值和实现该值的指数的联合引出。损失函数采用损失的形式，由此引出线性性质P7→ Ep[Xa]，除了这里的指数a不是固定的，但也可以导出。定理3。

让{Xa}a∈Abe是一组P-可积随机变量，由a索引 Rk，k∈N∪ {∞}. 如果所有p均达到infaEp[Xa]∈ P、 然后损失函数l（（r，a，y）=H（r）+H（r）（Xa（y）- r） （12）引出集值性质^Γ：p7→ {（γ（p），a）：Ep[Xa]=γ（p）}，其中γ在（11）中定义，h：γ（p）→ R+是任何严格递减函数，对于某些R，H（R）=Rrrh（x）dx∈ γ（P）。证据用增益代替损失，我们将给出等价的结果，即s（（r，a），y）=g（r）+dgr（Xa）- r） 导出了^Γ：p7的组合属性→ {（γ（p），a）：Ep[Xa]=γ（p）}表示γ（p）=maxaEp[Xa]。这里g是一个凸函数，具有严格递增的正次梯度dg。对于任何固定的a，我们通过次梯度不等式，S（（r，a），p）=g（r）+dgr（Ep[Xa]- r）≤ g（Ep[Xa]）=S（（Ep[Xa]，a），p），当dg严格增加时，g是严格凸的，因此r=Ep[Xa]是唯一的最大化子。现在让S（a，p）=S（（Ep[Xa]，a，p），我们有argmaxa∈A~S（A，p）=argmaxa∈Ag（Ep[Xa]）=argmaxa∈AEp[Xa]，因为g严格地增加。我们现在有了Argmaxa∈A、 r∈RS（（r，a，p）=n（Ep[Xa]，a）：a∈ 阿格马克萨∈我们简要地提到了文献中出现的定理3的各种形式。最近，Jonas Brehmer（2017）的硕士论文中独立出现了类似的结果。Fissler和Ziegel（2016）关于预期短缺的损失函数是定理3的一个特例，事实上，对前者的仔细检查为后者提供了灵感。Peter Gr–unwald（1999；2008）的早期工作在最小描述长度原则的背景下给出了定理3的一个版本；在这里，描述长度是根据给定的损失函数和参数β定义的，对于某些“简单”的损失类别，使描述长度最小化的β值正是给定损失的Bayes风险。

最后，在我们工作的同时，Fissler和Ziegel（2019a）给出了风险范围值的构造，这促使对表（11）中最小期望的线性组合进行更一般的构造；见§3.4。统计性质的引出复杂性17证明我们的主要定理的上界，即引出k维性质的损失的Bayes风险本身是（k+1）-可引出的，这是定理3的直接推论。具体来说，如果损失为L:Rk×Y→ R引出Γ：P→ Rk，我们简单地让Xa=L（a，Y），这样点态最小值就变成了Bayes风险γ（p）=L（p）；定理3指出，只要（L，Γ）∈ C、 我们有elicC（L）≤ k+1。Bayes风险的定义在L引出Γ时达到极限。推论6。如果L:Rk×Y→ R引出Γ：P→ Rk，k∈ N∪ {∞}, 然后是lossL*（r，a，y）=L（a，y）+H（r）+H（r）（L（a，y）- r） （13）引出{L，Γ}，其中h:r→ R+是任何正的严格递减函数，H（R）=Rrh（x）dx，并且Lis是任何其他弱引起Γ的损失。If（L，Γ）∈ C、 elicC（L）≤ k+1。为了说明上界，让我们回到方差示例。以Xa=（Y）为例- a） 是损耗的平方，所以γ（p）=minaEp[（Y- a） ，因为平方损失通过平均值a=Ep[Y]最小化，所以我们有γ（p）=Ep[（Y- Ep[Y]）]=Var（p）。因此，定理3说明^Γ：p7→ （Var（p），Ep[Y]）是可引出的。推论6更直接：损失的平方L（r，y）=（r- y） 求出任意性质C的平均值，L（p）=Var（p），其中（Var，E[y]）∈ C.我们有风险资本（Var）≤ 2.有趣的是，我们没有（Var，E[Y]）∈ Clin，但如§3.2所述，在前两个时刻，Clin的上限仍然有效。在这一节中，我们还说明定理3并没有刻画所有可能的损失函数，从而得出联合性质^Γ。5·2。下限我们现在转向下限。

第一个观察结果是L是凹的，因此不太可能直接导出，因为L的水平集可能是非凸的。然而，要显示大于1的下限，我们需要更强的技术。特别是，虽然我必须保持冷静，但严格来说可能不是这样。事实上，我必须介于任何两个分布之间，这两个分布共享一个极小值。对于我们的下界至关重要的是，当两个分布之间的L差的极小值出现时，L在它们之间本质上是严格凹的。引理8。假设损失L和Bayes风险L引出Γ：P→ R.那么对于任何p，p∈ P与Γ（P）6=Γ（P），我们有L（λP+（1）- λ） p）>λL（p）+（1- λ） L（p）表示所有λ∈ (0, 1).我们现在可以证明我们的主要下界，即导致Γ的损失的Bayes风险具有复杂性，至少是Γ的复杂性。论证的结果表明，如果我们通过一些^Γ间接得出Bayes风险，那么^Γ必须通过引理8重新定义Γ，结果如下。定理4。设一类性质C。如果L引出Γ，并且定义了elicC（L），则elicC（L）≥ elicC（Γ），当L=f时相等o 对于一些函数f.证明。让`=elicC（L），这样我们就有了一些∈ E`∩ C和g:R`→ R使得L=go^Γ.我们用矛盾的方式证明了^Γ定义了Γ。否则，我们就有了p，p与^Γ（p）=^Γ（p），以及L（p）=L（p），但是Γ（p）6=Γ（p）。引理8会给我们一些pλ=λp+（1）- λ） pwithL（pλ）>L（p），但由于命题1的水平集^Γ^稀有凸，我们将有Γ（pλ）=Γ（p），这意味着L（pλ）=L（p）。因此，^Γ必须定义Γ，因此通过引理4，elicC（L）=`≥ elicC（^Γ）≥elicC（Γ）。如果L=fo Γ然后Γ定义L，所以我们还有elicC（Γ）≥ 埃利奇（左）。我们现在重申并证明我们的主要定理。定理1。让L:Rk×Y→ R是引起Γ：P的损失函数→ Rk，k∈ N∪ {∞}, 我将承担它的Bayes风险。If（L，Γ）∈ C和elicC（Γ）=k，然后elicC（L）∈ {k，k+1}。

此外，lossL*（r，a，y）=L（a，y）+H（r）+H（r）（L（a，y）- r） 引出{L，Γ}，其中h:r→ R+是任何正的严格递减函数，H（R）=Rrh（x）dx，以及任何其他弱引起Γ18 R.Frongillo和I.A.KashProof的损失。推论6给出了损失的形式和上界elicC（L）≤ k+1。对于lowerbound，定理4和假设elicC（Γ）=k给出了elicC（L）≥ elicC（Γ）=k。5·3. 特定属性类别的界限我们现在转向c类特定选择的结果。首先，当c 一、 我们认为最薄弱的阶层。这种专门化是有用的；通常，定理4最困难的要求是显示elicC（Γ）=k，但当C I.进一步收紧elicC（L）的下限≥ elicC（Γ）+1，wee基本上必须排除L是Γ链接的情况。这个案子确实发生了；例如，从平方损失中删除yterm得到L（x，y）=x- 2xy和L（p）=-Ep[Y]，对于任何合理的C选择，它的elicC（L）=1，例如，C=I。为了排除这种情况，我们假设L在满足条件1的某个水平集Γ上不是常数。然后证明了如果elicI（L）=elicI（Γ），L的某个水平集必须包含Γr，这是一个矛盾。它还表明我们可以替换条件（L，Γ）∈ C由Γ∈ 一、推论7。让我引出一些∈ Ik（P），k∈ N.如果Γ定义了L，则elicI（L）=k。如果Γ满足条件1，则某些r∈ Γ（P）和L在Γr上是非常数，那么elicI（L）=k+1。现在，我们重申并证明命题3，这是我们在应用中广泛使用的。提议3。让L:Rk×Y→ R是一种引起Γ的损失∈ Ik，k∈ N.如果Γ满足某些r的条件1∈ Γ（P），L在Γr上是非常数，那么elicI（L）=k+1。如果另外（L，Γ）∈ C代表一些C 一、 然后elicC（L）=k+1。证据第二种说法来自推论7。

第三个来自定理4和命题2，给出了elicC（L）≥ 伊莱西（左）。现在我们来讨论严格和强凸损失的上界和下界。我们在补充材料中提供了完整的处理方法。在这里，我们陈述了关于stronglyconvex损失的主要结论；严格凸性的结果类似，但需要一些额外的假设。提议7。让我们∈ Cstrong，Γ：P→ Rk，k∈ N、 由一个可微的、有界的、强凸的L引出。如果Γ满足某些r的条件1∈ Γ（P），L在Γr上是非常数，那么elicCstrong（L）=k+1.6。讨论和开放性问题如上所述，我们关于省略复杂性的概念，定义4，建立在Lambert等人（2008）和其他工作的基础上。我们认为，我们的定义最适合于研究合理属性的难度：将f视为一个潜在的降维链接函数，我们的定义适用于相关属性的点估计或经验风险最小化所需的最小维度数，然后是f的简单一次性应用。为了与文献中的其他定义进行比较和进一步讨论，请参见§E。启发复杂性中的许多自然问题仍然存在。最明显的是复杂性类{Γ：elicC（Γ）=k}的特征，尤其是确定不可诱导属性的诱导复杂性。例如，在我们的工作之后，模式的复杂性被证明是有限的（Dearborn&Frongillo，2019），而最小预测区间的复杂性仍然是开放的（Frongillo&Kash，2014）。我们在下面确定了其他未来的方向。更严格地描述Bayes风险。考虑一个损失L引出引出引出复杂性k的一些性质Γ。直觉上，推论7表示Bayes风险Lis k+1的引出复杂性，除非L恰好是Γ的一个链接。

然而，我们缺乏对L=f的性质的描述o Γ对于一些链接f和一些链接L，引出Γ。我们推测，只有当Γ是线性性质的链环时，这种关系才可能存在，即对于某些可逆的Γ和任意的g，Γ（p）=Γ（Ep[g（Y）]。根据直觉，L（p）必须沿Γ的水平集具有零斜率。一般凸损失统计性质的启发复杂性。在整篇论文中，当处理凸损失时，我们坚持认为它们是光滑的和严格凸的。一个重要的未来方向是研究由任何凸损失引起的性质的自然类。我们的结果不适用于此类，因为我们的下限基本上依赖于可识别性，即C 一、 而Ccvx6 I.备注4表明，CCVx类的限制性足以防止所有属性Γ的Eliccccvx（Γ）=1（Ramaswamy等人，2013）。虽然ELICCCVX的一些结果出现在机器学习文献中，但对于分类或排名等设置（Bartlett等人，2006年；Ramaswamy等人，2013年）和一些更一般的结果（Ramaswamy&Agarwal，2013年；Agarwal&Agarwal，2015年），严格的界限通常仍然难以确定。条件启发。另一个有趣的方向是条件启发：只要其他一些可启发属性的值已知，这些属性就是可启发的。Emmer等人（2015）提出了这一概念，他们表明方差和预期短缺都是有条件的，分别基于平均Ep[Y]和分位数qα（p）。直觉上，知道Γ是可引出的条件于一个可引出的Γ，可能意味着这对{Γ，Γ}是合理的；Fissler和Ziegel（2016）这是一个悬而未决的问题，即这种联合的可激发性是否以及何时普遍存在。

从我们的结果中，我们现在看到了一类广泛的性质，这种联合可测性确实成立：贝叶斯风险L，损失L引出Γ，是可引出的，条件是Γ，对{Γ，L}是可由定理3联合引出的。然而，我们在图2中给出了一个反例，其中的一个属性是有条件可导出的，但不是联合可导出的。致谢我们要感谢陈怡玲、克里斯蒂娜·迪尔伯恩、杰西·菲诺基亚罗、托比亚斯·菲斯勒、蒂尔曼·格尼廷、彼得·格伦沃尔德、尼古拉斯·兰伯特、英戈·斯坦瓦特、波·瓦格纳、若杜旺、延斯·维特科夫斯基和约翰娜·齐格尔，感谢他们提供了有益的评论、讨论和参考。Wethank匿名评论者对备注3中的见解和引理4中的属性对进行了分析。这项工作部分由国家科学基金会CCF-1657598资助。参考Abernethy，J.和Frongillo，R.（2012）。线性属性评分规则的特征。在第25届学习理论大会上。阿加瓦尔，A.和阿加瓦尔，S.（2015）。关于一致性代理风险最小化和属性启发。在学习理论会议上。Ang，M.，Sun，J.和Yao，Q.（2018）。关于一致性风险度量的双重表示。运筹学研究年鉴26229-46。Arora，S.，Babai，L.，Stern，J.和Sweedy，Z.（1993年）。格、码和线性方程组中近似最优解的难易程度。计算机科学基础。班纳吉，A.，郭，X.和王H.（2005）。关于条件期望作为Bregman预言器的最优性。IEEE信息论学报512664–2669。Bartlett，P.L.，Jordan，M.I.和McAuliffe，J.D.（2006）。凸性、分类和风险界限。《美国统计协会杂志》101，138–156。Bellini，F.和Bignozzi，V.（2015年）。关于可引出的风险度量。定量金融15725–733。Ben Tal，A.和Teboulle，M.（2007）。