统计性质的启发复杂性

然而，当λ6=1:Varτ（pλ）=E时，方差变化|10≥λX- τ|（λX）= λE|10≥十、- τ| X= λVarτ（p）。声明如下。多变量情况也类似。再次让p∈ GMIX满足u（k）τ（p）=0，协方差矩阵为正有限，因此意味着Var（k）τ（p）>0。让X~ p和λ>0。设pλ是λX的定律，并注意pλ∈ Gmix。我们现在有u（k）τ（pλ）=argminx∈RkE[kλX- xk（kλX）- xk+hτ，λX- xi）]=argminx∈RkE[kX- x/λk（kX- x/λk+hτ，x- x/λi）]=argminx∈RkE[kX- xk（kX- xk+hτ，X- xi）]=u（k）τ（p）=0。关于方差，我们同样有var（k）τ（pλ）=minx∈RkE[kλX- xk（kλX）- xk+hτ，λX- xi）=minx∈RkλE[kX- x/λk（kX- x/λk+hτ，x- x/λi）]=λVar（k）τ（p），每当λ6=1时，它再次给出不同的值。C.第4C·1节中省略的材料。引理1的识别下界。我们将简单地应用引理10，V=span P，C=P，S=Γr→ Rk由f（q）=V（r，q）给出，其中我们将q解释为符号度量。根据条件1，我们有0∈ int f（P）。现在考虑一些^V:^R×Y→ R`识别^Γ，其中^R=^Γ（P）和`∈ N、 这样，我们就可以重新定义。这意味着对于任何p∈ Γr，有一些^r∈^R使p∈^Γ^r Γr.对于任何此类^r，我们可以定义^f:span P→ R`by^f（q）=^V（^R，q）。26 R.弗隆吉洛和I.A.卡什对于任何p∈ 因此，我们有一个线性的f:span P→ 这样p∈ P∩ 克尔夫 Γr.引理10的条件现在是满足的，给予`≥ k、 因此我（Γ）≥ K引理10。设V为实向量空间。让f:V→ RK应该是线性的和C V凸，C=V，假设为0∈ int f（C）。设S=C∩ 克夫。如果`∈ N是这样的，对于所有v∈ S、 存在线性^f:V→ 带v的R\'∈ C∩ 克尔夫 S、 然后`≥ k、 证据。条件0∈ int f（C）等价于某些v。vk+1∈ C就这样0∈ int conv{f（vi）：i∈ {1，…，k+1}。让α。

，αk+1>0，Pk+1i=1αi=1，如果（vi）=0，则Pk+1i=1α。因为这是重心坐标，所以α的选择是唯一的，这一点在后面会很重要。我们将取v=Pk+1i=1αivi，它是C的一个凸元素，因此S的一个元素为f（v）=0。让^f:V→ R与v成线性关系∈^S:=C∩ 克尔夫 让我们，βk+1∈ R、 Pk+1i=1βi=0，因此Pk+1i=1βi^f（vi）=0。我们将证明βi必须是相同的零，即{^f（vi）：i∈{1，…，k+1}}是完全独立的。通过构造，v:=Pk+1i=1βivi∈ ker^f和as v∈ker^f，对于所有λ>0，我们有vλ：=v+λv=Pk+1i=1（αi+λβi）vi∈ ker^f.取λ足够小，我们得到γi:=αi+λβi>0，而Pk+1i=1γi=Pk+1i=1αi+λPk+1i=1βi=1。通过c的凸性，我们得到了vλ∈ C.现在vλ∈ C∩ 克尔夫 S=C∩ kerf，尤其是vλ∈ 因此，如果（vi）=0，则f（vλ）=Pk+1i=1γ。由于重心坐标的唯一性∈ {1，…，k+1}，我们必须有γi=αi，因此βi=0，如所需。由于^f（C）包含k+1个完全独立的点，我们有`≥ 黯淡的im^f≥ k、 完成屋顶。我们对`=k的情况做了一个最后的观察。通过一个有效的独立性，集合conv{^f（vi）：i∈ {1，…，k+1}}在Rk中有维数k。当0=^f（v）=Pk+1i=1αi^f（vi），且所有i的αi>0时，我们得出结论0∈ int conv{^f（vi）：i∈ {1，…，k+1} int^f（C）。C·2。引理5的期望和数量证明。让`=a off dim（Γ（P）），让r∈ relintΓ（P）。那么V=span{Γ（p）- r:p∈ P} RK是一个维数为`的向量空间。设M=[v…v`]∈ Rk×`其中v，五`∈ Rkisa V的基础。现在定义V:Γ（P）×Y→ R`by V（R，y）=M+（φ（y）- r） ，其中M+是M的摩尔-彭罗斯伪逆。显然Ep[φ（Y）]=r==> V（r，p）=0，和作为Ep[φ（Y）]- R∈ 我们有M+（Ep[φ（Y）]- r） =0==> Ep[φ（Y）]- 根据伪逆M+的性质，r=0。因此我（Γ）≤ `.

而且∈ relintΓ（P），我们有M+r∈R{M+R:R∈ Γ（P）}∈R{V（R，p）：R∈ Γ（P）}，满足条件1。引理1现在给出iden（Γ）=`。可引出性由Γ（p）=M+（Ep[φ（Y）]- r） =Ep[M+（φ（Y）- r） ]∈ R`与链接f（R）=Mr+R；Γ当然可以作为线性属性导出。引理6的证明。函数V（r，y）i=1{y≤ ri}- αIIdentifiesΓ，我们有efv（r，Y）=0<==> i F（ri）=αi<==> i ri=qαi（F）。因此，由于分位数是可引出的，elicI（Γ）≤ k、 由于条件2暗示了该V的条件1，下界直接从引理1开始。C·3。对于命题6，对于某些严格凸函数G:Rk，考虑形式为γ（p）=G（Ep[φ（Y）]的性质→R和P-可积φ：Y→ Rk。为了避免简并，我们假设集合{Ep[φ（Y）]：p∈ P} 有一个有效的维数k，它来自引理5，确保性质Γ：p7→ Ep[φ（Y）]haselicC（Γ）=k，适用于所有C饱和临床 C I.让{dGr}r∈RK可以是G的次梯度选择，损失L（r，y）=-（G（r）+dGr·（φ（y）- r） ）引出Γ，而且我们还有γ（p）=-L（p）；西。g、 Frongillo&Kash（2015）。我们可以很容易地检查L=(-G）o Γ. 定理4现在立即为所有临床提供elicC（L）=elicC（Γ）=k C 一、本次讨论总结如下。统计特性的启发复杂性278。让我们来看看→ Rk，k∈ N、 是P-可积的{Ep[φ（Y）]：P∈ P} =k.那么对于任何严格凸的G:Rk→ R、 γ：p7的性质→ G（Ep[φ（Y）]对于所有C满足的Clin有elicC（γ）=k C I.D.省略了第5D·1节中的材料。引理8引理11的证明（Frongillo&Kash（2014））。让G:X→ 向量空间V的某个凸子集XO的R凸，设d∈ 是G在x处的次梯度，那么对于所有x∈ 我们已经∈ Gx<==> G（x）- G（x）=d（x- x） 。引理12。让G:X→ 向量空间V的某个凸子集X的R凸。

让x，x∈ x和xλ=λx+（1）- λ） 某些λ的xf∈ (0, 1). 如果存在一些d∈ Gxλ(Gx∪ Gx），然后G（xλ）<λG（x）+（1- λ） G（x）。证据通过d在xλ处的次梯度不等式，我们得到了G（x）- G（xλ）≥ d（x）- xλ），而且引理11给出了G（x）- G（xλ）>d（x- xλ）否则我们会∈ Gx。类似地，对于x，我们有G（x）- G（xλ）>d（x- xλ）。将第一个不等式的λ加到（1）中- λ） 第二个函数给出λG（x）+（1）- λ） G（x）- G（xλ）>λd（x- xλ）+（1- λ） d（x）- xλ）=λ（1）- λ） d（x）- x） +（1）- λ） λd（x）- x） =0，其中我们使用了d的线性和恒等式xλ=x+λ（x- x） 。引理8来自于下面的结果。引理13。假设损失L与Bayes风险LelicitsΓ：P→ 2R。那么对于任何p，p∈ P与Γ（P）∩ Γ（p）=, 我们有L（λp+（1）- λ） p）>λL（p）+（1- λ） L（p）表示所有λ∈ (0, 1).证据设G=-五十、 这是积极导向的评分规则S=-L.根据Frongillo&Kash（2014）的定理2，我们得到了一些子集D G的次梯度G和双射φ：Γ（P）→ D、 使得Γ（p）=Γ-1（D）∩ Gp）。换句话说，Γ是G的一系列次梯度的重新标记：每个报告值r都有一个次梯度dr=Γ（r）∈ Γ（P）和∈ 全科医生<==> R∈ Γ（p）。观察任何分布q，q∈ P、 ifΓ（q）∩ Γ（q）=, 那么对于任何一个∈ Γ（q）和dr=Γ（r），我们有dr∈ Gq\\Gq。否则，因为∈ D∩ 根据定义，我们会有∈ D∩ Gqas很好，因此r=~n-1（博士）∈ φ-1（D）∩ Gq）=Γ（q），一个矛盾。首先假设Γ（pλ）、Γ（p）和Γ（p）都是不相交集。根据上述观察，服用任何d∈ Γ（pλ）），我们有d∈ Gpλ但d/∈ 全科医生∩ 全科医生。接下来是Emma 12的结论。否则，我们就有了r∈ Γ（pλ）∩ Γ（p）在不丧失一般性的情况下，让dr=Γ（r），我们有dr∈ Gpλ∩ Gpby定义的~n。现在假设一个矛盾，G（pλ）=λG（p）+（1）- λ） G（p）。

通过引理11，我们得到了G（p）- G（pλ）=dr（p- pλ）=（1）-λ） λdr（pλ- p） 。求解G（p）并代入上一个方程得到（1）- λ） 乘以方程g（pλ）=dr（pλ- p） +G（p），再应用引理11，就可以得到dr∈ 全科医生。我们现在对上面的观察结果有一个矛盾，正如我们假设的Γ（p）∩ Γ（p）=. 引理8现在紧随其后；给定Γ：P→ 引理8中的R，我们简单地将引理13应用于性质Γ：P→ 2r由Γ（p）={Γ（p）}给出。如§E·5所述，P是凸的限制对我们的结果并不重要。对于非凸P，可以通过写L（P）=fR将Bayes风险L推广到P的凸壳conv P∈RL（r，p），其中当然r=Γ（p）。然后，我们可以通过添加新的报告来扩展Γ，这是Frongillo&Kash（2014）的定理2所建议的，因此Γ是非冗余和非空的28 R.Frongillo和I.A.Kashon conv P，但与它之前对P的定义一致。引理13随后照常进行，并且由于L和P在P上没有变化，结果认为L（λP+（1）- λ） p）>λL（p）+（1- λ） L（p）表示所有λ∈ （0，1）使得λp+（1- λ） p∈ P.D·2。推论7的证明我们将把引理10和下面的一起使用。引理14。设V为实向量空间。让f:V→ RK应该是线性的，C V凸，跨度C=V，设S=C∩ ker f.如果0∈ int f（C）然后span S=k f。证据因为ker f是一个子空间，S kerf，我们知道跨度S是kerf的一个子空间。应用商空间的普适性，我们得到了线性映射π：V→ V/span S和G:V/span S→ 那么f=go π. 根据假设，{0}=π（S）=π（kerf）∩ C） =π（kerf）∩π（C）=g∩ π（C）。我们将展示一个更强的语句，即kerg={0}，这意味着kerf=kerπ=span S。当span C=V时，我们有spanπ（C）=V/span S。因此，对于任何x∈ V/span S我们可以写为x=Pmi=1αixif或αi∈ R和xi∈ π（C）。

作为0∈ int f（C）=int g（π（C）），有一个0的开球∈ B g（π（C））。每一次我∈ {1，…，m}，包含g（xi）和0的线与B相交。特别是对于一些非常小的 > 0，每个i∈ {1，…，m}我们有一些易建联∈ π（C）与g（yi）=-g（xi）。线性地，g（1）+(易)xi））=0，从π（C）的凸性我们也有1+(易)十一）∈ π（C）。从ker g的观察∩ π（C）={0}我们现在有yi=-xi定义βi=（αiαi≥ 0-αi/ αi<0≥ 0和wi=（xiαi）≥ 0yiαi<0for i∈ {1，…，m}，并设置βm+1=1，wm+1=0∈ π（C）。设β=Pm+1i=1βi≥ 1.尽管我∈ {1，…，m+1}，作为wi，0∈ π（C），我们有wi/β∈ π（C）的凸性。因此，m+1Xi=1（βi/β）wi=βxi∈{1，…，m}：αi≥0αixi+Xi∈{1，…，m}：αi<0-αiyi+ 1 · 0=βmXi=1αixi=βx，通过凸性，我们得出x/β∈ π（C）。最后，如果g（x）=0，那么g（x/β）=0，但是作为x/β∈π（C），我们必须有x/β=0，其中x=0。作为x∈ V/span S是任意的，我们得出结论：kerg={0}。推论7的证明。对于上限，Γ∈ I（P）意味着（L，Γ）∈ I（P），好像V（a，y）识别Γ，然后V（（r，a），y）=L（a，y）- r、 V（a，y）标识（L，Γ）。推论6然后giveselicI（L）≤ k+1。对于下界，定理4给出了elicI（L）≥ 如果L是Γ的连接，则k等于。对于k+1的强下界，设V和r为识别函数，并根据条件1报告，并假设L在Γr上为非常数→ R`和g来自定理4，所以^Γ是可导出和可识别的，L=go^Γ，我们希望展示`≥ k+1。根据第4条的证明，定义，而且≥ k、 现在假设`=k表示一个矛盾。

通过引理10的证明，有一个分布∈ 如果p∈^Γ^r Γr，由re-nement担保，则为0∈ int{^V（^r，p）：p∈ P} 。将引理14应用于函数f:span P→ Rk，q 7→ V（r，q），我们有span kerf=spanΓr。将引理14再次应用于^f:span P→ Rk，q 7→^V（^r，q），我们有span ker^f=span^Γr.Asr Γr，我们有k^f=span^Γr spanΓr=ker f。根据第一个同构定理，我们还可以使用codim ker^f=codim ker f=k，因为这些线性映射的图像覆盖了所有Rk。通过第三个同构定理，我们得出Γr=^Γr。由于假设L是统计性质29Γr=r的非常数同构复杂性，我们有分布p，p∈^Γr，其中L（p）6=L（p），这与L是：L（p）=g（^Γ（p））=g（^r）=g（（p））=L（p）的链接相矛盾。D·3。cstric和cstrong的界限我们现在给出严格凸和强凸的上下界的全部细节。检查表格L*（r，a，y）=H（r）+H（r）（L（a，y）- r） 从建立主上限的式（13）中，我们可以看到，只要h相对于L的曲率不“过快”减小，损失L*（（r，a），y）在（r，a）中仍然是严格凸的。提议8。让我们∈ Cstrict，Γ：P→ Rk，k∈ N、 由二次可微、严格凸、有界损失函数L导出。如果满足条件1，则∈ Γ（P），L在Γr上是非恒量的，并且存在α>0Y∈ Y、 αaL（·，y） aL（·，y）aL（·，y）>，（19）然后ElicCrict（L）=k+1。证据对于下界，命题的条件允许我们应用推论7，它给出了elicI（L）=k+1。通过命题2，我们得出ElicCrict（L）≥ k+1。对于上限，让我∈ [0，B]不丧失一般性，因此∈ [0，B]。这对（L，Γ）是有界的。取h（r）=α+B- r、 L*（（r，a），y）我们从推论6中得到。

（1） 是吉文比尔吗*（r，a，y）=r+（α+B- r） L（a，y）。（20） 由于L是二次可微的，我们可以证明L的严格凸性*通过检查其Hessianis阳性特征，（r，a）L*（·，y）=1.-aL（·，y）-aL（·，y）（α+B）- r）aL（·，y）. （21）根据舒尔补定理，（r，a）L*（·，y）是正定义，如果有的话，只有当（α+B- r）aL（·，y）- (-aL（·，y））（1）-1(-aL（·，y））> 0，（22），条件（19）暗示为B- R≥ 0，因此（B）- r）aL（·，y） 此外，L的Lipschitz连续性和可微性意味着L的相同*. 我们现在展示了（L，Γ）∈Cstrict，给出结果。直观地说，命题8告诉我们，只要L“足够凸”，它的曲率就可以有效地设置等式（12）和（13）中h（r）系数的递减效应。当然，这个结果也给出了强凸损失L的一个界。强凸lsaties的HessianaL（·，y） uI表示某些u>0。因此，设λ为最大特征值的上确界aL（·，y）aL（·，y）>在所有a上，这是由L的有界性和Γ范围的紧性决定的，我们可以简单地取α=2λ/u，并按照命题8进行。相反，我们使用了一种差异防范技术，这也允许我们取消两次差异性假设。命题7的证明。与命题8一样，我们的条件以及推论7和命题2给出了下界。对于上限，乘以结果y∈ Y和letF（a）：=L（a，Y）。我们假设，对于大约30个R.Frongillo和I.A.Kashu>0，L和F是u-强凸的。拿L*在等式中。

（20） 让C=a+B，我们有*（（r，a），y）- L*（（s，b），y）- （s，b）L*（s，b，y）=r+（C）- r） F（a）-s- （C）- s） F（b）-（s）- F（b））（r- s） +（C）- （s）F（b）·（a）- b）=（r）- s） +（C）- r） F（a）- （C）- s） F（b）+F（b）（r）- （s）- （C）- （s）F（b）·（a）- b） =（r）- s） +（C）- r） （F（a）- F（b））- （C）- （s）F（b）·（a）- b）≥（r）- s） +（C）- r） uka- bk+（s）- r）F（b）·（a）- b）≥（r）- s） +（C）- B） uka- bk- |s- r|kF（b）kka- bk。允许max=supa∈Γ（P），y∈YkL（·，y）k是L的最大梯度大小，这是由L的有界性和Γ范围的紧性决定的。让C=（8）最大+/u+B，我们有*（（r，a），y）- L*（（s，b），y）- （s，b）L*（（s，b），y）≥（r）- s） +（4）麦克斯·卡- bk- 麦克斯- r|ka- bk=（r）- s） +ka- bk+|R- s|- 2.马克斯卡- bk,第三项是非负的，表示L*强凸。E.补充讨论E·1。与文献中的其他定义相比，在启发复杂性的定义上出现了一些变化，分为三大类：（1）C类的不同选择，（2）允许的损失函数类型的变化，以及（3）链接函数f的不同要求。在大多数情况下，所有这些限制都可以转换为对C的限制；例如，我们对类Cstric和Cstrong的损失施加了限制，将其限制在此类损失引起的属性上。1.属性C的类别。文献中对C的选择包括连续属性（Steinwaret al.，2014）、线性属性或期望（Agarwal&Agarwal，2015）和成分本身可引出的属性（Lambert et al.，2008），这意味着∈ C、 ^Γ：P→ Rk，应具有（^Γ）ibe，可用于i=1，k、 我们的I班和C班都属于这一类。2.改变损失函数。某些类别的属性自然由损失函数的限制来定义。

例如，为了有效优化经验风险最小化，通常会限制凸损失；关于凸可导属性类Ccvx的诱导复杂性与凸校准维度的概念密切相关（Ramaswamy&Agarwal，2013）。CStric和CStrong类别对损失施加了进一步的限制，以便识别产生的财产。Lambert等人（2008）对属性具有可引出成分的限制也可以被转换为损失函数L是可分离的限制，这意味着L（r，y）=Pki=1L（ri，y），其中r∈ Rk。最近的另一个变化是多观测损失函数，它允许随机变量Y的多个独立实现，即形式为L（r，Y，…，ym）（Casalaina Martin等人，2017年；Frongillo等人，2019年）。多观察损失可以降低启发复杂性，有时会显著降低：与复杂性2和| Y |相比，方差和2范数对于m-观察损失都具有复杂性1，即使对于m=2- 通常设置为m=1（§3.3）。3。限制链接功能。Fissler和Ziegel（2016）提出将复杂性定义为最小k，使得Γ是k维可诱导属性的一个组成部分。等效地，链接函数必须采用简单形式f（r）=r，即r的第一个分量∈ Rk。