多协变量点过程预测的估计

（2013）重温Frank Wolfe：无投影稀疏凸优化。《机器学习研究杂志》（ICML 2013年会刊）。URL：<http://jmlr.org/proceedings/papers/v28/jaggi13-supp.pdf>[17] Katznelson，Y.（2002）《谐波分析导论》。剑桥：剑桥大学出版社。[18] Lorentz，G.G.（1986）Bernstein多项式。纽约：切尔西出版公司。[19] Lillo，F.、J.D.Farmer和R.N.Mantegna（2003）价格影响函数主曲线。《自然》421129-130。[20] Meinshausen，N.和P.Bühlmann（2010）《稳定性选择》（附讨论）。《皇家统计学会杂志》B 72，417-473。[21]McLeish，D.L.（1974）从属中心极限定理和不变性原理。《概率年鉴》2620-628。[22]Nielsen J.P.和O.B.Linton（1995）非参数标记依赖风险模型中的核估计。《统计年鉴》51735-1748。【23】Ogata，Y.（1978）静态点过程最大似然估计的渐近行为。统计数学研究所年鉴30（A），243-261。【24】Sancetta A.（2015）FunctionalData协方差函数的非参数估计。计量经济学理论311359-1381。【25】Sancetta A.（2016）G reedy预测算法。伯努利1227-1277年。[26]Seillier Moiseiwitsch，F.和A.P.Dawid（1993年）。检验序列概率预测的有效性。《美国统计协会杂志》88，355-359。【27】Tsybakov，A.B.（2003）《最优聚集率》。COLT会议录-2003，艺术情报讲师，303-313。van de Geer（1995）鞅的指数不等式，及其在计数过程最大似然估计中的应用。《统计年鉴》231779-1801。[29]van Dijk，D.、T.Ter"asvirta和P.H。

Franses（2002）《平稳过渡自回归模型——近期发展概况》。计量经济学评论21，1-47。【30】van der Vaart，A.和J.A.Wellner（2000）《弱收敛和经验过程》。纽约：斯普林格。[31]Yukich，J.E.、M.B.Stinchcombe和H.White（1995）通过概率方法对网络的超范数近似边界。IEEE信息理论交易411021-1027。Alessio SancettaA“多卵巢点过程预测估计”的补充材料。1结果证明下一小节收集了注释，以便读者在需要时参考。A、 1.1初步引理和符号写L：=L（B，Θ，W），\'L：=L\'B，Θ，W和L：=L（B，Θ，W）表示任意但固定的B。根据条件2，L的包络函数，Isupg∈\'Lsupz∈R | g（z）|≤“B”θ/w=：“g.（A.1）从正文中，回忆一下“Bw：=”B/w。为了使符号更简单，假设K>1。为了便于记法，为'td∧（s）='tλ（X（s））ds写∧（t），为'teg（X（s））ds写'tegdu，类似地为'tgdN写'tgd∧'tgdu，等等，其中u是Lebesgue度量。因此，参数X（t）和t被删除，但这不会引起混淆：这里的所有积分都是w.r.t.dN（t），du（t）等，所有函数的参数都是X（t）。此外，λ（X（s））=eg（X（s）），其中'g：=| g|∞. 在不损失一般性的情况下，为了保持符号简单，还假设| gB|∞≤ g（如果不是这样，我们可以重新定义g，使其成为gB统一规范的上限（回想一下Bin（6）的定义）。然后从（6）得出supB>0 | gB|∞≤ (R)GBE因为gBis是gin L（B）和B的最佳一致近似≥ B、 （6）表示gB=gB。这些事实将在证据中自由使用，无需进一步提及。定义以下随机海林格度量dT（g，g）=q'Teg/2- eg/2du。

有时，可以使用ul来考虑恒等式dT（g，0）='Teg/2- 1.du。引理3假设f，f′是RK上的函数。然后，^Tf- f′ef′du≤ dT公司f、 f′. （A.2）证明。乘以和除以ef′，dTf、 f′=^Tef′型e（f-f′）/2- 1.du。（A.3）展开上面显示的方块e（f-f′）/2- 1.= e（f-f′）- 2e（f-f′）/2+1。通过两个指数的泰勒展开，上述等式等于∞Xj=0（f- f′）jj！- 2.∞Xj=0（f- f′）jj！j+1=∞Xj=2（f- f′）jj！1.-j-1.≥（f）- f′）。插入（A.3）推导（A.2）。引理4假设| gB|∞≤ (R)g.然后，0≤^T[（g- gB）d∧- （例如- egB）du]≤e2’g^T（g- g） d∧。证据通过定义d∧=egdu，^T[（g- g） d∧- （例如- eg）du]=^T[（g- g） eg公司- （例如- eg）]du=^Th（g- g） +e-（g）-g）- 1EGDu。（A.4）对于任何固定实x，通过泰勒级数和余数，对于某些x*在{0，x}，e的凸包中-x个-1+x=xe-x个*. （A.5）将此等式应用于x=g- 并将其插入（A.4）的r.h.s.方括号中，以推导引理的上界，因为| g- gB|∞≤ 2’g.对于任何x>0的情况，下列不等式成立：0≤ （十）- ln x- 1） （A.6）仅当x=1时相等。将此不等式应用于x=exp{-（g）- ，并将其插入（A.4）的r.h.s.方括号中，以推导引理的下界。A、 1.2为简单起见，假设T=0，如条件1所示，人口概率的解。然后，根据绪方（1978）中的引理2，L（g）=limTLT（g）T=limTT^T（gdN- egdu）=P（geg- 几乎可以肯定，其中Lti是时间T的对数可能性（例如，绪方，1978年，公式1.3）。取一阶导数，一阶条件为P（heg- heg）=任何h的0∈L.因此，如果g=g，则满足条件。要检查唯一性，请验证凹度的二阶条件，即：。，-P heg<0适用于任何h 6=0。使用下限e- \'\'g≤ 例如，推断-P heg公司≤ -e- (R)gP h<0适用于任何h 6=0 P-几乎所有地方。

鉴于此-L（g）是凸的，L是闭的，L（g）的最大化子是唯一的。A、 1.3定理1的证明推导了海林格距离dt的结果，而不是范数|·|λ，T.def CT：=C×T maxnr-2T，2e3’g | g- g'B|∞o鞅M=N- ∧（在（1）中∧是N的补偿器）。在这里，RTI是一个不减损的序列，将在indue课程中定义。用目前的符号，van deGeer（1995）中引理4.1的证明中的最后一个显示表明，^T（g- g） dM公司≥ dT（g，g）+LT（g，g），（A.7），其中LT（g，g）：=LT（g）- LT（g）对于任何g，g=gT也是如此。（以上显示仅在gis为真功能时有效，但不要求g∈ L（B）对于某些B.）ByCondition 3，以及不等式LT（gT，g'B）≥ LT（gT）- supg公司∈LLT（g），推导出LT（gT，g）=LT（gT，g'B）+LT（g'B，g）≥ -CT/2+ LT（g’B，g）（A.8）在定义CT时，选择足够大的C。因此，在（A.7）中插入（A.8），推断出thatPr（dT（gT，g）>CT）≤ 公关部^T（g- g） dM公司- LT（g’B，g）≥ dT（g，g）-某些g的CT（A.9）和dT（g，g）>CT∈\'\'L要将术语限定在方括号中，请加上和减去'Tg'BdM，并注意，LT（g'B，g）可以写为'T[（g'B- g） dM+（g'B- g） d∧- （例如B- eg）du]。这意味着^T（g- g） dM公司- LT（g'B，g）=^T[（g- g’B）+（g’B- g） ]dM-^T[（g'B- g） dM+（g'B-g） d∧- （例如B- eg）du]=^T（g- g'B）dM+^T[（g- g'B）d∧- （例如- eg'B）du]≤^T（g- g'B）dM+e2'g^T（g- g'B）d∧使用不等式中的引理4。根据上述计算，以及T（g- g'B）d∧≤T e'g'g- g'B|∞, 推断（A.9）小于Pr^T（g- g'B）dM≥ dT（g，g）-CT-T e3'g'g'B-g级|∞对于某些g，dT（g，g）>Ct∈\'\'L≤ 公关部^T（g- g'B）dM≥ dT（g，g）-对于某些g，CTand dT（g，g）>Ct∈\'\'L,使用CT的定义。

以上以Pr为界supg公司∈L’T（g- g'B）dM≥ CT, 进一步以CTE为界supg公司∈\'L^T（g- g'B）dM≤CTE公司supg公司∈\'L^TgdM使用M arkov不等式，然后使用三角形不等式，因为g'B∈\'L.写g=Pθbθ。请注意，SUPG∈\'\'L^TgdM= supbθ，θ∈Θ^TXθbθθ！dM公司≤\'Bwsupθ∈Θ^TθdM其中上确界覆盖了所有的bθ，使得pθ| bθ|≤\'\'体重。根据这些计算，对于束缚（A.9），束缚\'BwCTE supθ是有效的∈Θ^TθdM. （A.10）设{∏l（）：v=1，2，…，N∏}是Θ到N∏（）个元素的一个划分，其中supθ，θ′∈∏l（）|θ- θ′|≤。根据条件2，可以用N∏（）构造这样的分区。N（，Θ）和SUPθ，θ′等∈∏l（）θ- θ′∞≤ |θU，l- θL，L|∞（A.11）其中，[θL，L，θU，L]是∏L中函数的-括号，在统一范数下。因此，N∏\'θ= 1，因为统一范数下的直径Θ以2′θ为边界。Tobound（A.10），使用Nishiyama（1998，定理2.2.3）的以下最大不等式，该不等式专门用于本框架。引理5，条件2），E maxt∈[0，T]最大θ∈Θ^tθdM. C1，T^′θpln（1+N∏（））d+C2，T′θC1，T（A.12），对于任何C2，T≥\'T'θd∧，和C1，T≥ ||∏，T，其中|∏，T：=sup∈（0，’θ]最大值≤N∏（）r'Tsupθ，θ′∈∏l（）|θ- θ′|d∧。根据（A.11）的讨论，将N∏（）替换为N（，Θ）。引理5的应用本质上需要找到C1，Tand C2，T的界限。根据（a.11），|Θ∏，T的讨论，假设λ=d∧/du由e'g界定≤√e'gT，我们设置C1T=C√某些Cto的e'gT将稍后选择。同样，我们可以选择C2，T=’θe’gT。这意味着c2，T/’θC1，T=pe’gT/C。因此，（A.12）的r.h.s.上的第一项的数量级不小于第二项（即不小于T1/2的常数倍数）。因此，在下面的内容中，我们可以将C2，T/’θC1，Tinto并入其中，而无需进一步提及。

因此，引理5的界（A.10）被'BwCTE supθ应用∈Θ^TθdM.\'\'体重√e“gTCT^”θpln（1+N（，Θ）））d。（A.13）使用CT的定义，并选择rT.he3'g'g- g级|∞我-1，上述是r'Bwe'g/2T1/2^'θpln（1+N（，Θ））d的常数倍数，要求为O（1），因为它是（a.9）的上限。这意味着RT。T1/2’Bwe’g/2’θpln（1+N（，Θ））d。但是，RTI也要求不为零，事实上，除非近似误差不为零，否则RTI应该发散到单位。因此，上述显示器的r.h.s.需要远离零。若要限制熵积分，请回忆一下Θ=SKk=1Θk。集合的aunion的括号数是以单个集合的括号数之和为界的。因此，N（，Θ）≤PKk=1N（，Θk）。使用不等式ln（1+xy）≤ ln x+ln（1+y）表示实x，y≥ 1，这意味着^′θpln（1+N（，Θk））d≤^′θmaxk≤Kpln K+ln（1+N（，ΘK））d≤ 2〃θ√ln K+最大值≤K^′θpln（1+N（，ΘK））d。此外，假设θ是有界的，且上面的熵以为单位递减，则上面的显示可以以√ln K+最大值≤K^pln（1+N（，ΘK））d。（A.14）此外，我们可以放弃有界的项，即“gand”θ，但迄今为止只保留了它们的贡献。类似地，“Bw”可以替换为“B”，因为它作为一个乘法常数进入界。这些计算意味着定理中的语句中有一个序列rTas，对于足够大的C，PrrTTdT（gT，g）>C≤C、 通过dT（gT，g）/T和| gT之间的关系- g |λ，T（见（A.2）），定理如下。A、 1.4定理2的证明，便于记法，T=Tn。我们在Tsybakov（2003）中对定理2的证明中的计算进行了调整。这需要两个强度密度之间的Kullback-Leibler距离的上界，以及L（1）的适当子集的构造（使用我们定理的符号）。

Tsybakov（2003）的结果将提供必要的下限，如OREM 2中所述。为此，设N（1）和N（2）是强度为Eg和Eg的点过程，使得| gk|∞≤ \'g，k=1，2。设由过程X=（X（t））t生成的s igma代数≥0用FX表示。两个强度密度egand eg和eg之间的Kullback-Leibler距离限制为0，T]，并在FXisK上调节g、 g |外汇= EX^T（g- g） dN（1）-^T（例如- e）du，其中EXis是以外汇为条件的预期。如上所述，在FX条件下，持续时间随强度密度exp{g（X（t））}呈指数分布。那么，Kg、 g |外汇=^T（g- g） egdu-^T（例如- eg）du≤e3’g^T | g-g | du使用（A.5）和| gk|∞≤ \'g，k=1，2。这为Kullback-Leibler距离提供了必要的上界，用于Tsybakov（2003）定理2的证明。现在，遵循Bunea等人（2007，第1693页）的观点，稍作调整。对于每个k，我们应该构造一个函数，比如fk，inΘk。让Aj=Pji=11{Ti-Ti公司-1.≥ a} ，即前j个持续时间中大于a的持续时间数。自始至终，1{·}是指示函数。显然≤ 只有当a=0时，n才相等。定义fk（x）=γnXj=1φk阿詹1{xk=xk（Tj-1） }1{Tj- Tj公司-1.≥ a} pTj公司- Tj公司-其中γ>0是适时选择的常数，{φk（s）：k=1，2，…，k}是有界函数w.r.t.s∈ [0，1]，且anpanj=1φk1月φl1月= δkl，其中δkl=1 ifk=l，否则为零（例如，比照Bunea等人，2007，第1693页）。函数fk的绝对值一致有界于γ的常数倍/√a、 因此，fk∈ Θk，对于每个k，选择γs mall就足够了。因此，^Tfk（X（t））fl（X（t））dt=nXj=1fk（X（Tj-1） ）fl（X（Tj-1） ）（Tj- Tj公司-1） =γAnXj=1φk1月φl1月= γ和δkl。接下来是第一步，因为X（t）是可预测的，只有在跳跃后才会发生变化。

第二步是定义fk，因为通过X（0）分布的连续性和平稳性，对于i 6=j，Pr（X（Ti）=X（Tj））=0。此外，请注意，除非{Tj- Tj公司-1.≥ a} 如果为真，则FK定义中的jthterm将为零。设C是由m的任意凸组合组成的L（1）的子集≤ 重量为1/m的fk的K/6，以便重量总和为1。因此，对于任何g，g∈ C、 ^T（g- g） du Anγ/m.Let pa：=Pr（Tj- Tj公司-1.≥ a） 。我们声称Pr（An<npa/2）→ 0以指数速度增长。因此，上述显示的r.h.s.与nγ/m成正比，概率为1。此声明将在证明结束时进行验证。现在，通过适当选择小γ，可以逐行遵循Tsybakov（2003，定理2的证明）中等式（10）之后的参数。这将为我们提供T（gT）的结果- g） du而非T（gT- g） λdu，用n而不是T=Tn表示。要用tna代替n，在定理的陈述中，注意Tn/n几乎肯定会收敛到（Pλ）-1，它是有界的。最后，T（gT- g） λdu&'T（gT- g） du由定理的条件决定。这仍然需要证明，对Anholds的说法是正确的。对于实上的任何正递减函数h，集{An<cn}和{h（An）>h（c）}是相同的；此处c∈ （0，1）是适时选择的常数。因此，通过马尔可夫不等式，Pr（An<cn）≤呃n-1/2An/h类cn1/2, 这意味着以下下限Pr（An≥ 中国）≥ 1.-Eh（An/√n） h（c√n） 。还有待证明r.h.s.上的第二项为零。为此，设h（s）=e-ts，对于某些固定的t>0。对于之前在证明中定义的paas，writeAn√n个=√nnXi=1（1{Ti- Ti公司-1.≥ a}- pa）+√npa。r.h.s.上的第一项是以i.i.d.为中心的伯努利随机变量的根n标准化和。

因此，它有一个有界的矩母函数（使用伯努利随机变量中心极限定理的证明）。通过这句话，呃/√n） h（c√n） =E exp{-棕褐色/√n} 经验值{-tc公司√n} 。e-t（pa-c）√n、 如前所述，选择c=pa/2，以确保在任何t>0的情况下，r.h.s.以经验速度快速归零。A、 1.5引理1和推论Proof的证明。【引理1】证明是对Sancetta（2015）中引理4的一个小的重新改编。注意，如果B≥ B、 引理显然是真的，因为在这种情况下，L L：=L（B，Θ，W）。因此，假设B<带w.n.l.g.B=ρB或ρ∈ （0，1）。Writeg=Xθ∈Θbθ=Xθ∈Θλ0θ\'bθ，其中λθ为非负且加1，且\'b=Pθ∈Θ| bθ|。注意，constraintPθ∈Θwθ| bθ|≤ b用于跛行功能\'b≤ 定义g′（x）=ρg（x），对于ρ，B=ρBso，g′∈ 五十、 使用这个g′的选择，通过标准不等式，g级- g′r≤Xθ∈Θλθ′bθ-Xθ∈λθρ′bθr≤(R)b（1- ρ）Xθ∈Θλθ|θ| r≤(R)b（1- ρ） 最大θ∈Θ|θ| r≤\'θrw（B- B） 使用ρ的定义。这证明了结果，因为对于上面的g′，infg∈L | g- g | r≤|g级- g′| r.证明。[推论2]我们需要证明LT（~gT，gB）≥ -CT/2CTA在定理1的基础上，RTA在（9）中，例如CT和B√T lnk.为此，回想一下▄LT（g）='TgX（t）dN（t）-'TexpngX（t）odt，即当我们使用▄X而不是X时的对数似然。请注意，计数过程N仍然是相同的，无论我们使用X还是▄X，都可以观察到跳跃。根据定义，g是LT（g）的近似最大值，但不一定是LT（g）的最大值。这足以表明LT（~gT，gB）&-在概率中，通过定义CT中的常数，定理1中的证明将通过。给出这些备注，写入（~gT，gB）≥LT（▄gT，gB）-LT（gT，gB）-LT（▄gT，gB）.使用（11），我们得到了▄LT（▄gT，gB）&-（A.8）中的CTA。将第二个任期约束在其上。h、 s。

在上述显示中，有必要将SUPG的倍数设为常数∈\'\'LLT（g）-LT（g）= supg公司∈\'\'L^Thg（X（t））- g级X（t）idN（t）-^Thexp{g（X（t））}- expng公司X（t）oidt≤ supg公司∈\'\'L^Thg（X（t））- g级X（t）idN（t）+ supg公司∈\'\'L^Thexp{g（X（t））}- expng公司X（t）oidt=: I+II。首先，找到II的界限。利用Banach空间的中值定理，II≤ supg公司∈“Le”g^Tg（X（t））- g级X（t）dt。（A.15）现在，supg∈\'L^Tg（X（t））- g级X（t）dt公司≤ sup{bθ：Pθ∈ Θ| bθ|≤\'Bw}^TXθ∈Θ| bθ|θX（t）- θ（X（t））dt公司≤\'Bwmaxθ∈Θ^TθX（t）- θ（X（t））因为单纯形的上确界是在它的一条边上实现的。根据引理的条件，上述显示为Op“”Be- \'\'g√T长度K. 因此，推断（A.15）为Op\'\'B√T长度K= Op（CT）（回忆（A.1）中的符号）。它仍受约束I.Thg（X（t））的加减- g级X（t）id∧（t），并使用三角形不等式，I≤ supg公司∈\'\'L^Thg（X（t））- g级X（t）idM（t）+ supg公司∈\'\'L^Thg（X（t））- g级X（t）id∧（t）.上述显示中的第一项可并入（A.7）的l.h.s.中，并在定理1的证明中有界。通过定义D∧，supg，将第二项绑定到上述显示中∈\'\'L^Thg（X（t））- g级X（t）iexp{g（X（t））}dt≤ supg公司∈“Le”g^Tg（X（t））- g级X（t）dt。从II的导出界推导出r.h.s.为OpCT. 这就完成了推论中第一个陈述的证明，因为定理1的所有条件都已满足。要显示推论的最后一个陈述，请使用不等式g（X（t））- g级X（t）≤2？gg（X（t））- g级X（t）再加上对之前显示的细微修改。证据[推论4]假设近似误差为零。假设Θkha是一个单一元素，熵积分是非常有限的。因此，（9）简化为推论陈述。证据