多协变量点过程预测的估计

如果用户使用B<Ban近似值估计模型，将产生误差。然而，请注意，本文的结果将允许更一般形式的误认。设P（x）为x（t）的边际分布，其平稳性不依赖于t。对于任何函数g:RK→ R、 设pg=`g（x）dP（x）。Lr（P）范数为|·| r=\'|·| rdP1/r，用于r∈ [1，∞), 当r=∞. 以下是Sancetta（2015）中结果的重新调整，可用于控制估计值的近似误差。引理1 Let g∈ 对于某些B<∞ d′θr：=supθ∈Θ|θ| r<∞. 然后，对于anyB<∞, 和r∈ [1，∞], 明∈L（B）| g- g | r≤ w-1′θrmax{B- B、 0}。当g/∈ L（B），确定最佳均匀近似值gB=arg inf | g- g级|∞, 其中上限超过L（B）。我们将定义b=arg infB<∞|gB-g级|∞. （6） 这意味着，对于任何g，Gb是Gf的最佳一致逼近∈SB>0升（B）。2.2目标用户假设g∈ L（B），但忽略B的值。他们猜测a值“B<∞.如果g∈ L（B）和“B”≥ B、 不会有近似误差。估计误差可能很高，尤其是当“B”比“B”大得多时。一旦选择了“B”，则（3）中的对数可能性在L上最大化\'\'B.设λ=d∧/du，其中∧是强度度量（1），u是勒贝格度量。然后，λ（X（t））=exp{g（X（t））}如（1）所示。假设g是固定且有界的。定义随机范数| g- g |λ，T：=sT^T（g（X（T））- g（X（t）））d∧（t）。通过平稳性和遍历性（例如，绪方引理2，1978），| g- g |λ，T→ P（g- g） λ=^（g（x）- g（x））λ（x）dP（x），（7）几乎可以肯定。目标是确定gTin L的估计器\'\'B并获得| gT的收敛速度为零- g |λ，T。通过（7），这种收敛也意味着P（gT）的收敛-g） λ，但除非我们对协变量施加依赖条件，否则无法得出后者的收敛速度。

如果| g |是有界的（此处将假定）-（7）的右侧（r.h.s.）与P（g）成比例- g） =| g- g |，因此得出的结果也包含在P积分平方误差中。证明表明，对于exp{gT}和exp{g}之间的海林格距离b，收敛结果成立。为了尽量减少符号负担，文本中未明确说明这一点。详见补充材料A.1节。注意元素g，g′∈ L\'\'B如果P（g- g′）λ=0.2.2.1与Lassogin的连接——系数bθ的约束，L上的最小化\'\'B正是无惩罚似然估计的原始值，即Lasso。更具体地说，对样本进行调节，对于每个‘B’，都有一个常数π’B（拉格朗日乘数，它随T增加，但速率可能与LT不同），因此以下两个显示的左侧是相同的：arg supθ，BθLTXθ∈Θbθ！，其中，上确界接管θ和bθ，使得pθ∈Θbθθ∈ L\'\'B;arg supθ，bθLTXθ∈Θbθ！- π′BXθ∈Θwθ| bθ|，（8）其中上确界接管θ和bθ，使得θ∈ Θ和bθ是实数。IfL公司\'\'B是一个有限维空间，π′B/T→ 0（概率），当估计量与人参皂苷L一致时\'\'B. 然而，当我\'\'B是有限维的，范数是不等价的，在本文所考虑的范数下的一致性并不意味着在约束所隐含的范数下的一致性。因此，对于有限维L\'\'B, 即使估计量是一致的且在L内滑动，π'B/T也可能收敛到常数\'\'B.当我们能够将约束映射到拉格朗日乘子π′B中时，原始或对偶问题的估计给出了相同的解决方案。

一般来说，这并不简单。套索问题的解决方案通常是通过坐标下降，但通常不会得出收敛速度（例如，Bühlmann和van de Geer，以及其中的参考文献）。在这里，我们解决了约束优化问题，并在实践中提出了这样做的算法，并推导了算法的收敛速度（第3.5节）。3估值的一致性3.1条件施加以下条件。第3.4节对这些问题进行了说明。为了帮助直觉，条件可以分为三组：随机限制、参数空间限制和估计量限制。条件使用第2.1节（1）和（1）中定义的符号。条件1随机限制。1.（X（t））t≥0是一个平稳的、遍历的、可预测的K维过程，其值在某个集合X中 RK（K>1）；2、累积强度∧具有关于勒贝格测度的密度λ（如（1）所示）；3.T=0是在时间T跳转之前的最后一次跳转的时间。条件2参数空间限制。Θ=SKk=1Θkar中的函数是可测量的，并且一致地由单位常数θ：=supθ限定∈Θsupx∈X |θ（X）|。布景是一个L∞（P）-括号数（，Θk），使得熵积分'pln（1+N（，Θk））d对于每k是有限的（无界的，并且可以随着s的充分大小而增长）；L（B，Θ，W）中的权重满足yw：=infθ∈Θwθ>0；2、在（1）中，(R)g：=| g|∞< ∞ 如果g6=gB，则B<∞ （见（6））。条件3估计器限制。估计值：1。公关部燃气轮机/∈ L\'B，Θ，W= o（1）；2、LT（gT）≥ supg公司∈L（\'B，Θ，W）LT（g）- Op公司TrT公司, 其中RTI如第3.2节（9）所示。一般来说，从（9）可以推断rT.T1/2，其中，贯穿。等于乘法泛有限绝对常数的不等式。3.2一致性结果将表明，统计估计的总体复杂性取决于三个因素。

变量K，B（在L中）的对数\'\'B) 和最大集合的熵积分Θk。为了便于记法，对θ和wis的依赖性在下文中被抑制。在结果的证明中可以找到更多的显式界限。定理1假设存在一个非减量序列Rt，使得Rt。最小值\'\'B-1/2√ln K+最大值≤印尼国家电力公司（1+N（，ΘK））d，infg∈L（\'B）| g- g级|∞. （9） 在条件1、2和3下，| gT- g |λ，T=Opr-1吨.请注意，RTI不减损的条件隐含地对“B，Kand N（，Θk）”施加了限制。令人望而生畏的表达式（9）确实简化了，但为了灵活性，它以这种形式出现。第3.6节考虑了该结果在各种问题上的应用，从而使界限变得相当简单。为了提供边界清晰度的感觉，可以方便地假设近似误差影响∈L（\'B）| g- g级|∞为零。同时，也反对熵积分以有限常数为界。在这种情况下，| gT的收敛速度- g |λ，Tis O（ln（K）/T）1/4. 通过平稳性和遍历性，很容易看出，对于T=Tn（Tn是第n次跳跃的时间），Tn n、 在哪里 表示等于多复制有限绝对常数。因此，边界变得更加熟悉（ln（K）/n）1/4对于K>1。Tsybakov（2003）的结果表明，在具有高斯误差的回归环境中，K有界项的凸组合的线性估计不能比Op（ln（K）/n）1/4当K的数量级大于n1/2时（参见Tsybakov，2003年的定理2）。因此，在没有进一步假设的情况下，可以假设这里导出的收敛速度在这种情况下是最优的。第3.3节中的定理2为这一假设提供了一些严密性。现在显示当g∈ L（B）对于一些未知但确定的B，考虑以下场景。

让“B”→ ∞ 所以最终≥ B、 ByLemma 1推断，对于某些有限的B，近似误差最终完全为零。不合理的是，以下情况成立。推论1 S上推g∈ L（B）。在定理1的条件下，对于任何→ ∞,|燃气轮机- g |λ，T=Op(R)Bh√ln K+最大值≤K'pln（1+N（，ΘK））diT1/2更一般地说，当g/∈ L（B）对于任何B，定理1中的逼近误差可以使用以下等式来有界，这是由三角形不等式和引理1得出的。引理2在条件2下，infg∈L（\'B）| g- g级|∞. infB>0最大值B-\'B，0+ infg公司∈L（B）| g- g级|∞.对可能的应用范围感兴趣的读者可以直接访问第3.6节。下一节将对估计问题的最优性、条件和解决方法进行说明。3.3最优性从前面的评论可以合理地推断，定理1中的收敛速度对于K large是最优的。为避免技术问题，请考虑以下简化场景。有人可能会争辩说，不太严格的条件会使估计问题更加困难，因此，如果下限在限制性条件下成立，那么它应该在更一般的条件下成立。回想一下，Xk（t）是协变量X（t）向量中的k元素。定理2假设L（1）：=L（1，Θ，W），其中集合Θk包含有界函数，并且W中的权重已设置为1。假设X（t+Ti-1） =X（Ti-1） 对于t∈ （0，Ti），即X（t）在点过程N的跳跃之间是常数，t=0。也假设（X（Ti））i≥0形成i.i.d.随机变量序列，且Xk（Ti）是独立的交叉k，具有连续分布函数。

对于K>T1/2n，对于anyp，K=O（Tpn）<∞, 和n→ ∞,infgTsupg公司∈L（1）^Tn | gTn（X（t））- g（X（t））| exp{g（X（t））}dt&rTnln1+KT-1/2n在概率中，最大值超过了强度的所有可能估计量gTnof。定理2指出，即使在相当严格的条件下，只要变量K的数量级大于T1/2n，在··λ下的收敛速度也不能快于qt-1/2nln K.3.4关于条件的备注值得强调的是，条件并不限制g∈ 对于某些B<∞.情况1轻微。对于所有实际情况，人们通常将X定义为一个保持连续的自适应过程。这意味着可预测性（例如，Brémaud，1981）。因此，从最后一次跳转开始的时间R（t）：=inf{t- Ti:t- Ti>0，i=0，1，2…}可以用作协变量，因为这是一个可预测的过程。在第3.6节中估计某些非线性Hawkes过程时会出现这种情况。T=0这一事实被用来保持符号的简单。类似地，条件K>1用于避免在不同位置写入ln（1+K），而不是ln K。在条件2中，函数类的熵积分限制是标准的。由于框架非常通用，因此需要对Θk中函数的复杂性进行一些控制。熵积分是有限的，但可以随着样本量的增加而增加，即使符号中没有明确说明（见第3.6.6节，以及补充材料中引理5的证明）。L∞（P）-集合的括号数Θkis是某个集合V中元素的圈数，对于每个θ∈ Θk，有一个括号[θL，θU]满足θL≤ θ≤ θU和|θL- θU|∞≤ 。统一范数可以用随机范数代替-1’T |θL- θU | d∧，这实际上是证明中使用的范数。

这很难控制，在本文考虑的应用中，使用了（更强的）统一范数。为了涵盖筛分估计和/或误判的情况，gis不限于位于L，但需要一致有界。条件3只要求估计量渐近满足本文讨论的复杂性限制。这比假设任何样本量的系数绝对总和以'B为界，并且函数θk的估计值始终在'k中的假设要弱。这种设置允许覆盖不同的估计方法，而不限制对特定方法的关注。此外，估计量GT只需渐近地而非精确地最大化样本似然Lt。第3.5节详细介绍了计算上可行的估算方法。在某些情况下，我们无法观察到真正的协变量，只能使用近似数据来估计其强度，甚至可能不是平稳的。一个典型的例子是在霍克斯过程中（见第3.6节），或者协变量是过去值的移动平均值。在上述情况下，真实协变量是某种数量的因果过滤器，但我们只能使用一些初始条件而不是时间T=0之前的观察构建过滤器。注意，真实协变量仍然满足条件1。然而，我们对一些代理数据进行了优化，这样条件3中的最后一点就不会直接成立。以下内容允许我们考虑此类情况。推论2支持条件1和2成立，并使rTbe如（1）所示。定义“Bw：=”B/w。设▄X（t）为任意协变量，但E supθ∈Θ^TθX（t）- θ（X（t））dt=Oe-“Bw”θ√T长度K.

（10） 假设▄gtsaties Pr燃气轮机/∈ L\'B，Θ，W= o（1）和▄LT（▄gT）≥ supg公司∈L（\'B，Θ，W）~LT（g）- Op公司TrT公司（11） 其中，当我们使用协变量X（t）而不是X（t）作为数据时，lti是对数似然lti。那么，▄GT也是LT的近似最小值，即它满足条件3（误差Op电话/传真).因此，gT- g |λ=^T |  gT（X（T））- g（X（t））| exp{g（X（t））}=Opr-2吨.此外，^T燃气轮机X（t）- g（X（t））exp{g（X（t））}dt=Opr-2吨RTA在（1）中。推论2表示，即使根据基于替代协变量的对数似然（loglikelionlt）计算估计量，只要替代协变量满足（10），我们也可以获得相同的收敛速度。推论2中的最后一个显示是▄gTX（t）接近g（X（t）），即使在不同的数据下进行评估。3.5估计算法L上的对数似然最大化\'\'B由于目标函数的凹性和凸闭约束，导致了唯一的最大值（在等价类内）。然而，虽然它适合于理论推导，但对于实际实现来说太抽象了。图1中的算法可用于解决约束最小化问题。对于RK上的重值函数g和h，使用函数h方向上对数似然的以下导数dDT（g，h）：=^Th（X（t））dN（t）-^Th（X（t））exp{g（X（t））}dt。有一个直线搜索来查找系数ρj。为了加快计算速度，可以将其设置为确定性值ρj=2/（j+1）。步骤j处约束最大值的更新近似值用Fj表示。定理3给出的界在这种情况下也成立。图1：。

对数似然优化集：m∈ NF：=0？B<∞对于：j=1，2。。。，mθj：=arg supθ∈Θ| DT（Fj）-1，θ）|/wθbj：=(R)Bwθ符号（DT（Fj-1，θj））ρj：=arg m axρ∈[0,1]LT（（1- ρ） Fj公司-1+ρbjθj）或ρj：=2/（j+1）Fj（X）：=（1- ρj）Fj-1（X）+ρjbjθj（X）定理3让Fmbe为图1的结果估计量。定义“Bw”：“B/w”。然后，LT（Fm）≥ supg公司∈L（(R)B）LT（g）-8T e“Bw”θ“Bw”θm+2，其中符号来自条件2。图1中的算法属于Frank Wolfe算法家族（例如，Jaggi，2013，关于收敛到最佳点的一般证明，Sancetta，2016，关于线性模型的统计特性）。以下确定了适当的迭代次数，以便进行一致的估计。推论3 I f m-1=oT-1/2e-“Bw”θ“Bw”θ-2., 然后，图1中的Fmin满足条件3。因此，如果“B”有界，则m-1=oT-1/2.3.6各种估算方法和模型规范的应用功能类别是通用的，可以适应各种估算方法和模型规范。下面讨论了不同的模型、函数类和估计量。有些应用程序有一些重叠，但近似误差方面的变化使它们差异很大，足以证明其单独处理的合理性。为了避免讨论中出现一些奇怪的情况，请定义地图（x，x，…，xK）=x 7→ πk（x）=xkso，对于R上的任何f，fo πk（x）=f（xk）。在所有的例子中，它都假设每个协变量的支持度为[0，1]。这样做是为了避免不必要的技术性干扰。在各种情况下，我们可能会有一个离心近似误差。

在这种情况下，以下内容将用于指示包含真实g，g（B）的集合：=（g=KXk=1bkfko πk:fk∈ H、 KXk=1 | bk |≤ B） ，（12）其中，H是一类单变量函数，将根据应用情况在下面各节中定义。在本节的所有示例中，所有权重wθ均应等于1，无需进一步提及。那么，当Θk={fo πk:f∈ H} ，L（B）=G（B）。假设fV，kis是f函数fk的近似值∈ H、 那么KXk=1bkfk-KXk=1bkfV，k∞≤ B最大值≤K | fk- fV，k|∞（13） 当kk=1 | bk |≤ B、 这将在一些示例中使用，以估计近似误差。在这种情况下，（13）将与引理2结合使用，其中B只是一个有界常数（例如，B=B）。最后，在下面的所有边界中避免琐碎的K>1。当K&T1/2时，边界特别重要。注意，在示例中，我们可以有| gT之类的界限- g |λ，T.’Bp（ln K）/T。我们默认要求r.h.s.为O（1）。定理1的下列推论的证明可以在A部分找到。补充材料的1.5。3.6.1多变量线性模型LetΘk：={πk}，映射x∈ Rk进入其kthco坐标xk。那么，g（x）=PKk=1bkxk。以下内容适用。推论4s上推g∈ L\'\'B. 在条件1和3下，| gT- g |λ，T。ln KT概率为1/2。推论表明，即使在超高维情况下，估计量也是一致的等对于c∈ [0，1）。3.6.2具有许多协变量的霍克斯过程霍克斯过程有许多版本。为了便于说明，请考虑标准指数衰减情况的非线性函数（例如，Brémaud和Massoulié，1996）。定义过程族fa（t）t型≥0：a∈ [a，\'a] （0，∞ ), 其中，对于每个a，~fa（t）：=f\'[0，t）e-a（t-s） dN（s）f是有界Lipschitz函数。