用于投资组合估值和风险的核机器学习

这里我们回顾了一个基本事实，即H中集合a的闭式等于a中序列的所有极限点的集合，参见[AB99，定理2.37]。A、 2再生核希尔伯特空间集k:E×E→ 如第2节开头所述，R是一个带有RKHS H的内核。我们收集了论文中用到的一些基本事实。下面的引理给出了k的一些有用表示，参见[PR16，定理2.4和12.11]，这适用于任意集E。引理A.1。（i） 设{φi | i∈ 一} 是H的ONB，那么k（x，y）=Pi∈IφI（x）φI（y），其中序列在点方向上相交。（ii）存在一个随机过程φω（x），指数为x∈ E、 关于某些概率空间(Ohm, F、 M）ω7→ φω（x）：Ohm → R是平方可积随机变量，k（x，y）=ROhmφω（x）φω（y）dM（ω）。下一个引理为H中函数的连续性和H引理A.2的可分性提供了充分条件。假设（E，τ）是一个拓扑空间。那么下面的公式成立：（i）如果k在对角线上是连续的→xk（x，y）=石灰→xk（y，y）=所有x的k（x，x）∈ E、 （34）然后每小时∈ H是连续的。（ii）如果每小时∈ H是连续的，且（E，τ）是可分的，则H是可分的。证据（i） ：让h∈ H、 然后| H（x）- h（y）|≤ kk（·，x）- k（·，y）kHkhkH，by（8），带kk（·，x）- k（·，y）kH=（k（x，x）- 2k（x，y）+k（y，y））1/2和（34）表示h是连续的。（ii）：这源自【BTA04，定理15】。A、 Hilbert空间上的3个紧算子集H，Hbe可分Hilbert空间。线性算子（或简单的算子）T:H→ His compact if the image（T hn）n≥1任意有界序列（hn）n≥1of H包含收敛子序列。An运算符T:H→ His Hilbert–Schmidt，如果kT k=（Pi∈IkTφikH）1/2<∞, 和跟踪类ifkT k=Pi∈Ih（T*T）1/2φi，φiiH<∞, 对于某些（以及因此任何）ONB{φi | i∈ 一} 对于H，我们表示bykT k=suph∈通常的运算符规范。

我们有kT k≤ kT k≤ kT k，因此迹类简化了Hilbert–Schmidt，并且每个Hilbert–Schmidt算子都是紧的。自伴算子T:H→ 如果hT H，hiH，H为非负≥ 0，对于所有h∈ H、 让T:H→ H是一个负的、自伴的紧算子。然后存在一个ONS{φi | i∈ 一} ，对于可数指数集I，且特征值uI>0，使得光谱表示保持：T=Pi∈Iuih·，φiiHφI.A.4 Hilbert空间中的随机变量。H是可分Hilbert空间，Q是H上的概率测度。特征函数bq:H→ Q中的C由bq（h）=RHeihy、hiHQ（dy）、h定义∈ H、 IfRHkykHQ（dy）<∞, 然后很好地定义了Q的平均值mQ=RHyQ（dy），其中积分是Bochner意义上的，参见，例如，【DPZ14，第1.1节】。IfRHkykHQ（dy）<∞, 然后，协方差运算符qqof Q由hQQh定义，hiH=RHhy，hiHhy，hiHQ（dy）- hmQ、hiHhmQ、hiH、h、h∈ H、 HenceQQis是一个非负的自伴迹类算子。测度Q是高斯的，Q~ N（mQ，QQ），ifbQ（h）=eihmQ，hiH-hQQh，hiH，见【DPZ14，第2.3节】。现在让我们(Ohm, F、 P）概率空间，和（Yn）n≥1a分布为Y的i.i.d.H值随机变量序列~ Q、 假设E[Y]=0。如果E【kYkH】<∞, 然后（Yn）n≥1满足以下大数定律，见[HJP76，定理2.1]，nnXi=1Yia。s--→ 0，（35）和中心极限定理，参见[HJP76，定理3.6]，√nnXi=1Yid-→ N（0，QQ）。（36）如果kYkH≤ 1 a.s.，然后（Yn）n≥1满足以下浓度不等式，称为霍夫丁不等式，见【Pin94，定理3.5】，P“nnXi=1YiH≥ τ#≤ 2e类-τn，τ>0。（37）B校样我们在这里收集正文的所有校样。B、 1嵌入运算符的性质为了完整性，我们首先回顾了第2节中定义的运算符J的一些基本性质，这些性质在本文中使用。操作员JJ*显然是非负的自伴迹类，因为J和J*是希尔伯特-施密特。

因此，存在一个ONS{vi | i∈ 一} 在LQ中，特征值uI>0，I∈ 一、 对于| I |=dim（Im J）的可数索引集I*), 这样的话PI∈IuI<∞ 和光谱表示jj*=xi∈Iuih·，viiQvi（38）有效。特征值ui的可和性意味着（38）中的收敛在希尔伯特-施密特范数意义下成立。根据开映射定理，自ker JJ*= ker J公司*, 我们得到JJ*isinvertible当且仅当ker J*= {0}和dim（LQ）<∞. 通过检查，ui=u-1/2iJ*在H和J中形成振动*Jui=u-1/2iJ*林俊杰*vi=uiui。那么，因为H=Im J*⊕ ker J和Im J*=span{ui | i∈ 一} ，J*J具有光谱表示J*J=Xi∈Iuih·，uiiHui。（39）与（38）一样，（39）中的收敛在希尔伯特-施密特范数意义下成立。此外，通过与JJ类似的参数*, 我们得到J*J是可逆的当且仅当kerj={0}且dim（H）<∞. 作为H=Im J的正向结果*⊕ker J和LQ=Im J⊕ker J公司*, 我们有J的正则展开式*J对应于（38）和（39），J*=xi∈Iu1/2ih·，viiQui，J=Xi∈Iu1/2ih·，uiiHvi。（40）备注B.1。注意，（7）当且仅当J:H时成立→ LQis Hilbert–Schmidt。实际上，[SS12，示例2.9]显示了一个可分离的RKHS H，其中J:H→ LQis紧，但不是Hilbert–Schmidt和kκk2，Q=∞.这个例子也表明κ/∈ H一般情况。B、 引理2.3Let{vi | i的证明∈ 一} 是第B.1节中给出的LQ中的ONS。那么f=Pi∈Ihf、vii2、Qvi。当fλ=J（J*J+λ）-1J*f、 J的谱表示（39）*J和J的正则展开式（40）*J给定fλ=Pi∈IuIuI+λhf，vii2，Qvi。因此，kf- fλk2，Q=xi∈IλuI+λhf，vii2，Qvi2，Q=Xi∈I（λuI+λ）hf，vii2，Q。结果遵循支配收敛定理。B、 3定理3.1的证明为了简单起见，我们假设采样量eq=Q，即w=1，并省略颚化符。

使用（17）和（18）可以直接扩展到一般情况。我们写了- fλ=（J*XJX+λ）-1J*Xf车型-（J）*J+λ）-1J*f=（J*XJX+λ）-1（J*Xf车型-J*f）- （（J*J+λ）-1.- （J）*XJX+λ）-1） J*f、 将其与初等因式分解（J*J+λ）-1.- （J）*XJX+λ）-1=（J*XJX+λ）-1（J*XJX公司- J*J） （J）*J+λ）-1、（41）我们获得Fx- fλ=（J*XJX+λ）-1（J*Xf车型-J*f-（J）*XJX公司- J*J） fλ）=（J*XJX+λ）-1nnXi=1ξi，（42），其中ξi=（f（X（i））- fλ（X（i）））kX（i）- J*（f）- fλ）是具有零均值的i.i.d.H值随机变量。此外，askξikH=（f（X（i））- fλ（X（i）））κ（X（i））+ZE（f（X）- fλ（x））（f（y）- fλ（y））k（x，y）Q（dx）Q（dy）- 2ZE（f（X（i））- fλ（X（i））（f（y）- fλ（y））k（X（i），y）Q（dy），（43）我们推断e[kξikH]=k（f-fλ）κk2，Q- 千焦*（f）-fλ）kH≤ k（f-fλ）κk2，Q≤ 2kfκk2，Q+2kfλkHkκk4，Q<∞, （44）我们在第三个不等式中使用了（8）。因此，（35）中的大数定律和（36）中的中心极限定理都适用：nnXi=1ξia。s--→ 0,√nnXi=1ξid-→ N（0，Cξ），（45），其中Cξ是ξ的协方差算子，由hcξh给出，hiH=k（f-fλ）Jhk2，Q- 高频- fλ，Jhi2，Q，h∈ H、 （46）从下面的（42）、（45）和引理B.2中，连续映射定理给出了fXa。s--→ fλ和Slutsky\'slemma给出√n（外汇）- fλ）d-→ N（0，Q）对于协方差算子Q=（J*J+λ）-1Cξ（J*J+λ）-使用（46），我们推断出hqh，hiH=k（f-fλ）J（J*J+λ）-1 HK2，Q- 高频- fλ，J（J*J+λ）-HI2，Q=VQ[（f-fλ）（J*J+λ）-1h]，如所述。引理B.2。我们有（J*XJX+λ）-1a。s--→ （J）*J+λ）-1，作为n→ ∞.引理B.2的证明。等式（41）表示k（J*J+λ）-1.- （J）*XJX+λ）-1公里≤ λ-2kJ*XJX公司- J*Jk。Henceit足以证明J*XJXa。s--→ J*J、 （47）因此，我们分解*XJX公司- J*J=nnXi=1Ξi，（48），其中Ξi=h·，kX（i）iHkX（i）-REh·，kxiHkxQ（dx）是具有零均值的i.i.d.随机希尔伯特-施密特算子。简单的计算表明KΞik=κ（X（i））+ZEk（X，y）Q（dx）Q（dy）- 2ZEk（x，x（i））Q（dx）。（49）因此eq[kΞik]=kκk4，Q-ZEk（x，y）Q（dx）Q（dy）<∞.

（50）因此，（35）中的大数定律适用，（47）如下。B、 4定理3.4的证明与定理3.1的证明一样，我们假设采样量eq=Q，即w=1，并省略了tildes。使用（17）和（18），对一般情况的扩展很简单。根据（42），我们推断kfX-fλkH≤λknPni=1ξikH，因此Q[kfX-fλkH≥ τ] ≤ QλknPni=1ξikH≥ τ.根据（43），我们推断ξikH≤ 2k（f-fλ）κk∞,Q≤ 2kfκk∞,Q+2kfλkHkκk∞,Q<∞,在第二个不等式中，我们使用了（8）。因此，（37）中的霍夫丁不等式适用，因此q“nnXi=1ξiH≥ τ#≤ 2e类-τn8k（f-fλ）κk∞,Q、 τ>0，（51），这意味着（20）。B、 5引理的证明3.6通过定义，我们得到eκ=κ/√w、 从（17）我们得到了keκk∞,Q≥ keκk2，eQ=kκk2，Q，当且仅当eκ为常数Q-a.s时相等。这证明了引理。B、 6引理6.1的HGRKHS证明，对应于高斯核kG（x，y）=e-αkx-yk。众所周知，HGI密集嵌入LQ中，参见【SFL10，命题8】。表示为与指数核kE（x，y）=eβx>y相对应的RKHS。表示为k（x，y）=kE（x，y）kG（x，y），表示为1=kE（·，0）∈ 他，我们从[PR16，定理5.16]得出结论，HG H、 这证明了引理。C有限维目标空间我们讨论第2节中的目标空间Lqf是有限维的情况。这是独立的，为计算样本估计量提供了基础，无需排序。假设Q=nPni=1δxi，其中δxdenotes是狄拉克点在x的测量值，对于点x的样本（不一定是不同的），x，xn公司∈ E、 对于某些n∈ N、 那么，对于任何可测核k:E×E，性质（7）成立→ R、 请注意，n=尺寸LQ≤ n、 当且仅当xi6=xjfor all i 6=j时，具有等式。我们现在更详细地讨论这个问题。让'x，“x”是E中的不同点，使得{x，…，\'x\'n}={x，…，xn}。定义指标集Ij={i | xi=\'xj}，j=1。

. . , 所以q=n？nXj=1？Ij？δ？xj。（52）然后（9）读取J*g=nP'nj=1k（·，'xj）'Ij'g（'xj），因此JJ*g（xi）=n（nXj）=1k（xi，xj）| Ij（g（xj）），i=1，\'\'n，g∈ LQ。（53）我们用vn表示与缩放欧几里德标量积hy相连的空间，zin=ny>z。我们定义线性算子S:H→ VnbySh=（h（x），h（xn））>，h∈ H、 （54）其伴随式由S给出*y=nPnj=1k（·，xj）yj，因此（SS*y） i=nnXj=1k（xi，xj）yj，i=1，n、 y型∈ 越南。（55）我们定义了线性算子P:Vn→ LQby P y（(R)xj）=Ij | Pi∈Ijyi，j=1，\'n，y∈ 越南。将其与（52）相结合，我们得到hP y，giQ=nP'nj=1'Ij'P y（'xj）g（'xj）=nPni=1yig（xi），对于任何g∈ LQ。因此，P的伴随式由P给出*g=（g（x），g（xn））>。从（54）来看，我们看到 即时消息处理程序*, （56）和PP*等于LQ上的恒等式运算符，P P*g=g，g∈ LQ。（57）我们声称J=P S，即下图换算：VnH LQPJS（58）的确，对于任何h∈ H、 我们有PSh（(R)xj）=Ij | Pi∈Ijh（xi）=h（(R)xj），这证明了（58）。结合（56）–（58），我们得到了K J=K S（59）和P*（JJ*+ λ） =（SS*+ λ） P*. 这对于计算下面的样本估计量是一个有用的结果。实际上，当λ>0时，我们得到（13）中的gλ由提升方程（SS）唯一确定*+ λ） P*gλ=P*f、 （60）为了计算fλ=J*gλ=S*P*gλ，我们可以用p*f∈ Vn给定，而不是相应的“n”×n维线性问题（13）。这一事实允许更快地实施样本估计，因为测试给定样本x的n是否<n，不需要xnis，请参见下面的引理C.1。C、 1无排序的计算作为上述的一个应用，我们现在讨论如何计算（18）中的样本估计量，而不将样本X进行排序。其中，我们计算了由ei给出的Vn的正交基{e，…，en}，j=δij，sothat hei，ejin=nδij，对于1≤ i、 j≤ n、 我们用f=（ef（X（1））。

，ef（X（n））>，并通过Kij=ek（X（i），X（j））定义正酰胺化合物n×n-矩阵K。从（55）中，我们看到NK是SES的矩阵表示*: 越南→ 越南。综上所述，我们得到了引理4.1的以下替代方法。引理C.1。独特的解决方案g∈ Rnto（nK+λ）g=f，（61）给出fX=nPni=1k（·，X（i））gi√w（X（i））。此外，（25）和（61）的解由gi=| Ij关联|-1/2GJ适用于所有i∈ Ij，j=1，\'-n.备注C.2。如果X（i）6=X（j），对于所有i 6=j（即，如果n=n），则K=K，f=f，以及引理4.1和c。1重合。否则，它们会提供不同的计算方案。D有限维RKHS我们更详细地讨论了第2节中的RKHS H为有限维的情况。特别是，我们将我们的一些结果推广到没有正则化的情况，λ=0。设{φ，…，φm}是E上kφik2，Q<∞, i=1，m、 对于一些m∈ N、 表示特征图φ=（φ，…，φm）>：E→ Rmand定义可测量内核k:E×E→ R乘以k（x，y）=φ（x）>φ（y）。通过检验，（7）保持和{φ，…，φm}是H的ONB，这符合引理A.1（i）。因此，任何函数h∈ H可以用坐标向量H=hh，φiH表示∈ Rm，h=φ>h。运算符J*: LQ公司→ H的形式为J*g=φ>hφ，giQ。因此J*J:H→ H满意度J*Jφ>=φ>hφ，φ>iQ，因此可以用m×m-Gram矩阵xhφ，φ>iQ表示。也就是说，J*Jh=J*Jφ>h=φ>hφ，φ>iQh，对于h∈ H、 此后，我们假设kerj={0}，因此J*J:H→ 根据B.1节，H是可逆的。这等价于{Jφ，…，Jφm}是LQ中的一个线性独立集。我们将其转换为ONS。考虑正交矩阵S和Dii>0的对角矩阵DW的光谱分解hφ，φ>iQ=SDS>。定义函数ψi∈ H乘以ψ>=（ψ，…，ψm）=φ>SD-1/2. 然后hψ，ψ>iQ=D-1/2S>hφ，φ>iQSD-1/2=Im，因此{Jψ。

，Jψm}是LQ中的一个介子。此外，我们还有J*Jψ>=J*Jφ>SD-1/2=φ>hφ，φ>iQSD-1/2=ψ>D，因此vi=Jψ是JJ的特征向量*特征值ui=Dii>0，i=1，m、 （62）谱分解（38）保持指数集I={1，…，m}。谱分解（39）中对应的ONB由（u，…，um）=J给出*Jψ>D-1/2=ψ>D1/2=φ>S。注意，我们可以直接用旋转特征映射u，k（x，y）=u（x）>u（y）来表示核，与引理A.1（i）一致。D、 1无正则化的近似值，如J*J:H→ H是可逆的，因此问题（10）对于λ=0总是有唯一的解，这与投影f=（J）明显重合*J）-1J*f、 D.2无正则化的样本估计如第3节所述，我们让n∈ N和X=（X（1），X（n））是具有X（i）的i.i.d.E值随机变量的样本~公式。我们从此假设λ=0，因此我们必须解决ej*Xejxis不可逆。在这种情况下，我们将用“（eJ*XeJX）-1“与Ej的倒数重合的任何线性运算符oneH*XEJX仅限于ImeJ*十、呃。因此，efX=（eJ*XeJX）-1eJ*Xf总是被很好地定义，并用λ=0和Q替换为eqx来解决问题（10）。我们首先证明了我们的极限定理是成立的。第D.5节给出了证明。定理D.1。定理3.1字面上适用于λ=0，备注3.2（但不是备注3.3）也是如此。我们用u=mini表示∈IuI>0 J的最小特征值*J、 见（62）。定理3.4中的有限样本保证修改如下。第D.6节给出了证明。定理D.2。

对于任何η∈ （0，1），我们有KFx- fkH<p2 log（4/η）k（1/w）（f- f） κk∞,Q（1- C（η）/√n） u√n（63），采样概率Q至少为1- η、 式中，C（η）=2plog（4/η）u-1keκk∞,Q、 对于所有n>C（η）。定理D.2类似于[CM17，定理2.1（iii）]，但相反，它扩展到假设（15）和（16）下的无界f，并为样本误差（集η=n）提供了学习率O（（log nn）1/2-r、 对于某些r>0）。D、 3计算我们现在重新讨论第4节中有限维RKHS H的情况。注意eφj=φj/√w形成anONB ofeH。我们通过Vij=| Ii | 1/2eφj（| X（i）），定义了“n×m矩阵V”，因此K=V V>，如第4节所示。那么V是ejx的矩阵表示：eH→ LeQX，也称为设计矩阵，nv>是ej的矩阵表示*十： LeQX公司→呃。注意，k是可处理的，当且仅当等式[φ（X）| Ft]以闭合形式给出所有t时。我们得到以下结果，对应于引理4.1，适用于任何λ≥ 在λ=0的情况下，我们假设kereJX={0}，所以ej*XeJXis可逆。引理D.3。独特的解决方案h∈ Rmto（nV>V+λ）h=nV>f，（64）由于LeQXis的正交基{ψ，…，ψ′n}未归一化，矩阵转置V>按n缩放。给出fX=φ>h。问题（10）的示例版本，minh∈Rm（nkV h- f k+λkhk），（65）有唯一的解h∈ Rm，这与（64）的解一致。此外，如果核k在nvx，t=EQ[φ（X）| Ft]>h，t=0，T、 （66）以闭合形式给出。最小二乘问题（65）可以使用随机梯度方法有效解决，如[ZF13，FGNS19]中的随机化扩展Kaczmarz算法。D、 4无排序的计算继第C.1节之后，我们通过Vij=eφj（X（i）），定义n×m矩阵V，使K=V V>。注意，V是es:eH的矩阵表示→ Vnin（54），nv>是ES的矩阵表示*: 越南→呃。因此，从（59）中，我们推断ker V=kereJX。

因此，或通过直接验证，我们进一步获得V>V=V>V，V>f=V>f和kV h- f k=kV h- 综上所述，我们由此推断引理D.3字面上适用于V和f，而不是V和f。D、 5定理D.1的证明在定理3.1的证明中，为了简单起见，我们假设采样量eq=Q，即w=1，因此我们可以省略颚化符。We fixδ∈ [0，1），并确定采样事件Sδ={kJ*XJX公司- J*Jk公司≤ δ/k（J*J）-1k} E、 下面的引理收集了Sδ的一些性质。引理D.4。（i） 关于Sδ，算子J*XJX:H→ H是可逆的，k（J*XJX）-1公里≤k（J*J）-1k1- δ. （67）（ii）Sδ的采样概率有界于byQ【Sδ】以下≥ 1.- 2e类-δn4kκk∞,Qk（J*J）-1k。（68）引理D.4的证明。（i） ：我们写J*XJX=J*J（J*J）-1J*XJX，所以J*XJXis可逆if and onlyif（J*J）-1J*XJXis可逆。如果k（J*J）-1千焦*J- J*XJXk≤ δ、 然后k1- （J）*J）-1J*XJXk≤ δ、 证明了（J）的可逆性*J）-1J*XJX，也就是J*XJX。此外，使用1的Neumann级数- （J）*J）-1J*XJXwe获得（67）。（ii）：我们分解J*XJX公司- J*J如（48）所示。从（49）我们推断kΞik≤√2kκk∞,Q<∞. 因此，霍夫丁不等式（37）适用，我们得到Q【kJ*XJX公司- J*Jk公司≥ τ] ≤ 2e类-τn4kκk∞,Q、 （69）由于VN的正交基{e，…，en}未规范化，因此矩阵转置V>按N缩放。这同样等于（68）。根据引理D.4（i），现在通过检查（41）和（42）保持Sδ，λ=0。我们因此获得了全球身份- f=X+（J*XJX）-1nnXi=1ξi，（70），其中H值随机变量X=fX-f-（J）*XJX）-1nPni=1ξisatis fiesSδ上的X=0。鉴于（68）和Borel–Cantelli引理，我们因此√nXa。s--→ 0，作为n→ ∞.注意，（43）–（46）在λ=0时明显保持不变。定理D.1现在与定理3.1的证明一样，λ=0，（42）替换为（70），引理B.2替换为以下引理。引理D.5。