基于神经网络的鲁棒风险聚合

我们强调，Lux和Papapantoleon使用的统计距离不同于上一小节中定义的运输距离D。模型模糊性本文研究的问题（1）和下列极大极小随机优化问题Minx有着明显的联系∈XmaxQ公司∈QEQ[f（x，ξ）]，（7），其中x Rm，f:Rm×Ξ→ R、 ξ是一个随机向量，其分布Q受Ξ的支持 Rdand Q是一组非空的概率分布，称为模糊集。这种形式的问题最近被称为分布鲁棒随机优化问题。正如Shapiro（2017）所指出的，有两种自然的和不同的方法来构建模糊集Q。一方面，模糊集是通过力矩约束定义的，见Delage和Ye（2010）以及其中的参考文献。另一种方法是假设给出了参考概率分布“Q”，并定义了由统计距离测量的“Q”附近的所有分布所设置的模糊度。据我们所知，文献中已经确定了这种统计立场的两种不同选择：φ-散度和瓦瑟斯坦距离。关于使用φ-散度构造的歧义集，我们参考了toBayraksanand Love（n.d.）及其参考文献。在下文中，我们将重点讨论利用瓦瑟斯坦距离来解释模型模糊性的方法。G、 P flug和Wozabal（2007）是第一个研究这些特定歧义集的人。Mohajerin Esfahani和Kuhn（2018）表明，围绕离散参考分布的Wasserstein-Ballscent上的分布鲁棒随机优化问题具有易于处理的重新表述：在温和假设下，这些问题与其非鲁棒对应问题属于同一复杂度类别。

基于不同的技术和假设，Blanchet和Murthy（2019）、Gao和Kleywegt（2016）以及Bartl、Drapeau和Tangpi（2019）也证明了推动这一观点的双重性结果。这些贡献表明，近年来，利用Wasserstein距离的分布鲁棒随机优化发展成为一个活跃的研究领域。例如，Zhao和Guan（2018）以及Hanasusanto和Kuhn（2018）在两阶段随机规划的背景下采用了类似的想法，Chen、Yu和Haskell（2019）以及Yang（2017）使用Wasserstein距离研究了分布鲁棒马尔可夫决策过程。Obloj和Wiesel（2018）分析了一种稳健的估计方法，该方法依赖于围绕经验测度的Wasserstein球来预测价格的上涨。与本文背景最相关的是以下两个参考文献：Gao和Kleywegt（2017b）在（7）中对概率分布Q提出了两个Wasserstein类型的约束：Q必须在Wasserstein距离接近参考分布Q，而Q所隐含的依赖结构必须在Wasserstein距离接近特定的参考依赖结构。在他们的后续论文中，Gao和Kleywegt（2017a）在随机优化的背景下，即在框架（7）中考虑了问题（1）。本文的贡献，即它们的对偶结果和LP公式，已经在上述概述中进行了回顾。此外，作者还提供了投资组合选择和非参数密度估计的数值实验。近年来，神经网络在金融和优化方面的应用大幅增加。大多数人都来自于与数据表示任务相关的神经网络的成功，例如与模式识别、图像分类或任务特定的艺术智能相关的神经网络。

与此相反，神经网络也被严格用作解决某些优化问题的工具。这就是我们在本文中使用神经网络的方式，它们在与金融相关的各个领域都有类似的用途。其中，他们被用于求解高维偏微分方程和随机微分方程（参见Beck、Becker、Grohs、Jaafari和Jentzen，2018；Berner、Grohs和Jentzen，2018；Weinan、Han和Jentzen，2017）以及反向随机微分方程（Henry Laboradere，2017），在最佳停止（Becker、Cheridto和Jentzen，2019）中，关于风险度量的最优套期保值（Buehler、Gonon、Teichman和Wood，2019）和超边缘（Eckstein和Kupper，2019）。对于应用神经网络的更经典的学习任务，还使用了来自最优传输和分布鲁棒性的思想。虽然设置在本质上与本文中的设置不同，但最终实现的优化问题是相似的。与本论文最相关的是通过惩罚或正则化方法解决最佳运输类型约束的设置。示例包括图像的生成模型（参见Gulrajani、Ahmed、Arjovsky、Dumoulin和Courville，2017；Roth、Lucchi、Nowozin和Hofmann，2017），图像的最优运输和重心计算（参见Seguy等人，2017），鞅最优运输（参见Henry Laborder，2019），或适用于学习任务的分布稳健性方法（参见Blanchet、Kang和Murthy，2019；Gao、Chen和Kleywegt，2017）。2、结果2.1。对偶叶X=X×X×····×Xdbe是一个波兰空间，用P（X）表示X上所有可钻性测度的集合。

自始至终，我们确定了一个参考概率度量∈ P（X）。对于i=1。。。，d、 我们用ui表示：=uo公共关系-1u的第i个边缘∈ P（X），其中pri:X→xi是投影pri（x）：=xi。进一步，让κ：X→ [1, ∞) 是形式为κ（x，…，xd）的生长函数=Pdi=1κi（xi），其中每个κi：xi→ [1, ∞) 连续且满足esRXiκid？ui<∞. 我们进一步假设如下之一：要么κ有紧子级集，要么Xi=rdi，对于所有i=1。。。，d、 用Cκ（X）和Uκ（X）分别表示所有连续上半连续函数f:X的空间→ 使得f/κ是有界的。重新调用Cb（X）表示X上所有连续和有界函数的集合。下面我们定义一个连续函数c:X×X→ [0, ∞) 对于所有x，c（x，x）=0∈ 十、 关于成本函数c，P（X）中u与u之间的运输成本定义为DC（u，u）：=infπ∈π（(R)u，u）ZX×Xc（x，y）π（dx，dy），（8），其中∏（(R)u，…，ud）表示所有u的集合∈ P（X）使得ui=(R)ui对于所有i=1，d、 π（u，…，ud）中的元素称为边缘u，ud.虽然以下结果中凸共轭的计算依赖于Bartl、Drapeau和Tangpi（2019），但我们不需要它们在成本函数C上的增长条件。我们不需要这个条件的主要原因是，函数（9）上方的连续性（对应于所考虑的一组度量的紧密性）已经由施加的边际约束获得。定理1。对于每个凸函数和下半连续函数Д：[0，∞] → [0, ∞] 因此，Д（0）=0和Д(∞) = ∞, 和所有f∈ Uκ（X），它保持maxu∈∏（°u，…，±ud）nZXf du- |（dc（|u，u））o（9）=infλ≥0，您好∈Cκi（Xi）nИ*（λ） +dXi=1ZXihid？ui+ZXsupy∈Xhf（y）-dXi=1hi（yi）- λc（x，y）i？u（dx）o，其中*表示Д的凸共轭，即Д*（λ） =supx≥0{λx- ^1（x）}。证据

1） 确定最佳运输函数ψ：Cκ（X）→ R乘以ψ（f）：=infndXi=1ZXihid？ui：hi∈ Cκi（Xi）使得⊕di=1hi≥ fo，其中⊕di=1高：X→ R定义为⊕di=1hi（x）：=Pdi=1hi（xi）。我们证明ψ在Cκ（X）上是连续的，即对于Cκ（X）中的每个序列（fn），fn↓ f∈Cκ（X）有ψ（fn）↓ ψ（f）。固定ε>0和hi∈ Cκi（Xi）使得⊕di=1hi≥ f和ψ（f）+ε≥Pdi=1RXihid？ui.自f起∈ Cκ（X）和hi∈ Cκi（Xi），存在一个大于0的常数，使得| f |≤ Mκ和| hi |≤ Mκi.根据假设，RXiκid？ui<+∞ 对于alli=1，d、 我们现在显示ψ（fn）≤ ψ（f）+ε，这取决于我们是否假设κ具有紧子级集，或Xi=Rdi设κ具有紧子级集。选择z>0，使Pdi=1RXi4M（κi-zd）+dui≤ε. 根据Dini引理，存在n∈ N使fn≤ ⊕di=1hi+ε在紧集上，例如，如果所有κi都有紧的子级集，这是可以满足的，因为子级集是通过连续循环的，并且进一步通过κiit的正性保持{κ≤ c} {κ≤ c} ×。。。×{κd≤ c} 。{κ ≤ 2z}。因为它进一步保持κ11{κ>2z}≤ 2(κ -z）+≤ 2.⊕di=1（κi-zd）+，一个得到fn=11{κ≤2z}fn+11{κ>2z}fn≤ 11{κ≤2z}⊕di=1hi+11{κ>2z}fn+ε=⊕di=1hi+11{κ>2z}（fn- ⊕di=1hi）+ε≤ ⊕di=1hi+11{κ>2z}2Mκ+ε≤ ⊕di=1高+4Mκi-zd公司++ε和ψ（fn）≤Pdi=1RXihi+4M（κi-zd）+dui+ε≤ ψ（f）+εo设Xi=Rdi。选择z>0，使Pdi=1RXi4M（κi-zd）+dui≤ε. 选择Ri>0，使Pdi=1ui（B（0，Ri）c）·4Mz<ε，其中B（0，r）是半径r的开放欧氏半圆形0。根据Dini引理，存在n∈ N使fn≤ ⊕di=1hi+ε在紧致K上：=K×。。。×Kd：=B（0，R+2）×。。。×B（0，Rd+2）。由于b（0，Ri+1）是上半连续的，我们可以找到连续的有界函数，如11B（0，Ri+1）c≤ giandPdi=1RXigid？ui·4Mz<ε（自giapproximatesB（0，Ri+1）和11B（0，Ri+1）c≤ 11B（0，Ri）c）。

使用与κ具有紧子级集的情况相同的一些步骤，可以得到sfn=11Kfn+11Kcfn≤ ⊕di=1hi+11Kc（fn- ⊕di=1hi）+ε≤ ⊕di=1hi+11Kc{κ>2z}2Mκ+11Kc{κ≤2z}2Mκ+ε≤ ⊕di=1高+4Mκi-zd公司++ 11Kc4Mz+ε≤ ⊕di=1高+4Mκi-zd公司++ (⊕di=1Kci）4Mz+ε≤ ⊕di=1高+4Mκi-zd公司++ 4Mz·gi+ε和ψ（fn）≤Pdi=1RXihi+4M（κi-zd）++4Mz·gid？ui+ε≤ ψ（f）+ε。这表明ψ在Cκ（X）上是连续的。此外，其凸共轭由ψ给出*1，Cκ（u）=supf∈Cκ（X）ZXf du- infhi公司∈Cκi（Xi）⊕di=1hi≥fdXi=1ZXihid？ui= 苏菲∈Cκi（Xi）supf∈Cκ（X）⊕di=1hi≥fZXf du-dXi=1ZXihid？ui= 苏菲∈Cκi（Xi）dXi=1ZXhidu-ZXihid？ui=（如果u，则为0∈ ∏（°u，…，±ud）+∞ 所有u的else（10）∈ Pκ（X），其中Pκ（X）表示所有u的集合∈ P（X）使得κ∈ L（u）。注意∏（°u，…，±ud） Pκ（X）。2） 定义ψ：Cκ（X）→ R∪ {+∞} byψ（f）：=infλ≥0φ*（λ） +ZXsupy∈十、f（y）- λc（x，y）u（dx）.根据定义，ψ是凸的，并且是递增的。此外，由于infλ≥0φ*(λ) = φ*（0）=0和fλc（x）：=supy∈X{f（y）- λc（x，y）}≥ 所有λ的f（x）≥ 0，则ψ（f）≥ infλ≥0φ*（λ） +ZXf d'u> -∞对于所有f∈ Cκ（X），其中我们使用f∈ L（(R)u）。对于凸共轭，有ψ*2，Cκ（u）：=supf∈Cκ（X）ZXf du- ψ（f）= supf公司∈Uκ（X）ZXf du- ψ（f）=: ψ*2，对于所有u，Uκ（u）=Д（dc（(R)u，u））（11）∈ Pκ（X）。事实上，对于每u∈ Pκ（X）有ψ*2，Uκ（u）≥ ψ*2，Cκ（u）≥ ψ*2，Cb（u）=Д（dc（(R)u，u）），其中最后一个等式显示在Bartl、Drapeau和Tangpi（2019年，第2.4条步骤4的证明）中，尤其是在没有使用Bartl、Drapeau和Tangpi（2019年）中规定的c生长条件的情况下。仍然需要证明ψ*2，Uκ（u）≤ ^1（直流（(R)u，u））。自从(∞) = ∞, casedc（(R)u，u）=∞ 这是显而易见的。假设dc（(R)u，u）<+∞. 请注意，自λc起，Rxfλcd′u定义良好≥ f∈ L（(R)u），因此积分的负部分是有限的。

此外，通过消除凸共轭的上确界和下确界中的冗余选择，可以得到ψ*2，Uκ（u）=supf∈Uκ（X）ψ（f）<∞nZXfdu- infλ≥0, φ*(λ)<∞,RXfλcd？u<∞φ*（λ） +ZXfλcd'uo、 对于每ε>0，f∈ Uκ（X）和λ≥ 0，使得ψ（f）<+∞, φ*(λ) < +∞,RXfλcd？u<+∞, 以下为Rxf du，Д*（λ） andRXfλcd？u是实数，因此zxf du- φ*(λ) -ZXfλcd？u- ε≤ZXf du- λdc（|u，u）+Д（dc（|u，u））-ZXfλcd？u- ε≤ZX×Xf（y）π（dx，dy）-ZX×Xλc（X，y）π（dx，dy）-ZX×Xfλc（x）π（dx，dy）+Д（dc（(R)u，u））≤ZX×Xλc（x，y）+fλc（x）- λc（x，y）- fλc（x）π（dx，dy）+Д（dc（\'u，u））=Д（dc（\'u，u）），其中π∈ π（°u，u）为λdc（±u，u）+ε≥RX×Xλc dπ，我们在哪里使用它*(λ) ≥ λdc（(R)u，u）- ^1（直流（(R)u，u））和f（y）≤ λc（x，y）+fλc（x）。取f和λ的上确界表示ψ*2，Uκ（u）≤ ^1（直流（(R)u，u））。3） 对于f∈ Uκ（X）定义卷积ψ（f）：=infg∈Cκ（X）{ψ（g）+ψ（f- g） }=infλ≥0，您好∈Cb（Xi）（Д）*（λ） +dXi=1ZXihid？ui+ZXsupy∈Xhf（y）-dXi=1hi（yi）- λc（x，y）i′u（dx））。对于相关的凸共轭，从（10）和（11）可以得出ψ*Cκ（u）=supf∈Cκ（X）supg∈Cκ（X）ZXf du- ψ（g）- ψ（f）- g）= supg公司∈Cκ（X）ZXg du-ψ（g）+ supf公司∈Cκ（X）ZXf du- ψ（f）= ψ*1，Cκ（u）+ψ*2，Cκ（u）=ψ*1，Cκ（u）+ψ*2，Uκ（u）=supg∈Cκ（X）ZXg du-ψ（g）+ supf公司∈Uκ（X）ZXf du- ψ（f）= supf公司∈Uκ（X）supg∈Cκ（X）ZXf du- ψ（g）- ψ（f）- g）= ψ*Uκ（u）=（Д）直流（°u，u）如果u∈ ∏（°u，…，±ud）+∞ elsefor所有u∈ Pκ（X）。4） 对于每个f∈ Uκ（X）有ψ（f）≥ZXf du- ψ*Uκ（(R)u）=ZXf dPu>-∞自ψ起*Uκ（°u）=Д（dc（±u，±u））=Д（0）=0和f∈ L（u）。这表明ψ：Uκ（X）→ R、 根据定义，ψ是凸的，并且是递增的。此外，ψ在Cκ（X）上是连续的，因为对于Cκ（X）中的每个序列（fn），fn↓ 0一个已输入∈Nψ（fn）=infn∈Ninfg公司∈Cκ（X）ψ（g）+ψ（fn- g）= infg公司∈Cκ（X）infn∈Nψ（fn- g） +ψ（g）= infg公司∈Cκ（X）ψ(-g） +ψ（g）= ψ（0），其中我们在第一步中使用ψ在Cκ（X）上是连续的。

自也ψ*Cκ=ψ*第三步是Pκ（X）上的Uκ，它源自（Bartl、Cheridito和Kupper，2019，定理2.2）和（Bartl、Cheridito和Kupper，2019年，提案2.3）ψ具有双重表示ψ（f）=maxu∈Pκ（X）nZXf du- ψ*Cκ（u）o=最大u∈∏（°u，…，±ud）nZXf du- 或所有f∈ Uκ（X）。推论1。对于每个f∈ Uκ（X）1 hasmaxu∈∏（°u，…，±ud）直流（±u，u）≤ρZXf du（12）=infλ≥0，您好∈Cκi（Xi）nρλ+dXi=1ZXihid？ui+ZXsupy∈Xhf（y）-dXi=1hi（yi）- 每个半径ρ的λc（x，y）iu（dx）o（13）≥ 0.证明。这直接从定理1得出，如果x为，则由φ（x）=0给出≤ ρ和Д（x）=+∞如果x>ρ。在这种情况下，共轭由ν给出*(λ) = ρλ.备注1。让我们评论一下对偶问题（13）的解释：粗略地说，在ρ=∞, 上述结果可归结为多重边际最优运输的对偶性。另一方面，如果ρ=0，则原始问题（12）和对偶问题（13）都会降低toRf du。最后，如果放弃约束u∈ 在原始公式（12）中，函数h=h=··=0。从计算角度来看，惩罚函数Д（x）=x特别有趣，因为拉格朗日乘子λ上的定理1中的优化消失了。推论2。对于每个f∈ Uκ（X）1 hasmaxu∈∏（°u，…，±ud）nZXf du- 直流（(R)u，u）o=infhi∈Cκi（Xi）ndXi=1ZXihid？ui+ZXsupy∈Xhf（y）-dXi=1hi（yi）- c（x，y）i‘（dx）o.证明。这是从定理1中得出的，对于ν（y）=y。实际上，因为凸共轭是由ν给出的*（λ） =0表示0≤ λ ≤ 1和Д*(λ) = +∞ 对于λ>1，定理1中的最小值为λ=1。推论3（Gao和Kleywegt（2017a））。设f（x）=max1≤m级≤对于x，M（am）>x+BM∈ Rd，am∈ Rd和bm∈ R、 对于给定的点x，…，设u=nPnj=1δxj，xnin路。让相同点x，xn定义集合Xi，即Xi={Xi，…，xni}和X=X×····×Xd。设成本函数c是可加分离的，即c（x，y）=Pdi=1ci（xi，yi）。

然后，对偶问题（13）等价于线性规划minλ，hi（j），g（j），ui（j，m）nλρ+ndXi=1nXj=1hi（j）+nnXj=1g（j）o（14）s.t.：g（j）≥ bm+dXi=1ui（j，m）j=1，nm=1，M（15）ui（j，M）≥ 阿米克斯基- hi（k）- λci（xji，xki）i=1，dm=1，Mj、 k=1，n（16）λ≥ 0.（17）证据可在Gao和Kleywegt（2017a）中找到。为了方便读者，我们还提供了推论3的直接证明。证据由于假设Xi={Xi，…，xni}和u=nPnj=1δxj，术语rxihiduiin（13）可以写为nPnj=1hi（xj），我们将使用该hi（xj）=hi（xji）。将这些事实与假设c（x，y）=Pdi=1ci（xi，yi）相结合，对偶问题（13）注意到，如果x∈ A、 否则δx（A）=0。可重新计算asminλ≥0，hi（λρ+ndXi=1nXj=1hi（xj）+nnXj=1maxy∈Xnmax1≤m级≤MdXi=1米易+bm-dXi=1hi（y）- λc（xj，y）o）=最小λ≥0，hi（λρ+ndXi=1nXj=1hi（xj）+nnXj=1max1≤m级≤Mnmaxy公司∈Xbm+dXi=1阿米依- 嗨（易）- λci（xji，yi）o） 假设X=X×···××xd意味着对于任何y∈ X我们可以找到指数k，kdwith 1≤ ki公司≤ n表示i=1，d使得y=（xk，…，xkdd）。我们引入辅助变量g（j）∈ R表示j=1，n并写出上述问题asminλ≥0，hi，g（j）nλρ+ndXi=1nXj=1hi（xj）+nnXj=1g（j）：g（j）≥ maxk，。。。，kdbm+dXi=1阿米克斯基伊- hi（xkii）- λci（xji，xkii）, 1.≤ j≤ n、 1个≤ m级≤ Mo=最小λ≥0，hi，g（j）nλρ+ndXi=1nXj=1hi（xj）+nnXj=1g（j）：g（j）≥ bm+dXi=1max1≤k≤n阿米克斯基伊- hi（xkii）- λci（xji，xkii）, 1.≤ j≤ n、 1个≤ m级≤ Mo，我们使用thatmaxk的地方，。。。，kddXi=1amixkii- 嗨（xki）- λci（xji，xkii）=dXi=1max1≤k≤n阿米克斯基- 嗨（xki）- λci（xji，xki）.引入辅助变量ui（j，m）∈ R、 式中，i=1，d、 j=1，n和m=1，M、 要删除剩余的max函数，请使用符号hi（j）：=hi（xj）∈ R生成断言。2.2.

惩罚本节的目的是修改函数（9），以便允许通过神经网络进行数值求解。为了关注主要观点，我们假设κ是有界的，即我们限制为连续有界函数，以及Д=∞11(ρ,∞)如第1.2节概述所示。因此，根据推论1，我们考虑函数φ（f）：=最大u∈∏（°u，…，±ud）直流（±u，u）≤ρZXf du（18）=infλ≥0，您好∈Cκi（Xi）nρλ+dXi=1ZXihid？ui+ZXsupy∈Xhf（y）-dXi=1hi（yi）- λc（x，y）iu（dx）of或所有f∈ Cb（X）和固定半径ρ>0。为简单起见，我们假设函数fλc（x）=supy∈X{f（y）-λc（x，y）}对所有λ都是连续的≥ 0和f∈ Cb（X）。在这种情况下，函数φ：Cb（X）→ 定义为φ（f）：=infλ≥0，您好∈Cb（Xi），g∈Cb（X）：g（X）≥f（x，y）-Pdi=1hi（yi）-λc（x，y）nλρ+dXi=1ZXihid？ui+ZXg d？uo（19）满足度φ（~f）=φ（~fo pr）适用于所有▄f∈ Cb（X），即φ是φ从Cb（X）到Cb（X）的延伸。通过惩罚不等式约束，可以正则化函数φ。为此，我们考虑函数φθ，γ（f）：=infλ≥0，您好∈Cb（Xi），g∈Cb（X）nλρ+dXi=1ZXihid？ui+ZXg d？u+ZXβγf（x，y）- g（x）-dXi=1hi（yi）- λc（x，y）θ（dx，dy）o（20），用于取样测量θ∈ P（X）和惩罚函数βγ（X）：=γβ（γX），γ>0，其中β：R→ [0, ∞) 是凸的、不减损的、可区分的和满足β（x）x的→ ∞ 对于x→ ∞.Letβ*γ（y）：=supx∈R{xy- y的βγ（x）}∈ R+，注意β*γ（y）=γβ*（y） 。请注意，引入的惩罚方法并不特定于惩罚约束，因此相当普遍。它包括一个特例，即与Sinkhorn算法相关的已被充分研究的熵化，该算法通常应用于最优运输问题。惩罚也可以看作是一种正则化，因为它为优化问题中的概率度量引入了轻微的平滑偏差。