基于神经网络的鲁棒风险聚合

一方面，这会导致近似误差，理论上可以任意小，参见下面的位置1和2。另一方面，由此产生的平滑度也被视为产生良好实证结果的特征（例如，Cuturi，2013；Genevay，Peyr\'e和Cuturi，2017）。下面的引理为命题1奠定了基础，其中我们提供了φθ，γ（f）的对偶结果，研究了原始优化器和对偶优化器的各自关系，并概述了收敛度φθ，γ（f）→ γ的φ（f）→ ∞.引理1。对于每个f∈ Cb（X）一具有φθ，γ（f）=inff∈Cb（X）φ（~f）+φ（f-f）, （21）式中φ（f）：=RXβγ（f）dθ。此外，φθ，γ的凸共轭由φ给出*θ,γ(π) =RXβ*γdπdθdθ如果π=(R)u，π∈ π（°u，…，±ud）和RxC dπ≤ ρ∞ elsefor allπ∈ P（X），约定dπdθ=+∞ 如果π相对于θ不是绝对连续的。通过定义，fλcis是下半连续的。此外，如果c（x，y）=c（x- y） 对于连续函数c:X→ [0, ∞) 对于紧子级集，则fλcis上半连续，因此是连续的。例如，这适用于“c（x）=Pdi=1 | xi”或“c（x）=Pdi=1 | xi”，对应于Rd证明上的一阶和二阶Wasserstein距离。观察每个f∈ Cb（X）一个hasinff∈Cb（X）φ（~f）+φ（f-f）= infλ≥0，您好∈Cb（Xi），g∈Cb（X），~f∈Cb（X）：~f（X，y）≤g（x）+Pdi=1hi（yi）+λc（x，y）nλρ+dXi=1ZXihid？ui+ZXg d？u+ZXβγ（f-f）dθw其中右侧等于φθ，γ（f）。这源于应用于序列fn（x，y）=min{n，g（x）+Pdi=1hi（yi）+λc（x，y）}的支配收敛定理。对于凸共轭的计算，我们首先表明φ*θ,γ(π) = ∞ 每当π6=(R)u或π6时∈ π（°u，…，±ud）。

实际上，由于φθ，γ（f）≤ infhi公司∈Cb（Xi），g∈Cb（X）ndXi=1ZXihid？ui+ZXg d？u+ZXβγf（x，y）- g（x）-dXi=1hi（yi）θ（dx，dy）o≤ infhi公司∈Cb（Xi），g∈Cb（X）：g（X）+皮希（彝语）≥f（x，y）ndXi=1ZXihid'ui+ZXg d'uo+βγ（0），因此φθ，γ由一个多边缘输运问题限定。因为相应的凸共轭是+∞, 因此φ*θ,γ(π) = ∞ 对于所有π∈ P（X）使得π6=(R)u或π6∈ π（°u，…，±ud）。相反，如果π=(R)u和π∈ ∏（(R)u，…，(R)ud）一个有φ*θ、 γ（π）=supf∈Cb（X）nZXf dπ- φθ，γ（f）o=supλ≥0supf∈Cb（X）n- λρ+ZXf dπ-ZXβγ（~f- λc）dθo=supλ≥0辅助功能∈Cb（X）n- λρ+λZXc dπ+ZX'fdπ-ZXβγ（(R)f）dθo=supλ≥0λZXc dπ- ρ+ZXβ*γdπdθdθ=（RXβ*γdπdθdθifRXc dπ≤ ρ+∞ 其他的这里，第二个等式后面是替换▄f（x，y）=f（x，y）-Pdi=1hi（yi）- g（x），并利用π的边缘结构。第三个等式通过设置'fn='f+min{n，λc}并使用支配收敛定理来实现。最后，第四个等式后面是一个标准的选择参数，参见例如的证明（Bartl、Cheridito和Kupper，2019，引理3.5）。提案1。假设存在π∈ P（X）使得φ*θ,γ(π) < ∞. 那么它就成立了：（a）对于每一个f∈ Cb（X）1具有φθ，γ（f）=maxπ∈π（°u，±u，…，±ud）：Rc dπ≤ρZXfdπ-ZXβ*γdπdθdθ。（22）（b）让f∈ Cb（X）。如果g？∈ Cb（X），h？我∈ Cb（Xi），i=1。。。，d、 和λ？≥ 0是optimizersof（20），那么概率度量π？定义的比亚迪π？dθ（x，y）：=βγf（x，y）- g？（十）-dXi=1h？一（彝语）- λ?c（x，y）是（22）的最大值。因此u？：=π?o 公共关系-1是（18）的可行解决方案。（c） 修复f∈ Cb（X）和ε>0。假设με∈ P（X）是（18）的ε-优化器，πε∈ π（(R)u，uε）满足度α：=RXβ*dπεdθdθ<∞, andRXc dπε≤ ρ. 那么一个有φθ，γ（fo pr）-β(0)γ≤ φ（f）≤ φθ，γ（fo pr）+ε+αγ。证据（a） 为了显示对偶性，我们检查了（Bartl、Cheridito和Kupper，2019，定理2.2）中的条件（R1），即：。

我们必须证明φθ，γ是实值的，从上面看是连续的。φθ，γ是实值，这是基于存在π的假设∈ P（X）使得φ*θ,γ(π) < ∞. 事实上，它是成立的∞ > φ*θ,γ(π) ≥Rfdπ- φθ，γ（f），因此φθ，γ（f）>-∞（而φθ，γ（f）<∞ 对于所有f∈ Cb（X）。为了从上面显示连续性，设（fn）是Cb（X）中的一个序列，这样fn↓ 0.查看（21），其中一个已输入∈Nφθ，γ（fn）=inff∈Cb（X）infn∈Nφ（~f）+φ（fn-f）= inff∈Cb（X）φ（~f）+φ(-f）= φθ，γ（0），自infn起∈Nφ（fn-f）=φ(-f）受支配的收敛。通过引理1，如下所述。（b） 那个π？在π？=u, π?∈ π（°u，，±ud），和RxC dπ=ρ每当λ>0，遵循一阶条件。例如，由于（20）在g？+tg在t=0时消失，随后为rxg d'u-RXg公司oprdπ？=所有g为0∈ Cb（X），表示π？=u. 这也意味着π？是一种可能性度量。类似地，π？∈ 通过考虑方向h的导数，∏（(R)u，…，(R)ud）紧随其后？i+thi，and rxλ？c dπ？=λ?ρ来自λ的一阶条件。因此，作为π？引理1得出φθ，γ（f）是可行的≥ZXf dπ？- φ*θ,γ(π?)=ZXfβγf- g？-Xih？我- λ?c- β*γβγf- g？-Xih？我- λ?cdθ=ZXg+Xih？i+λ？c dπ+ZXβγf- ^g-Xih？我- λ?cdθ=λ？ρ+XiZXih？id？ui+ZXg？d？u+ZXβγf- ^g-Xih？我- λ?cdθ=φθ，γ（f），其中我们使用β*γβγ（x）= βγ（x）x- 所有x的βγ（x）∈ R、 这表明π？是一个优化程序。（c） 通过将in（20）限制为λ≥ 0，您好∈ Cb（Xi），g∈ Cb（X）使得G（X）≥ f（y）-皮希语（彝语）- λc（x，y），那么φθ，γ（fo pr）≤ infλ≥0，您好∈Cb（Xi），g∈Cb（X）：g（X）≥f（y）-Pdi=1hi（yi）-λc（x，y）nλρ+dXi=1ZXihid？ui+ZXg d？uo+βγ（0）=φ（f）+β（0）γ，其中最后一个等式从（19）中得出。

至于第二个不等式，因为ε∈ P（X）isanε-优化器（18），和πε∈ π（(R)u，uε）一个有φ（f）≤ZXf duε+ε=ZXfo prdπε- φ*θ,γ(πε) + φ*θ,γ(πε) + ε ≤ φθ，γ（fo pr）+αγ+ε。证明是完整的。以下命题表明，只要将采样度量选择为θ=(R)u，就可以应用命题1（c）的收敛结果 u...  ud，并对成本函数c施加最小增长条件，参见下面的提议2（b）（ii）。在这种情况下，π的存在∈ P（X）使得φ*θ,γ(π) < ∞ 也成立，因此命题1完全适用。值得指出的是，下面的结果很容易转移到所有参考度量θ，其中氡Nikodym的导数为uu...uddθ有界。由裁判指出，尤其需要αε：=RXβ的值*dπεdθdθ一致有界于ε（分别依ε按一定的顺序增长），从而线性收敛φθ，γ（f）→ γ的φ（f）→ ∞ （分别是较慢的收敛顺序）是隐含的。下面的结果并没有实现这一点，我们认为这是一项不容忽视的任务，有待于今后的工作。提案2。（a） 让ui∈ P（Xi），对于i=1。。。，d、 Letν∈ π（u，…，ud）且letu：=uu...  ud.则存在νn∈ n的∏（u，…，ud）∈ N使得νnw→ νforn→ ∞, νn u且存在常数0<Cn<∞ 如Dνndu≤ Cnu-a.s。。（b） Letηi：Xi→ [0, ∞) 用Rxiηid'ui<∞. 设η（x）=Pdi=1ηi（xi）。假设有一个常数C>0，这样对于所有x，y∈ X它容纳c（X，y）≤ C（η（x）+η（y））。设θ=(R)u u ...  ud。那么它成立：（i）对于π*∈ 带RC dπ的∏（(R)u，(R)u，…，(R)ud）*≤ ρ、 存在πε∈ ε>0的∏（(R)u，(R)u，…，(R)ud），使得πεw→ π*对于ε→ 0, πε θ、 dπεdθ是θ-a.s.有界的，rc dπε≤ ρ.（ii）满足命题1（c）的条件，即。

对于每一个ε>0，就存在|ε∈ P（X）是（18）的ε-优化器，πε∈ 满足αε：=RXβ的∏（|u，uε）*dπεdθdθ<∞, andRXc dπε≤ ρ.证据（a）的证明：我们赋予每个Xiby一个相容的度量，并且在不损失一般性的情况下，我们指定X=X×X×。。。×Xdas m（x，y）=Pdi=1mi（xi，yi）。步骤1）构建νn：让Kni i=1，…，锡伯族压实。。。，d使得ui（Kni）→ 1对于n→ ∞, Kn=Kn×。。。×Knd。特别是ν（Kn）→ 1如下。此外，由于每个knis紧，我们可以选择Kn的Borel划分，即。。∪A.∈AnA=Kn，其中每个A∈ Anis Borel可测量和满意度A=A×。。。×Adas well asmaxA∈Ansupx，y∈Am（x，y）≤n、 获得此类分区的一种简单方法是，首先覆盖半径为1/（2dn）的可数个针孔球，选择一个有限的子覆盖层，然后从该子覆盖层中构建一个针孔分区。对于Kni的分区，请简单地选择可以从Kni分区中形成的所有产品集。注意，（Kn）cis是2d的不相交并集-1多套产品，即Kcn、1×Kn、2×。。。×Kn，d。。。，Kcn，1×。。。×Kcn，d。我们表示An与这些2d族的并-1由An构成的任意乘积集，An是X的一个分区。定义νn：=XA∈Anν（A）·（ν| A） ...  （ν| A）d此处的总和被理解为仅包括ν（A）>0且ν| Ais定义为ν| A（B）=ν（A）的术语∩ B） /ν（A）。我们不会明确说明这一点，但每次我们除以ν（A）或ui（Ai）时，我们都会假设它是一个相关的项，其中ν（A）>0当然意味着ui（Ai）>0表示所有i=1。。。，d和A∈ 一步骤2）验证νn的边缘：我们只显示νn=u，而其他边缘通过对称以相同的方式跟随。让B Xbe Borel。它保持νn（B×X×…×Xd）=XA∈Anν（A）·（ν| A）（B）=XA∈Anν（A）·ν| A（B×X×…×Xd）=XA∈Anν（A∩ （B×X×…×Xd））=ν（B×X×。。。

×Xd）=ν（B）。步骤3）收敛νnw→ ν表示n→ ∞: 设f:X→ R有界且Lipschitz连续且常数为L。我们必须显示Rf dνn→n的Rf dν→ ∞. 因为ν（A）=对于所有A∈ An（尤其是νn（（Kn）c）=ν（（Kn）c）），它保持Zf dνn-Zf dν≤ kfk公司∞2ν（（Kn）c）+XA∈一Zf11Adνn-Zf11Adν≤ kfk公司∞2ν（（Kn）c）+XA∈Ansupx，y∈A | f（x）- f（y）|ν（A）≤ kfk公司∞2ν（（Kn）c）+XA∈Anν（A）Lnn→∞-→ 步骤4）dνndu的绝对连续性和有界性：LetCn=maxA∈An：ν（A）>0ν（A）d-1、给定任意Borel集Bi XI对于i=1。。。，d、 我们证明了νn（B×…×Bd）≤Cnu（B×…×Bd）。一旦显示，νn（S）≤ Cnu（S）适用于所有Borel集合 X乘以单调类定理，这将立即产生绝对连续性νn u和dνndu≤ 中国。对于∈ Anit保持（ν| A）i（Bi）=ν（A）-1ν（A×…×（Ai∩ Bi）×。。。×Ad）≤ ν（A）-1·νi（Ai∩ Bi）=ν（A）-1·ui（Ai∩ Bi）。它遵循νn（B×…×Bd）=XA∈Anν（A）·（ν| A）（B）·…·（ν| A）d（Bd）≤XA公司∈Anν（A）d-1u（B∩ A） ·……·ud（Bd∩ 广告）≤ CnXA公司∈Anu（（B×…×Bd）∩ A） =Cnu（B×…×Bd），其中我们注意到，为了保持最后一个等式，A上倒数第二个和∈ 包括所有项，而不仅仅是ν（A）>0的项（这只会使总和更大）。第（a）部分的证明是完整的。（b）、（i）的证明：我们首先显示以下内容：如果∏（|||，||，||，||，||||d）3πεw→ π ∈ ε的∏（|u，|u，…，|ud）→ 0，则为Rc dπε→ε的Rc dπ→ 为了证明这一点，请注意，增长条件意味着对于每个δ>0，我们可以选择紧集K∈ X×X使得supε>0RKcc dπε≤ δ和RKCC dπ≤ δ. 受限toK，c从上方有界，比如常数M>0（注c为非负）。因此，对于所有ε>0，它保持| Rc dπε-Rmin{c，M}dπε|≤ 2δ，与π相同，而不是πε。由于{c，M}是连续且有界的，我们得到| Rc dπε-Rc dπ|≤ 4δ+| Rmin{c，M}dπε-Rmin{c，M}dπ|→ ε为4δ→ 0

如果δ为零，则得出结论。对于第（b）（i）部分的陈述，考虑λ∈ （0，1）耦合πλ：=λπ*+ (1 -λ)u  （x 7→ δx）. 然后它保持src dπλ<ρ，因为c（x，x）=0。进一步πλw→ π*对于λ→ 1、通过（a）部分用πλ，ε近似每个πλ，Rc dπλ，ε≤ 对于足够小的ε，ρ自动跟随，ε跟随着C dπλ，ε→ε的Rc dπλ→ 0，如上所示。因此，该主张后面有一个对角论点。（b）、（ii）的证明：任何优化器u？∈ （18）的∏（(R)u，…，(R)ud）和相应的耦合π*∈ 带RC dπ的∏（(R)u，(R)u，…，(R)ud）*≤ ρ可通过（b）部分用（πε）ε>0近似，满足所有要求的特性。将|ε作为πε在X×X的第二个分量上的投影，即|ε=πεo （（x，y）7→ y）-1，我们得到μεw→ u?和henceRf duε→射频du？这意味着在指数可能发生变化后，με是（18）的ε-优化器。2.3. 神经网络近似让我们简要回顾一下。在第2.1节中，我们证明了原始问题φ（f）：=最大u∈∏（°u，…，±ud）直流（±u，u）≤ρZRdf du，可写成λ≥0，您好∈Cb（R）nρλ+dXi=1ZRhid？ui+ZRdsupy∈Rdhf（y）-dXi=1hi（yi）- λc（x，y）iu（dx）o，对于所有连续和有界函数f∈ Cb（X）。然后，我们在第2.2节继续考虑后一个问题的惩罚版本φθ，γ（f）：=infλ≥0，您好∈Cb（R），g∈Cb（Rd）nλρ+dXi=1ZRhid？ui+ZRdg d？u+ZR2dβγf（y）-dXi=1hi（yi）- λc（x，y）- g（x）θ（dx，dy）o。我们提供了收敛的充分条件φθ，γ（f）→ γ的φ（f）→ ∞. 接下来的最后一步是从理论上证明神经网络确实可以用来近似φθ，γ（f），从而近似φ（f）。为此，让我们介绍以下符号：我们用A表示，将形式RDA映射到Rm、A、…、的所有转换，Al公司-1将表格rm映射到RMAN，并将表格rm映射到R。我们进一步定义了一个非常量、连续和有界的激活函数Д：R→ R

向量y上的ν的计算∈ Rmis逐点理解，即Д（y）=（Д（y），^1（ym））。那么，N（m，d）：=g：Rd→ R：x 7→ Al公司o φ o Al公司-1.o ··· o φ o A（x）定义映射到实数R的神经网络函数集，层数为l≥ 2（至少一个隐藏层），输入尺寸和隐藏尺寸M。下面是神经网络的经典通用逼近定理。定理2（Hornik（1991））。让h∈ Cb（RN）。对于任何有限度量ν∈ P（RN）和ε>0存在m∈ N和hm∈ Nm，确认kh- hmkLp（ν）≤ ε.对于下面的命题3，设Xi：=r对于i=1。。。，因此X=Rn，N=Pdi=1Ni。通过φθ，γ（F）=infλ定义函数F（λ，h，…，hd，g）≥0，您好∈Cb（RNi），g∈Cb（RN）F（λ，h，…，hd，g）。我们将φθ，γ（f）的神经网络近似定义为φmθ，γ（f）=infλ≥0，hmi∈N（m，Ni），gm∈N（m，N）F（λ，hm，…，hmd，gm）。以下结果展示了一个简单但通用的设置，其中神经网络近似是渐近精确的：命题3。修复f∈ Cb（RN）。设p>1，βγ（x）：=γ（γx）p+，并假设c∈ Lp（θ）。那么φmθ，γ（f）→ m的φθ，γ（f）→ ∞.证据通过选择激活函数，所有网络函数都是连续且有界的，因此φmθ，γ（f）≥ φθ，γ（f）。因此，有必要表明，对于任何ε>0的情况，都存在一个m∈ N使得φθ，γ（f）≥ φmθ，γ（f）- ε.为φθ，γ（f）选择任何可行的（λ，h，…，hd，g）。根据定理2，我们可以用hmi找到一个序列（λm，hm，…，hmd，gm）∈ N（m，Ni）对于i=1。。。，d和gm∈ N（m，N）这样的形式→ ∞ 它保持λm→ λ、 人机界面→ hiin Lp（(R)ui），对于i=1。。。，d、 （（x，y）7→ hmi（彝语））→ （（x，y）7→ hi（yi））在Lp（θ）中，对于i=1。。。，d、 总经理→ g（单位：Lp（°），（（x，y）7→ gm（x））→ （（x，y）7→ g（x））在Lp（θ）中。作为c∈ Lp（θ），它也保持λmc→ λc在Lp（θ）中，因此（（x，y）7→ f（x，y）- gm（x）-dXi=1hmi（yi）- λmc（x，y））→ （（x，y）7→ f（x，y）- g（x）-dXi=1hi（yi）- λc（x，y））在Lp（θ）中为m→ ∞.

作为映射x 7→ x+为Lipschitz-1，仅取正部分，则上述收敛仍然有效。由于Lp（θ）中的收敛意味着p阶矩的收敛，我们得到F（λm，hm，…，hmd，gm）→ F（λ，h，…，hd，g）为m→ ∞.对于给定的ε>0，为φθ，γ（f）选择一个可行的（λ，h，…，hd，g），使得φθ，γ（f）≥F（λ，h，…，hd，g）-ε. 由于上述证明的收敛性，我们可以通过hmi找到（λm，hm，…，hmd，gm）∈ N（m，Ni）对于i=1。。。，d和gm∈ N（m，N）使得φθ，γ（f）≥ F（λ，h，…，hd，g）-ε≥F（λm，hm，…，hmd，gm）-ε-ε≥ φθ，γ（f）m- ε.备注2。而之前的结果是，对于固定的f∈ Cb（RN），收敛φmθ，γ（f）→ m的φθ，γ（f）→ ∞, m的有限值的近似误差也很有趣。总的来说，实现这一目标是有希望的。在命题3的设置中，使用p∈ N≥2： 假设λ，h。。。，hd，g是φθ，γ（f）的优化器，它们具有足够的动量和hm。。。，hmd，gmare网络函数，近似h。。。，hd、g达到相应Lp规范的ε精度。那么它就成立了φθ，γ（f）- φmθ，γ（f）≤ C·ε，其中C是一个常数，仅取决于f，λ，C，h。。。，hd，g.Proof。首先，定义T（x，y）：=f（y）-Pdi=1hi（yi）- λc（x，y）- g（x）和Tm（x，y）：=f（y）-Pdi=1hmi（yi）- λc（x，y）- gm（x）。利用上面介绍的函数F，我们得到φmθ，γ（F）≤ F（λ，hm，…，hmd，gm），因此φmθ，γ（F）- φθ，γ（f）≤ |F（λ，hm，…，hmd，gm）- F（λ，hm，…，hmd，g）|≤dXi=1khi- hmikL（(R)ui）+千克- gmkL（(R)u）+kTp+- （Tm）p+kL（θ），根据引理2中引用的不等式（见附录A.1），它支持sktp+- （Tm）p+kL（θ）≤CkT+- Tm+kLp（θ）≤CkT-TmkLp（θ）≤C（d+1）ε，其中▄C=Pp-1k=0kT+kkLp（θ）kTm+kp-1.-kLp（θ）。

自φθ，γ（f）≤ φmθ，γ（f），我们得到φθ，γ（f）- φmθ，γ（f）= φmθ，γ（f）- φθ，γ（f）≤ （▄C（d+1）+（d+1））·ε。虽然常数C形式上取决于T和Tm的p阶矩，但为了消除对Tmone的依赖，可以使用kTmkLp（θ）≤ kT-kLp（θ）+kT-TmkLp（θ）≤ kT-kLp（θ）+1，ε足够小。3、实施本节旨在给出关于问题（4）实施的具体说明，作为问题（1）的近似值。具体讨论了以下几点：1。θ、βγ和神经网络结构的选择。2、神经网络参数的优化方法。3、如何评价所得溶液的质量。4、典型运行时。3.1. θ、βγ和神经网络参数的选择近似空间Cb（Rd）的神经网络结构被选为具有5层（输入、输出、3个隐藏层）的前馈神经网络，隐藏维度为64·d。其基本思想是增加神经网络的大小，直到进一步增加不再改变优化结果。作为激活功能，我们使用ReLu功能。准确地说，我们使用的神经网络函数是formx 7→ A{z}输出层o φ o A |{z}第4层o φ o A |{z}第三层o φ o A |{z}第二层oφ o A{z}输入层（x），其中激活函数Д被选择为Д（x）=max{0，x}。矩阵Mi的映射aireaffine变换，即Ai（x）=Mix+bif∈ Rdi，2×di，1和矢量BI∈ Rdi，2。矩阵M。。。，指令向量b。。。，为其优化网络的参数。如上所述，这些参数的维数选择如下：输入维数d0,1=d由输入向量x的维数给出，并且di，2=di+1,1必须保持兼容性。