分布稳健经验优化模型的标定

当δ=0.04时，稳健解xn（δ）的方差为0.8，大于经验p问题解的方差0.1.4。样本外性能：经验优化4.1。预备工作。设D={Y，···，Yn}为P下i.i.D.生成的数据，xn（0）为使用D构造的经验优化问题（2.2）的解，Yn+1为P下生成的附加样本，与原始样本无关。由于xn（0）仅依赖于数据D，因此与人口分布P下的Yn+1无关，因此xn（0）-x个（0）也独立于P下的Yn+1。命题3.2隐含xn（0）=x（0）+rξ（0）nZ+oP（1）. （4.1）16 GOTOH、KIM和LIMx0 0.5 1 1.5 2 2.5 30.20.40.60.81.21.4经验优化解决方案稳健优化解决方案x0 0.5 1 1.5 2 2.5 3-27-26-25-24-23-22-21 DGM图3.1下的预期回报。第一个图显示了当有n=10个数据点时，经验优化和稳健优化解决方案的分布，第二个图显示了数据生成机制下的目标函数。最优解为x= 在本例中，稳健性为经验解添加了0.75的偏差，并将其推离原点。稳健性还将解决方案的方差从0.1增加到0.8。特别是，xn（0）偏离x（0）由于数据可变性，由终端卷积Z和oP项捕获(√n） 就我们的目的而言，这是微不足道的。我们研究样本外执行xn（0）的ce，方法是评估数据D和Yn+1生成的随机样本上奖励f（xn（0），Yn+1）的均值和方差。我们随后的结果通过Taylor级数表示样本外奖励的均值和方差来表征鲁棒性的影响，当鲁棒性参数很小时。

下面的结果是对这种扩展的一般陈述，这将简化其中一些推导。光滑性和可积性条件与假设3.1中的条件相同，并保证定义了泰勒级数表达式，并且存在期望值和方差。该结果的证明见附录D提案4.1。假设f（x，Y）在x中是两次连续可微的∈ Rdfor P-几乎每Y∈ Rl；对于每个固定的x∈ Rd，映射y 7→ f（x，y），xf（x，y），xf（x，y），y∈ Rl，是可测量的；随机变量f（x，Y）的所有矩，xf（x，Y），xf（x，Y）存在，其中Y具有分布P。Le t Y，Yn，Yn+1由分布P独立生成。设x∈ Rdbe常量和 ∈ P下与Yn+1无关的Rda随机向量。然后校准任意常数δ，EP的分布稳健经验优化模型17f（x+δ, Yn+1）= EP[f（x，Yn+1）]+δEP[]′EP公司[xf（x，Yn+1）]（4.2）+δtrEP公司[′] EP公司xf（x，Yn+1）+ o（δ），VPf（x+δ, Yn+1）= 副总裁f（x，Yn+1）+ δEP[]′xVP公司f（x，Yn+1）（4.3）+δtrEP公司[′] xVP[f（x，Yn+1）]+2VP[] EP公司[xf（x，Yn+1）]EP[xf（x，Yn+1）]\'+ o（δ），其中奖励方差相对于决策x的一阶和二阶导数满足xVP公司f（x，Yn+1）= 2 CovPf（x，Yn+1），xf（x，Yn+1）, (4.4)xVP公司f（x，Yn+1）= 2副总裁xf（x，Yn+1）+ 2 CovPf（x，Yn+1），xf（x，Yn+1）. (4.5)4.2. 经验优化。

现在，我们推导出了经验最优解下样本外预期报酬和方差的扩展，这将作为研究样本外执行鲁棒优化的基线情况。为了便于记法，我们表示样本外奖励在xn（δ）和总体解x下的平均值和方差（δ） asun（δ）：=EPf（xn（δ），Yn+1）, vn（δ）：=VPf（xn（δ），Yn+1）, (4.6)u（δ） ：=EPf（x（δ） ，Yn+1）, v（δ） ：=副总裁f（x（δ） ，Yn+1）,（δ=0对应于经验优化）。预期r向的曲率和x处奖励方差的二阶导数（δ） 也会出现。我们表示这些灰分（δ）：=EPxf（x（δ） ，Yn+1）,G（δ）：=xVP公司f（x（δ） ，Yn+1）, （4.7）其中xVP公司f（x（δ） ，Yn+1）定义见（4.5）。样本外奖励的均值和方差取决于经验解xn（0）的可变性和奖励函数的性质。下面的结果将经验优化者的样本外奖励的均值和方差与流行优化者x的均值和方差联系起来(0).18 GOTOH、KIM和LIMProposition 4.2。假设f（x，Y）满足假设3.1。则经验解xn（0）下样本外奖励的均值和方差满足un（0）=u（0）+2ntrξ（0）H（0）+ on, （4.8）vn（0）=v（0）+2ntrξ（0）G（0）+ on, （4.9）其中u（0）和v（0）是总体优化器x的样本外平均值和方差(0).证据从（4.6）中可以清楚地看出，样本外奖励的平均值和方差取决于解xn（0）的分布特性、奖励函数和Yn+1的分布。

对于解决方案，命题3.2表明（4.1）在假设3.1下成立，d hencevn（0）=VPf（xn（0），Yn+1）= VPhfx个（0）+rξ（0）nZ+oP（1）, Yn+1i、 这可以使用命题4.1（使用 =pξ（0）Z和δ=√n） （更多详情请参见附录F），下面是表达式（4.9）。经验最优下样本报酬期望值的表达式（4.8）可以用同样的方法推导出来。（A） （B1）（B2）xun（0）Jensen效应（B3）（D）样品外返f（xn（0），Y）溶液分布u（0）图4.1。图（A）是人口分布下的预期报酬F（x）。（B1）是xn（0）的分布；（B2）是在xn（0）下，向采样器外f（xn（0），Y）的分布；（B3）显示间隙u(0) - （4.10）给出的Jensen\'sinequality中的un（0）。预期奖励un（0）显示在（D）处，而u（0）显示在（A）上。分布稳健经验优化模型的校准19命题4.2量化了解决方案x的样本外均值和样本外方差之间的差异人口问题的（0）和经验解xn（0）。特别是，（4.8）表明，预期回报之间的差异在解决方案xn（0）的方差ξ（0）non和x周围预期回报的曲率H（0）中增加(0):u(0) - un（0）=-第2次ξ（0）H（0）+ on> 0。（4.10）这一绩效差距可归因于Jens-en的不平等。具体而言，ifF（x）=EPf（x，Yn+1）x个表示样本外预期报酬，则F（x）在x（假设3.1）和F（EP[xn（0）]中严格凹- EP公司F（xn（0））= EP公司f（EP【xn（0）】，Yn+1）- EP公司EP公司f（xn（0），Yn+1）xn（0）> 由J ensen不等式得出。

由于EP[xn（0）]=x（0）+o（1/√n） F（EP【xn（0）】）- EP公司F（xn（0））= EP公司f（EP【xn（0）】，Yn+1）- EP公司EP公司f（xn（0），Yn+1）xn（0）+ on= -第2次ξ（0）EPhxf（x（0），Yn+1）i+ on,这恰好是（4.8）中的性能差距（或同等的，（4.10））。命题4.2的说明如图4.1所示，其中（A）是人口分布下的预期报酬F（x），其中x是最优值u(0); （B1）是xn（0）的分布，（B2）是样本外奖励f（xn（0），Y）的分布。预期样品外奖励un（0）在（D）处标记为×，在标记为un（0）的点标记为×。我们可以看到，当F（x）严格凹时，xn（0）在其渐近平均值x附近的可变性（0）导致u之间的间隙Jensen不等式th的（0）和un（0）如（B3）所示。该差距在第4.2.5节中进行了量化。样本外性能：稳健优化我们现在研究由稳健优化问题的解决方案xn（δ）产生的样本外奖励的均值和方差，并描述稳健参数δ的影响。我们的分析包括两部分。首先，我们推导出类似于（4.8）和（4.9）的表达式，其中奖励f（xn（δ），Yn+1）的样本外平均值（方差）分解为与解x相关的奖励的20个GOTOH，KIM和LIMmean（方差（δ） 人口问题和一个由渐近平均值周围解的可变性和报酬函数的曲率决定的附加分量；见（5.2）和（5.8）。接下来，我们评估稳健性参数对样本外奖励的均值和方差的影响。5.1. 预期奖励。

我们通过扩展un（δ）=EP来分析机器人性对样本外平均值的影响f（xn（δ），Yn+1）大约δ=0。首先，我们评估了在robu-st解决方案下，解的可变性和预期回报的曲率对样本外预期回报的影响。假设th在φ（z）满足假设2.1，f（x，Y）满足假设3.1。回想定理3.3，鲁棒解是渐近正态的xn（δ）=x（δ） +rξ（δ）nZ+oP（1）. （5.1）由此得出，样本外预期回报un（δ）z}{EPhf（xn（δ），Yn+1）i=EPhfx个（δ） +pξ（δ）√nZ+oP（1）, Yn+1i（5.2）=EPhf（x（δ） ，Yn+1）i |{z}u（δ） +2ntrξ（δ）EPhxf（x（δ） ，Yn+1）i|{z}2ntrξ（δ）H（δ）≡ 詹森效应+on.注意（4.1），robu stness改变了x的解的平均值（0）至x（δ） 及其从ξ（0）/n到ξ（δ）/n的渐近方差。表达式（5.2）类似于（4.8），但反映了解的新均值和方差。具体而言，第一项是渐近均值x下的预期回报（δ） 第二项是詹森效应，即预期回报的减少f（x（δ） ，Yn+1）- EP公司f（xn（δ），Yn+1）由于稳健解xn（δ）在渐近平均值x附近的波动（δ） 以及预期回报的曲率。为了理解稳健性对样本外预期回报的影响，我们在δ=0（即SAA解决方案）附近扩展了（5.2）中的两个术语。根据（3.8）和提案4.1（带 = π） 我们有Ephf（x（δ） ，Yn+1）i=EPhf（x（0），Yn+1）i+Δπ′EPhxf（x（0），Yn+1）iπ+o（δ）（5.3）=u（0）+Δπ′H（0）π+o（δ）。分布鲁棒性经验优化模型的校准21鲁棒性将解xn（δ）的渐近平均值从x（0）至x（δ） =x（0）+Δπ+o（δ），改变预期回报。

然而，（5.3）表明，这种变化是δ量级的，当δ很小时，这种变化很小。在Jensen效应的情况下，我们有2ntrξ（δ）H（δ）（5.4）=2ntrξ（0）H（0）|{z}xn（0）+2ntr的Jensen效应ξ(δ) - ξ(0)H（0）|{z}解的方差变化+2ntrξ(0)H（δ）- H（0）|{z}曲率变化+2ntrξ(δ) - ξ(0)H（δ）- H（0）|{z}可忽略不计。第一项是与经验解（4.8）相关的Jensen效应，而其余项是对xn（0）Jensen效应的调整，这是由于从ξ（0）/n到ξ（δ）/n的解的方差变化，以及由于从x的解的平均值发生s移而导致的曲率变化（0）至x(δ). 如果f（x，Y）对于任何矩阵Q∈ Rd×d，函数L:Rd→ R此处（x）：=trQ EPxf（x，Yn+1）（5.5）是连续可区分的，它由H（δ）的定义（4.7）和x的扩展（3.8）得出（δ） 第2个TRξ（δ）H（δ）=第2次ξ（0）H（0）+ρδ2n+o（δ），（5.6），其中ρ：=trξ′（0）H（0）+ π′xhtr公司ξ（0）EPxf（x（0），Yn+1）i、 （5.7）式中，ξ′（0）是ξ（δ）相对于δ的导数，δ=0（定理3.3）。与（5.3）相比，在稳健性影响为O（δ）的情况下，稳健性对Jensen效应（5.6）的影响为O（δ），来自调整ρδ2n。该项按系数1/n进行缩放，因此，尽管δ是线性的，但当δ很小时，净效应是sm。通过组合（5.2），（5.3）和（5.6），可以得到样本外预期值的表达式。5.2. 奖励的差异。通过表达式vn（δ）=VP，分析了鲁棒性对样本外奖励方差的影响f（xn（δ），Yn+1）在δ=0.22 GOTOH、KIM和Limbunder假设2.1和3.1中，定理3.3表明稳健性改变了解的平均值x（0）至x（δ） 及其从ξ（0）/n到ξ（δ）/n的渐近方差（另见（4.1）和（5.1））。

要查看对样本外奖励方差的影响，请观察fr om（4.3）thatVPf（xn（δ），Yn+1）= VPhfx个（δ） +pξ（δ）√nZ+oP（1）, Yn+1i=VPf（x（δ） ，Yn+1）（5.8）+2ntrξ（δ）nxVP公司f（x（δ） ，Yn+1）+ 2EPxf（x（δ） ，Yn+1）EP公司xf（x（δ） ，Yn+1）′o+ on,哪里xVP公司f（x（δ） ，Yn+1）见（4.5）。（5.8）中的第一项是报酬V的方差（δ） 在最优解x处（δ） 种群鲁棒模型的。第二项是鲁棒解xn（δ）的可变性对奖励方差的影响。展开式（5.8）类似于经验问题方差的展开式（4.9），不同之处在于它适用于rob-ust解xn（δ），而不是xn（0）。为了观察稳健性对奖励方差的影响，我们将δ=0附近的（5.8）展开。注意（3.8），从命题4.1可以看出，第一个术语Vpf（x（δ） ，Yn+1）= 副总裁f（x（0），Yn+1）+ δπ′xVP公司f（x（0），Yn+1）, （5.9）其中xVP公司f（x（0），Yn+1）定义见（4.4）。至于（5.8）中的第二项ξ(δ) xVP公司f（x（δ） ，Yn+1）=第2次ξ（0）G（0）+第2次ξ(δ) - ξ(0)G（0）+第2次ξ(0)G（δ）- G（0）+第2次ξ(δ) - ξ(0)G（δ）- G（0）.如果f（x，Y）对于任何矩阵Q∈ Rd×d，函数M:Rd→ R其中m（x）：=trQxVP公司f（x，Yn+1）（5.10）分布稳健经验优化模型23的校准是连续的，x的扩展（3.8）（δ） （4.7）中G（δ）的定义意味着2ntrξ(δ) xVP公司f（x（δ） ，Yn+1）=第2次ξ（0）G（0）+δ2ntrξ′（0）G（0）+δ2nπ′xhtr公司ξ(0) xVP公司f（x（0），Yn+1）i+2nO（δ）。自欧洲xf（x（δ） ，Yn+1）EP公司xf（x（δ） ，Yn+1）′~ O（δ），它遵循2ntrξ（δ）nxVP公司f（x（δ） ，Yn+1）+ 2EPxf（x（δ） ，Yn+1）EP公司xf（x（δ） ，Yn+1）′o=第2次ξ（0）G（0）+θδ2n+nO（δ），（5.11），其中θ：=trξ′（0）G（0）+ π′xhtr公司ξ(0) xVP公司f（x（0），Yn+1）i。

（5.12）（5.11）中的第一项来自经验优化器（4.9），而θδ2反映了稳健性对样本外方差的影响。样本外方差vn（δ）=VP的扩展f（xn（δ），Yn+1）通过组合（5.9）和（5.11）获得δ=0左右。5.3. 主要结果。Letn公司un（δ），vn（δ）: δ ≥ 0o（5.13）是稳健均值方差fr ontier（4.6）。当n较大，δ较小时，以下结果表征了渐近区域的前沿。除了假设3.1之外，还需要以下假设。假设5.1。函数f（x，Y）对于每个矩阵Q∈ Rd×d，函数l:Rd→ R和M：Rd→ 分别在（5.5）和（5.10）中定义的R在x中连续不同∈ 第24路GOTOH、KIM和LIMProposition 5.2。假设φ（z）满足假设2.1，f（x，Y）满足假设3.1和5.1。那么，鲁棒解xn（δ）下样本外奖励的期望值为un（δ）=u（0）+2ntrξ（0）H（0）+δ2[φ′′（1）]β′H（0）-1β+ρδ2n（5.14）+nO（δ）+on+ o（δ），其中H（0）是x处样本外预期回报的曲率（0）如（4.7）所述，β：=CovPxf（x（0），Yn+1），f（x（0），Yn+1）. （5.15）样本外奖励的方差isvn（δ）=v（0）+2ntrξ（0）G（0）+2Δφ′′（1）β′H（0）-1β+θδ2n（5.16）+nO（δ）+on+ O（δ）。证据根据（5.2）、（5.3）和（5.6）以及π的表达式（3.9），样本外预期奖励由（5.14）给出。

样本外方差由（5.8）、（5.9）和（5.11）给出。对于位置5.2的一些观点，请注意解决方案x下奖励的平均值和方差稳健概率问题的（0）由u给出(δ) = u（0）+δ2[φ′（1）]β′H（0）-1β+o（δ），v（δ） =v（0）+2Δφ′（1）β′H（0）-1β+O（δ），（5.17）（当我们让n→ ∞ 在（5.14）和（5.16）中，从中可以看出dδ（0）=0，dvdδ（0）=φ′′（1）β′H（0）-1β′.由于f（x，Y）在x上是严格凹的，曲率H（0）是负定义的，因此方差在δ=0附近减小。事实上，（5.17）表明，平均值和方差在δ中都在减小，但当δissmall（O（δ）v s.O（δ））时，方差的减小比平均值的减小大一个数量级。然而，随着δ的增加，四项变得显著，平均值以增加的速度下降。这表明δ的选择对样本外奖励的分布稳健经验优化模型25的校准有显著影响，因此δ的校准应同时考虑均值和方差。当n为有限时，稳健均值-方差边界（un（δ），vn（δ））：δ≥ 0偏离人口前沿（5.17），因为解xn（δ）是一个ran dom变量。实际上，（5.14）和（5.16）可以写入un（δ）=u（δ） +Jensen效应}{2ntrξ（0）H（0）+ρδ2n+高阶termsz}{nO（δ）+on+ o（δ），vn（δ）=v（δ） +2ntrξ（0）G（0）+θδ2n+nO（δ）+on+ O（δ），表明样本外预期回报的差异un（δ）-u（δ） 通过Jensen效应得出xn（δ）的变异性，对变异的解释类似。