分布稳健经验优化模型的标定

δ值介于2和5之间似乎是合理的。虽然δ>10的值可能是一些人的首选值，但与方差减少/稳健性提高相比，平衡明显倾向于平均回报的损失。还要注意的是，一种经典的校准方法，它优化了预期回报的自举估计，并忽略了客观可变性，因此选择δ=0。这与经验优化相对应，完全抵消了稳健模型的所有好处。更一般地说，虽然DRO有可能产生在样本外预期回报方面优于经验优化的解决方案，如定理5.3所证明的，这种改进通常是在δ很小的情况下应用的，但我们相信，可以使用类似的方法来导出解和样本外回报的η级展开≡ 当η=0（δ=∞), 并研究该体系中DRO溶液的样品外性能。我们的实验表明，这是机器人均值-方差边界中不太有趣的部分。34 GOTOH、KIM和LIMVariance的效用图7.4。使用1968年4月至1972年6月期间50个月的月度回报数据生成的用于投资组合优化的Bootstrap稳健均值方差前沿。相对于方差减少（δ很小时）而言，这一点很小，而且即使在模型不确定性很大的情况下，也无法保证此类解决方案，如投资组合选择示例所示。将使用bootstrap前沿的校准与通过解决鲁棒优化问题MaxXminq获得的决策进行比较也是很有趣的∈Uα均衡器f（x，Y）（7.3）其中不确定度setUα中的阈值Qn（α）={Q:H（Q | Pn）≤ Qn（α）}（7.4）是（1-α） -H（Q | Pn）分布的分位数，我们通过从Pn自举模拟分布Q生成。

信任级别1- 稳健优化文献中通常建议α值为90%、95%或99%。从对偶性来看，对于任何阈值Qn（α），都有一个唯一的模糊参数值δ=Δα>0，对于该值，（7.3）的解与我们的鲁棒解x（Δα）一致；参见【4】中的推论3和附录G。在表7.1中，我们报告了与图7.4中稳健均值方差边界上不同点对应的显著水平α的模糊度参数值Δα。虽然与表7.1中α=0.01、0.05、0.1的“经典”显著性水平相关的稳健决策在任何给定应用中可能会或可能不会表现良好，但很明显，与这些显著性水平相关的Δα的范围是有限的。这直接影响了分布稳健经验优化模型的范围校准35表7.1。重要级别α重要级别α模糊度值δα的各种传统值的对应模糊度参数值δα≈ 1<100.8 230.10 300.05 310.01 33决策者可用的可能解决方案，在本例中，这些解决方案集中在引导边界的“极端保守”区域（图7.4）。δ的值≤ 10与图7.4中理想的边界部分相关，对应的显著水平α非常接近1。由于H（Q | Pn）的关联分位数非常接近于0，因此很难通过模拟来估计这些显著水平。

虽然当数据生成分布P的支持是有限的且φ（z）是充分正则的时，H（Q | Pn）的渐近性质可用于估计α，但如果我们将α视为均值和灵敏度之间权衡的参数化，并接受经典显著水平在样本外表现方面没有什么特殊性，这似乎毫无意义。接下来，我们分析通过求解δ=1、2、3、5、10的样本内问题（如图7.4中bootstrap frontier所示）获得的robus t解的样本外性能，（7.3）对应于δα=30（α=0.10）、δα=31（α=0.05）、δα=33（α=0.01）的解，以及经验优化问题的解（即δ=0的稳健解）。在三个数据大小为n=50且与训练数据不重叠的样本测试集上测试每个溶液。样本结果如图7.5所示。请注意，图中报告了（7.2）中定义的效用函数f（x，R）的平均值和方差，这与本文稳健优化模型的框架一致。图7.5一致显示，当δ（“稳健性”）的值从零增加时，平均性能下降，但目标可变性减少，这是我们的理论所期望的。与bootstrap前沿一致（图7.4），与“高密度不确定性集”相关的投资组合具有较低的方差，尽管对预期效用的影响是实质性的。7.3. 例3：逻辑回归。作为最终应用，我们将稳健优化应用于我们在WDBC乳腺癌诊断数据集上评估的逻辑回归[19]。36 GOTOH、KIM和LIM0 0.002 0.004 0.006 0.008 0.01 0.012效用方差-0.985-0.98-0.975-0.97-0.965-0.96图7.5。

portfolioproblem的三个样本外稳健均值-方差前沿。边界是50个月测试数据集的平均值和方差。逻辑回归的奖励函数由f（（x，x），（Y，Y））=ln（1+exp给出(-Y（x′Y+x）），（7.5），其中Y∈ {-1，1}是二元标签，Y是协变量向量，x和xare决策变量分别表示分类线性模型的系数和截距。普通logistic回归表示为（7.5）的s样本平均值的最大化。为了证明稳健最大似然的样本外行为，我们使用WDBC乳腺癌诊断数据集的前一半（即569个样本中的285个）来解决普通/稳健似然最大化问题，并使用剩余一半样本（即569个样本中的284个）计算结果模型的对数似然和对数似然方差。图7.6显示了自举边界和从无样本测试中获得的边界。同样，可以使用稳健前沿的bootstrap估计值获得提供良好样本外对数似然的δ选择，δ传递显著敏感性（方差）降低值较小，对预期回报的影响最小。如图7.4所示，机器人的好处随着δ的增加而减少。结论DRO模型的正确校准需要对样本外奖励的分配如何取决于“鲁棒性参数”有一个原则性的理解在本文中，我们研究了分布稳健经验优化模型的diedCALIBRATION 3700.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45对数似然方差-0.7-0.6-0.5-0.4-0.3-0.2-0.1样本测试的平均对数似然bootstrapout图7.6。Bootstrap frontier vs。

样本外测试与WDBC乳腺癌诊断数据集保持一致。样本外检验边界显示了WDBC数据集下半部分样本（即284个样本）在使用前半部分（即285个样本）获得的解决方案基础上的对数似然均值和方差。在这里，我们使用了三个属性：no.2、no.24和no.25（在30个可用的协变量中），这三个属性在论文中被发现是最好的预测。为了解决优化问题，我们使用了RNUOPT（NTT DATA Mathematic Systems Inc.），一个非线性优化解算器包。稳健经验优化的样本外性质，并发展了稳健参数的数据驱动校准理论。稳健性与控制奖励分布的方差密切相关，因为这降低了平均奖励对误判的敏感性。我们的主要研究结果表明，“一点稳健性”的一阶益处是显著减少样本外回报的方差，而对平均值的影响几乎小了一个数量级。我们的结果表明，应通过在样本外均值和方差的估计值之间进行比较来校准可靠性参数。为了校准稳健性参数，我们引入了稳健性均值-方差边界，并表明它可以使用像bootstrap这样的重采样方法来近似。我们将模糊均值-方差边界应用于三个应用：库存控制、投资组合优化和逻辑回归。

我们的结果表明，符合“标准”置信水平（例如95%）的经典校准方法通常与过大的稳健性参数和过于悲观的解决方案相关，这些解决方案在样本外表现不佳，同时忽略了方差和38 GOTOH，KIM，而纯粹基于平均值的界限校准可能会导致可靠性参数过小，并导致解决方案遗漏了机器人优化的一阶效益。确认。J、 Gotoh部分由JSP KAKENHI Grant 19H02379、19H00808和16H01833支持。M、 J.Kim部分获得了自然科学与工程研究委员会（NSERC）发现基金RGPIN-2015-04019的支持。A、 E.B.Lim在新加坡教育部学术研究基金第2级MOE2016-T2-1-086项目中获得支持。参考文献【1】Abu Mostafa，Y.S.，Magdon Ismail，M.，Lin，H.-L.2012。从数据中学习。AMLbook。通用域名格式。[2] Anderson，E.J.，Philpott，A.B.2019年。具有小样本量的稳健样本平均应用程序。(http://www.optimization-online.org/DB_HTML/2019/02/7092.html)[3] Ban，G.Y.，El Karoui，N.，Lim，A.E.B.2018年。机器学习和投资组合优化。《管理科学》，64（3），1136–1154。(https://doi.org/10.1287/mnsc.2016.2644)[4] Ben Tal，A.、den Hertog，D.、De Waegenaere，A.、Melenberg，B.、Rennen，G.2013年。受不确定概率影响的优化问题的鲁棒解。《管理科学》，59（2），341–357。[5] Bertsimas，D.，Copenhaver，M.S.2018年。线性回归和矩阵回归中鲁棒性和正则化等价性的表征。《欧洲运筹学杂志》，270（3），931–942。[6] Bertsimas，D.，Gupta，V.，Kallus，N.，2018年。数据驱动的稳健优化。数学规划，167（2），235–292。(https://doi.org/10.1007/s10107-017-1125-8)[7] Bertsimas，D。，Gupta，V.，Kallus，N.，2018年。

稳健样本平均近似。数学规划，171（1-2），217–282。(https://doi.org/10.1007/s10107-017-1174-z)[8] Bertsimas，D.、Litvinov，E.、Sun，A.X.、Zhao，J.、Zheng，T.2013年。securityconstrained机组组合问题的自适应鲁棒优化。IEEE电力系统交易，28（1），52–63。[9] Blanchet，J.、Kang，Y.、Zhang，F.、Murthy，K.2017年。数据驱动分布式鲁棒优化的最优成本选择。arXiv:1705.07152。(https://arxiv.org/abs/1705.07152)[10] Brown，D.，De Giorgi，E.，Sim，M.2012年。期望偏好及其在风险度量中的表现。《管理科学》，58（11），2095–2113。[11] 德拉吉，E.，叶，Y.2010。矩不确定性下的分布鲁棒优化及其在数据驱动问题中的应用。运筹学，58（3），595–612。[12] Duchi，J.C.，Glynn，P.W.，Namkoong，H.2016年。稳健优化的统计：一种广义经验Allikelihood方法。arXiv:1610.03425(https://arxiv.org/abs/1610.03425).[13] Efron，B.，Tibshirani，R.J.1994年。引导程序简介。查普曼和霍尔。[14] French，K.R.2015年。10个行业组合。2014年12月发布，2015年4月2日收到，http://mba.tuck.dartmouth.edu/pages/faculty/ken.french/Data_Library/det_10_ind_port.html.[15] Gao，R.，Chen，X.，Kleywegt，A.J.2017年。统计学习中的瓦瑟斯坦分布稳健性和正则化。工作文件。分布式稳健经验优化模型的校准39【16】Gotoh，J.，Kim，M.J.，Lim，A.E.B.2018。机器人经验优化与均值方差优化几乎相同。运筹学快报，46（4），448–452。[17] Kim，M.J.，Lim，A.E.B.2014年。强大的多武装匪徒问题。《管理科学》，62（1），264–285。[18] Lam，H.2016年。随机系统的可靠性灵敏度分析。

运筹学数学，41（4），1248-1275。[19] Lichman，M.（2013）UCI机器学习知识库http://archive.ics.uci.edu/ml.加利福尼亚州欧文：加利福尼亚大学信息与计算机科学学院。[20] A.Lorca和A.X.Sun。2014年。具有动态不确定性集的自适应鲁棒优化，用于大风条件下的多周期经济调度。IEEE电力系统交易。30(4), 1702 – 1713.[21]O.L.Mangasarian、W.N.Street和W.H.Wolberg。通过线性规划进行乳腺癌诊断和预后。运筹学，43（4），570–577。【22】Namkoong，H.，Duchi，J.C.2017年。基于方差的凸目标正则化。第31届神经信息处理系统国际会议记录，2975–2984。[23]Shapiro，A.，Dentcheva，D.，Ruszczy\'nski，A.2014。随机规划讲座：建模与理论，第二版。MOS-S IAM系列可选。[24]Wu，D.，Zhu，H.，Zh ou，E.2017年。数据驱动的随机优化的贝叶斯风险方法：公式和简化。《暹罗优化杂志》，28（2），1588–1612。【25】van d er Vaart，A.W.2000。渐近统计。剑桥大学出版社。【26】Xu，H.，Caramanis，C，Mannor，S.2010年。稳健回归和套索。IEEE信息论交易。56（7），3561–3574.40 GOTOH，KIM和Lim附录A.渐近：一般结果Letx:= 参数maxx∈XnEP公司f（x，Y）o、 （A.1）xn：=arg maxx∈XnEPn公司f（x，Y）≡nnXi=1f（x，Yi）o.（A.2）下面的结果（文献23中的定理5.4）给出了xnis渐近一致的条件。定理A.1（定理5.4，[23]）。设x与x请参见（A.1）–（A.2）。假设（i）f（·，Y）i对于P-a.s是上半连续的。

每个Y，（ii）f（·，Y）几乎肯定在x，P中是凹的，（iii）se t x是闭的和凸的，（iv）f（x）：=EP[f（x，Y）]是上半连续的，并且存在一个点x∈ X使得f（X）>-∞ 对于'x邻域中的所有x，（v）真实问题（a.1）的最优解集S是非空且有界的，（vi）LLN逐点保持：对于每个x∈ Xlimn公司→∞nnXi=1f（x，Yi）=EP[f（x，Y）]然后xn→ x个.[25]中的定理5.21给出了xnfrom（A.2）渐近正态的条件。定理A.2（定理5.21，[25]）。设x与x定义见（A.1）–（A.2）。对于欧氏空间的一个开放子集中的每个x，设x 7→ xf（x，Y）是一个可测的向量值函数，对于每个x和xin，x的邻域和一个可测函数F（Y），其中EP[F（Y）]<∞,kxf（x，Y）-xf（x，Y）k≤ F（Y）kx-xk。假设EPkxf（x, Y）k<∞ 地图x 7→ EP公司[xf（x，Y）]在解决方案x下是不同的方程式EP的[xf（x，Y）]=0，非奇异导数矩阵∑（x) := xEP公司[xf（x, Y）]。分布稳健经验优化模型41If EPn的标定xf（xn，Y）= oP（n-1/2）和xnP→ x个, 然后√n（xn- x个) = -∑（x)-1.√nnXi=1xf（x, 彝语）+oP（1）。特别是√n（xn-x个) 均值为0且协方差矩阵∑（x）渐近正态)-1EP[xf（x, Y）xf（x, Y）′（x∑）)-1)′.在允许我们交换关于x的微分和关于Y的积分顺序的条件下，我们得到∑（x）=xEP[f（x，Y）]=xEP公司[xf（x，Y）]=EPxf（x，Y）.然而，请注意，定理A.2并不要求x 7→ 对于∑（x）的存在，f（x，Y）在任何地方都是二次可微的。附录B。

命题B.1（解的一致性）的证明注意到（2.2）和（3.2）是标准的经验优化问题，因此从定理A.1可以看出，如果假设2.1和3.1得到满足，则xn（0）和（xn（δ），cn（δ））是一致的。命题B.1。假设假设满足假设2.1和3.1，则xn（0）P-→ x个（0）和（xn（δ），cn（δ））P-→ （十）（δ） ，c(δ)).证据我们从（xn（δ），cn（δ））开始。Letg（x，c，Y）：=c+Δφ*δ(-f（x，Y）- c）.我们可以将（3.2）和（3.5）中的目标函数分别写成EPn[g（x，c，Y）]和EP[g（x，c，Y）]，作为（x，c）的函数。自φ起*（ζ） 是凸的，ζ和δ不递减(-f（x，Y）-c） 对于P-a.e.Y，g（x，c，Y）在（x，c）中联合凸。现在从定理A.1（文献23中的定理5.4）得出，（xn（δ），cn（δ））P→ （十）（δ） ，c(δ)). xn（0）的一致性也来自相同的结果。附录C.定理3.3的证明以下结果将定理a.2直接应用于robus t优化问题（3.2）的一阶条件（3.4）。定理3.3本质上是命题42 GOTOH、KIM和LIMC的对立。1表示这些结果的形式使我们能够分析最坏情况下的样本外报酬分布。提案C.1。假设假设假设2.1和3.1成立。让（xn（δ），cn（δ））求解robustempirical优化问题（3.2）和（x（δ） ，c（δ） ）解决数据生成模型P下的稳健问题（3.5）。definea=EP[-Jψ（x（δ） ，c(δ))] ∈ R（d+1）×（d+1），B=EP[ψ（x（δ） ，c（δ） ）ψ（x）（δ） ，c(δ))′] ∈ R（d+1）×（d+1），其中ψ（x，c）由（3.3）给出，Jψ表示ψ的雅可比矩阵，and v（δ）：=A-1BA-1′∈ R（d+1）×（d+1）。那么（xn（δ），cn（δ））是联合渐近正态的，其中√nxn（δ）-x个（δ） cn（δ）-c(δ)D-→ N（0，V（δ）），作为N→ ∞.定理3.3的证明。