随机最优控制问题的反向仿真方法

虚线对应于样本平均值。RSESPE1042×1044×1040.991.001.010.991.001.01模拟路径数SV~0E（X0）图14:BSBU算法40次重复下，SPSE和RSE方法生成的▄VE（X）方框图。J固定为20，M从10到4×10.6不等。结论本文提出了一种新的LSMC算法，称为反向模拟和反向更新（BSBU）算法，用于解决离散时间随机最优控制问题。我们首先介绍一个辅助随机控制问题，其中状态过程只取紧集中的值。这使得BSBU算法能够成功避开外推值函数估计。通过选择适当的截断参数，我们进一步证明了辅助问题的最优值函数是原问题的合理近似。为了避免前向模拟和控制随机化的缺点，我们建议直接从人工概率分布模拟状态过程的动作后值。这种人工模拟方法背后的数据透视是，连续函数完全由随机新息项的分布决定。此外，基于连续函数的形状信息，我们引入了一种保形筛估计技术，以减轻LSMCalgorithm回归步骤中调整参数选择的计算负担。此外，借助非参数筛估计理论，给出了BSBU算法的收敛结果。最后，我们通过对股票挂钩保险产品定价的应用以及相应的数值实验，证实了BSBU算法的优点。参考Parsiad Azimzadeh和Peter A Forsyth。gmxbcontracts最优bang-bang控制的存在性。

《暹罗金融数学杂志》，6（1）：117–139，2015年。克里斯托弗·巴雷拉·埃斯特夫、弗洛伦特·贝格雷特、查尔斯·多萨尔、艾曼纽尔·戈贝特、阿斯玛·梅齐奥、埃米穆诺斯和达米恩·雷布尔·萨尔泽。摆动期权定价的数值方法：随机控制方法。《应用概率的方法与计算》，8（4）：517–5402006。丹尼斯·贝洛梅斯特尼。百慕大期权的非参数回归定价：低估计的最优收敛速度。《金融与随机》，15（4）：655–6832011。Denis Belomestny、Grigori Milstein和Vladimir Spokoiny。使用消费过程为美国和百慕大期权定价的回归方法。《定量金融》，9（3）：315–3272009。Denis Belomestny、Anastasia Kolodko和John Schoenmakers。随机控制问题的回归方法及其收敛性分析。《暹罗控制与优化杂志》，48（5）：3562–3588，2010年。勒内·卡莫纳和迈克尔·卢德科夫斯基。储能评估：最佳切换方法。定量金融，10（4）：359–3742010。雅克·F·卡里雷。使用模拟和非参数回归对期权的早期行权价格进行估值。《保险：数学与经济学》，19（1）：19–30，1996年。陈晓红。半非参数模型的大样本筛估计。《计量经济学手册》，6:5549–56322007。张晨、肯·维扎尔和彼得·阿福赛斯。建模参数对MWB保证值的影响。《保险：数学与经济学》，43（1）：165–1732008年。蔡杰育、刘振如和吴杰哲哲。消除最小二乘蒙特卡罗算法中前瞻性偏差的有效方法：去掉一个。arXiv预印本arXiv:1810.020712018。Emmanuelle Cl’ement、Damien Lamberton和Philip Protter。美式期权定价的最小二乘回归方法分析。

《金融与随机》，6（4）：449–4712002年。费聪和科内利斯·沃斯特利。基于蒙特卡罗模拟的多期均值-方差投资组合优化。《经济动力与控制杂志》，64:23–382016。戴敏、郭跃权和宗建平。保证最低支取福利（可变年度）。《数学金融》，18（4）：595–6112008年。皮埃尔·德尔·莫勒尔、布鲁诺·埃米拉德和西尔万·鲁本塔勒。保持单调性和凸性的美式期权的蒙特卡罗近似。《金融数值方法》，第115-143页。Springer，2012年。丹尼尔·埃格罗夫。用于最优停止和统计学习的蒙特卡罗算法。《应用概率年鉴》，15（2）：1396–14322005。丹尼尔·埃格罗夫、迈克尔·科勒、内博伊萨·托多罗维奇等。百慕大期权定价的动态前瞻蒙特卡罗算法。《应用概率年鉴》，17（4）：1138–1171，2007年。范建清和艾琳·吉贝尔。局部多项式建模及其应用：统计与应用概率专著66，第66卷。CRC出版社，1996年。保罗·格拉斯曼和于斌。模拟美式期权：现在回归还是以后回归？《2002年蒙特卡罗和准蒙特卡罗方法》，第213–226页。斯普林格，2004年。Paul Glasserman，Bin Yu，et al.《美国期权定价中的路径数与基函数数》。《应用概率年鉴》，14（4）：2090–21192004。黄耀东和郭月权。随机控制模型的基于回归的蒙特卡罗方法：终身保证的可变年金。《定量金融》，16（6）：905–9282016年。黄耀东、曾平平和郭跃权。通过动态提款，实现有保障的终身提款效益的最佳启动。《暹罗金融数学杂志》，8（1）：804–8402017年。Idris Kharroubi、Nicolas Langren\'e和Huy^en Pham。

全非线性HJBE方程的数值算法：控制随机化方法。蒙特卡罗方法与应用，20（2）：145–165，2014。李克洲。cp、cl、交叉验证和广义交叉验证的渐近最优性：离散指数集。《统计年鉴》，第958-9751987页。弗朗西斯·阿隆斯塔夫和爱德华多·施瓦茨。通过模拟评估美式期权：简单最小二乘法。《金融研究回顾》，14（1）：113–1472001年。玛丽·梅耶。使用形状限制回归样条进行推理。《应用统计年鉴》，第1013-10332008页。Elizbar A Nadaraya。关于估计回归。概率论及其应用，9（1）：141–1421964。惠特尼·K·纽伊。级数估计的收敛速度和渐近正态性。《经济计量学杂志》，79（1）：147–168，1997年。Tim Robertson、F.T.Wright和R.L.Dykstra。顺序限制统计推断。约翰·威利父子出版社，1988年。LCG罗杰斯。路径随机最优控制。《暹罗控制与优化杂志》，46（3）：1116–11322007。沈志毅、翁成国。polaris可变年金的定价界限和bang-bang分析。滑铁卢大学的工作文件，可在SSRN上查阅：https://ssrn.com/abstract=3056794，2017.Steven E Shreve。《金融随机演算II：连续时间模型》，第11卷。SpringerScience&Business Media，2004年。Lars Stentoft公司。美式期权估值的最小二乘蒙特卡罗方法的收敛性。《管理科学》，50（9）：1193–12032004年。约翰·N·齐齐克利斯和本杰明·范·罗伊。复杂美式期权定价的回归方法。IEEE神经网络学报，12（4）：694–7032001。王江典和Sujit K Ghosh。基于多变量Bernstein多项式的形状限制非参数回归。技术报告，北卡罗莱纳州立大学。部。

统计局，2012a。王江典和Sujit K Ghosh。具有bernsteinpolynomials的形状限制非参数回归。《计算统计与数据分析》，56（9）：2729–27412012b。Geo Offrey S Watson。平滑回归分析。《印度统计杂志》（The Indian Journal of Statistics），SeriesA，第359-3721964页。Daniel Z Zanger。有界近似集的最小二乘蒙特卡罗算法的收敛性。《应用数学金融》，16（2）：123–1502009。Daniel Z Zanger。美国期权定价最小二乘蒙特卡罗算法的定量误差估计。《金融与随机》，17（3）：503–5342013。张荣菊、Nicolas Langren\'e、Yu Tian、Zili Zhu、Fima Klebaner和Kais Hamza。考虑流动性成本和市场影响的动态投资组合优化：模拟和回归方法。《定量金融》，2018年第1-14页。A筛分估算方法的补充。1矩阵形式AJin为了使本文更加完整，我们收集了几种形式的约束矩阵AJin（29），它确保了筛估计的单调性、凸性或凹性（30）；请参见Wang和Ghosh（2012a，b）的解释。为了表示法的简单性，我们只处理r=1的情况。单调性假设等式（26）中定义的条件平均值g（·）是单调的。然后利用HJgivenby公式从（30）中得到相应的单调保持筛估计^g（·）。

（29）andAJ=-1 1 0 ··· 00 -1 1 1 ···...0 ··· 0 -1 1J×（J+1）。凸/凹如果g（·）是凸的，我们选择矩阵AJasAJ=1.-2 1 0 ··· 00 1 -2 1 ··· 0...0 ··· 0 1 -2 1（J）-1） ×（J+1）。此外，通过取上述矩阵的负，得到了伴随凹g（·）的矩阵AJ。凸性和单调性如果g（·）是凸的和单调的，则相应的AJis给出了AJis=-1 1 0 ··· ··· 01 -2 1 0 ··· 00 1 -2 1 ··· 0...0 ··· 0 1 -2 1J×（J+1）。A、 2数据驱动的J选择下面我们介绍了在sieveestimation方法中选择基函数J个数的一些常用方法；例如，见Li（1987）。离散集J的Mallows Cp N、 J通过解决以下最小化问题来确定：^J=arg minJ∈JMMXm=1hU（m）- ^gZ（米）i+2^σ杰米,式中，（30）中给出了^g（·），且^σ：=M-1毫米=1U（米）- ^gZ（米）这是对残差项方差的估计。广义交叉验证J由^J=arg minJ确定∈JM公司-1毫米=1U（米）- ^gZ（米）1.-杰米,（30）中给出了^g（·）。保留一个交叉验证选择J以最小化ECV（J）：=MMXm=1hU（m）- ^g-m级Z（米）i、 其中^g-m（·）类似地通过等式（30）和采样点获得U（m），Z（m）远离的。值得强调的是，在上述三种选择方法中，留一交叉验证方法的计算成本最高，因为必须计算回归估计^g-在CV（J）的单个评估中，m（·）m次。当M是可考虑的时，这在计算上显然是禁止的，在LSMC算法的当前上下文中尤其如此。Themlows的CPCriteria和广义交叉验证方法相对来说不太麻烦，但在规模较大的M下仍然不可取。

这些表明了避免这种调整参数选择程序的重要性，这是提出保形筛估计方法背后的一个重要推动力。A、 3筛分估算方法的技术假设我们在Newey（1997）第3.3节中讨论的筛分估算方法中附加了以下假设。假设4。（一）U（m），Z（m）Mm=1为i.i.d.且Z（m）具有紧凑的支撑Z。此外，VarU（米）Z（m）=·有界于Z.（ii）存在一个序列Υ（J），使得kφk∞≤ Υ（J）当k·k表示Z.（iii）上的连续函数的上确界范数时，对于等式（28）或等式（29）中定义的筛空间hj，存在一个（J+1）-乘-1向量|β和一个序列ρJsuch，该序列ρJ-→ 0作为J-→ ∞, andinfh（·）∈HJkh公司- gk公司∞=~β|φ - g级∞= O（ρJ），（A.1），其中我们提醒g（·）：=EU（米）Z（m）=·.（iv）LetΦ：=EφZ（米）φ|Z（米）. 存在一个与J无关的正常数cΦ，例如0<cΦ≤ λmin（Φ）≤ λmax（Φ）≤ \'cΦ<∞, λmin（Φ）和λmax（Φ）分别表示Φ的最小和最大特征值。（v） 作为M-→ ∞, J-→ ∞, 和Υ（J）J/M-→ 0、我方对上述技术条件提出了一些意见。1、上述假设第（i）部分的i.i.d.条件揭示了在LSMC算法中在每个时间步生成独立样本的必要性；另请参见第2.2节早期项目“正向模拟成本”中的讨论。第（i）部分进一步要求Z（m）具有紧密的支持，这在文献中是常规的，参见Newey（1997）和Chen（2007）。在BSBU算法的背景下，这表明将状态过程限制在有界域中不仅有利于消除不必要的外推，而且对于保证回归估计收敛到连续函数也是不可或缺的。

文献中也指出了这一点，如Stentoft（2004）和Zanger（2013）。第（二）部分规定了φ（·）的大小如何随着基函数数量的增长而增大。特别是，Newey（1997）表明Υ（J）=O√J对于B样条曲线，对于幂级数，Υ（J）=O（J）；对于其他类型的基函数，我们参考Chen（2007）。3、第（三）部分指出，在筛空间HJ中存在一个函数|β|φ（·），“最佳”在上确界范数下逼近条件平均函数g（·）；有关图解，请参见图15。筛空间HJ的凸性保证了向量∧β（简称oracle）的存在。对于筛子空间（29），ρj的存在取决于函数g（·）的凸性、凹性或单调性，其遵循Wang和Ghosh（2012b）的性质3.2。图15描述了▄β▄φ（·）和g（·）之间的关系：随着J的增加，它们的相关性消失，对于固定的J，随着样本量M的接近，筛估计值▄β▄φ（·）收敛到▄β▄φ（·）。因此，可以将筛估计视为条件平均函数g（·）的两阶段近似。第（iv）部分中的条件确保回归问题的设计矩阵是非奇异的，概率很高，并且不会随着J的接近而爆炸。最后，第（五）部分规定了J和M的增长率，以避免过度匹配或不足匹配。g（·）筛孔HJJ=1|β|φ（·）J=2 J=3ρJ→ 0，作为J→ ∞图15：一个图解说明了|β|φ（·）和g（·）之间的关系。B陈述证明B。1命题1B的证明。1.1准备工作1。对于任何F-适应过程a={at}t∈T、 以下陈述成立：（i）τR≤ t型=XRt公司∈ XR公司对于t=1，2，T（二）τR=t+1=nXRt公司∈XR，SXRt，at，εt+1/∈对于t=0，1，T- 1，式中定义了τRand xrta。

（11） 和（12）。引理1的证明。（i） 根据式（12），我们观察到XRt公司∈ XR公司=Xt公司∈ XR，τR>t∪Q（XτR∧t）∈ XR，τR≤ t型=Q（XτR∧t）∈ XR，τR≤ t型,其中，第二个恒等式由停车时间τ和以下事实的定义确定XR公司∩XR=. 为了展示引理1第（i）部分中的陈述，必须证明τR≤ t型{Q（XτR∧t）∈ XR}。实际上，τR≤ t表示XτR∧t型/∈XR，因此Q（XτR∧t）∈ XR。（ii）根据第（i）部分和等式（12），我们得到了nxrt∈XRo=XRt公司∈ XR公司c类=τR>tXRt=Xt.因此，我们获得了NXRT∈XR，SXRt，at，εt+1/∈XRo=nXRt∈XR，XRt=Xt，SXRt，at，εt+1/∈XR，τR>to=nXt∈XR，S（Xt，at，εt+1）/∈XR，τR>to=nXt∈XR，Xt+1/∈XR，τR>至=τR=t+1.这证明了引理1的第（ii）部分。B、 1.2命题1主要结果的证明。通过利用引理1和等式（12），我们得到xrt+1=Xt+1I{τR>t+1}+QXτR∧（t+1）I{τR≤t+1}=Xt+1I{τR>t+1}+Q（XτR∧t） I{τR≤t} +Q（Xt+1）I{τR=t+1}=S（Xt，at，εt+1）I{τR>t+1}+Q（XτR∧t） I{τR≤t} +Q（S（Xt，at，εt+1））I{τR=t+1}=SXRt，at，εt+1I{τR>t+1}+XRtI{τR≤t} +QSXRt，at，εt+1I{τR=t+1}=SXRt，at，εt+1I{τR>t+1}+XRtI{Xt∈XR}+QSXRt，at，εt+1I{XRt∈XR，S（XRt，at，εt+1）/∈XR}，其中第四个等式来自等式（12），最后一个等式来自引理1。上述方程式以及方程式。（5） 和（14）得出等式（13）。这就完成了预防。B、 2定理1B的证明。2.1初步说明X和XRIM通常依赖于某些动作a；见等式。（1） 和（13）。在续集中，我们有时会通过编写Xt（a）（resp.XRt（a））和X（a）（resp.XR（a））来强调这种依赖性。引理2。对于通过公式（13）定义的状态过程XRD，以下陈述成立。（i） 对于任何a∈ A、 存在▄A∈ ARsuch该XRt（a）=所有t的XRt（≈a）∈ 几乎可以肯定。（ii）对于任何∈ AR，存在∈ A使得所有t的XRt（A）=XRt（≈A）∈ 几乎可以肯定。引理2的证明。

（i） 给予∈ A和XR（A），我们构造▄A如下：▄A=A，和▄at=atI{XRt（A）∈XR}+a*t型XRt（a）I{XRt（a）∈XR}，对于t=1，2，T- 1，（B.1）其中a*t（x）：=arg supa∈对于x，在（x）ft（x，a）处∈ X兰德t∈ T、 从上述结构中很容易看出▄a是F适应的。需要说明的是∈ 在XRt（￠a）对于t，XRt（a）=XRt（≈a）∈ T（B.2）首先，我们观察到a=a∈ A（X）和XR（≈A）=X。作为归纳假设，我们假设陈述（B.2）适用于时间步t。对于时间步t+1，我们将讨论分为两种情况。1、如果XRt（a）=XRt（≈a）∈ XR，然后XRt+1（a）=XRt（a）=XRt（a）=XRt+1（a），其中第一个和第三个等式后面是等式（13），第二个等式是由于归纳假设。2、在第二种情况下，XRt（a）=XRt（~a）∈XR，我们将等式（13）应用于getXRt+1（▄a）=▄HKXRt（￠a），￠at, εt+1=小时KXRt（a），at, εt+1= XRt+1（a），其中第二个等式后跟等式（B.1）和归纳假设（B.2）。在上述任何一种情况下，我们都有XRt+1（≈a）=XRt+1（a）。这与等式（B.1）相结合意味着▄at+1=at+1∈ 在+1处XRt+1（a）= 在+1处XRt+1（￠a）, 如果XRt+1（￠a）∈XR。否则，￠at+1=a*t+1XRt+1（a）= 一*t+1XRt+1（￠a）∈ 在+1处XRt+1（￠a）. 这证明了时间步长t+1的陈述（B.2）。第（i）部分的证明是完整的。（ii）给定▄a∈ ARand XR（▄a），我们构造如下：a=▄a，andat=▄atI{XRt（▄a）∈XR}+^at（Xt（a））I{XRt（▄a）∈XR}，对于t=1，2，T- 1，（B.3）其中^at（·）是满足^at（x）的任何可测函数∈ 对于x，在（x）处∈ X和t∈ T、 很容易看出▄a是F适应的。接下来，我们用一个前向归纳论点来说明∈ At（Xt（a））和XRt（a）=XRt（≈a），对于t∈ T（B.4）对于t=0，上述陈述基本成立。作为归纳假设，我们假设它保持时间步长t。对于时间步长t+1，我们考虑两种不同的情况。1、如果XRt（a）=XRt（≈a）∈ XR，Eq。