随机最优控制问题的反向仿真方法

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《A Backward Simulation Method for Stochastic Optimal Control Problems》
---
作者：
Zhiyi Shen and Chengguo Weng
---
最新提交年份：
2019
---
英文摘要：
  A number of optimal decision problems with uncertainty can be formulated into a stochastic optimal control framework. The Least-Squares Monte Carlo (LSMC) algorithm is a popular numerical method to approach solutions of such stochastic control problems as analytical solutions are not tractable in general. This paper generalizes the LSMC algorithm proposed in Shen and Weng (2017) to solve a wide class of stochastic optimal control models. Our algorithm has three pillars: a construction of auxiliary stochastic control model, an artificial simulation of the post-action value of state process, and a shape-preserving sieve estimation method which equip the algorithm with a number of merits including bypassing forward simulation and control randomization, evading extrapolating the value function, and alleviating computational burden of the tuning parameter selection. The efficacy of the algorithm is corroborated by an application to pricing equity-linked insurance products.
---
中文摘要：
许多具有不确定性的最优决策问题可以被表述为一个随机最优控制框架。最小二乘蒙特卡罗（LSMC）算法是一种常用的数值方法，用于逼近解析解通常不可处理的随机控制问题的解。本文推广了Shen和Weng（2017）提出的LSMC算法，以解决一类广泛的随机最优控制模型。我们的算法有三大支柱：辅助随机控制模型的构建、状态过程后作用值的人工模拟和保形筛估计方法，该方法使算法具有绕过前向模拟和控制随机化、避免值函数外推、，以及减轻调谐参数选择的计算负担。该算法的有效性得到了股票挂钩保险产品定价应用的验证。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--

---
PDF下载：
--> A_Backward_Simulation_Method_for_Stochastic_Optimal_Control_Problems.pdf (883.88 KB)

2022-6-11 11:00:28 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：控制问题 最优控制 Applications Construction Quantitative

一种求解随机最优控制问题的反向仿真方法*沈志毅+和翁成国2019年1月23日摘要许多具有不确定性的最优决策问题可以表述为随机最优控制框架。最小二乘蒙特卡罗（LSMC）算法是一种常用的数值方法，用于逼近解析解一般不可处理的随机控制问题的解。本文推广了inShen和Weng（2017）提出的LSMC算法，以解决一类广泛的随机最优控制模型。我们的算法有三个支柱：辅助随机控制模型的构建、状态过程后作用值的人工模拟和保形筛估计方法，该方法使算法具有许多优点，包括绕过正向模拟和控制随机化，避免值函数外推，减轻了调谐参数选择的计算负担。该算法的有效性得到了股票挂钩保险产品定价应用程序的验证。1简介随机最优控制模型是解决各种领域（尤其是金融工程领域）不确定性最优决策问题的一种普遍范式。在解决离散时间到随机最优控制问题时，动态规划原理（DPP）是一种流行的工具，它将最优值函数描述为向后递归方程系统（通常称为Bellman方程）的解。这将随机优化问题简化为两个独立的问题：1）求解一系列确定性优化问题，2）计算Bellman方程中的条件期望项。

尽管DPP在理论上具有吸引力，但Bellman方程通常不存在闭式解，这阻碍了随机最优控制模型在复杂现实问题中的应用。最近，文献中提出了一些数值方法*作者感谢Alexander Schied、李鹏飞、李德贵和高肇星的有益讨论。+滑铁卢大学统计与精算学系。电子邮箱：zhiyi。shen@uwaterloo.ca滑铁卢大学统计与精算学系。电子邮件地址：c2weng@uwaterloo.cathe将蒙特卡罗模拟与非参数回归方法相结合，得到各种随机最优控制问题的最优或次优解。在统计环境中，非参数回归方法的典型目标是估计响应变量对协变量的期望的函数形式。这自然促使人们使用某些非参数回归方法来评估Bellman方程中涉及的条件期望（在百慕大期权定价的背景下也称为连续值），其中下一时间步的值函数和当前时间步的状态变量分别作为响应变量和协变量。这种搁浅的突破性想法在一系列论文中孕育，包括Carriere（1996）、Longstaff和Schwartz（2001）以及Tsitsiklis和Van Roy（2001），相应的数值算法通常被称为最小二乘蒙特卡罗（LSMC）算法。从那时起，LSMC算法在解决最优停车问题（一类特殊的随机控制问题）方面得到了广泛的应用；例如，见Cl'ement等人。

（2002）、Stentoft（2004）、Egloserman和Yu（2005）、Glasserman等人（2004）、Egloserman等人（2007）、Zanger（2009）、Zanger（2013）、Belomestny等人（2009）、Belomestny（2011）以及其中的参考文献。借助LSMC算法解决一般随机控制问题的问题要复杂得多。为了理解症结所在，让我们注意到LSMC方法有两个构建块：1）状态过程的正向模拟和2）使用非参数回归估计连续值的反向更新过程。在非最优停止问题中，状态过程的演化与决策者的行为无关，因此，状态过程样本路径的正向模拟相对简单。与此形成鲜明对比的是，在一般随机最优控制设置中，状态过程受DM动作的影响，因此，如果不指定DM动作，则无法实现其模拟。理想情况下，可以期望通过DM的最佳操作来模拟状态过程。然而，最优动作应该通过以向后递归的方式求解Bellman方程来确定，这与LSMC算法中正向模拟的需要是不一致的。为了避免这种情况，Kharroubi等人（2014）建议首先从随机分布中提取DM的动作，然后根据初始化动作模拟状态过程的样本路径。该方法在文献中被称为控制随机化方法，并应用于LSMC算法中，以解决许多特定的随机控制问题；例如，见Cong和Oosterlee（2016），Zhang等人（2018），以及Huang和Kwok（2016），等等。

尽管控制随机化方法被广泛使用，但在样本点稀疏的区域，数值估计的准确性受到影响（Zhang等人，2018年，第3.3节），并且样本路径的传播对初始化动作的特定方式很敏感。在极端情况下，LSMC算法甚至可能在随机分布的随机选择下错过最优解，从而得出PH值的作用；例如，见沈和翁（2017）。还值得注意的是，大多数文献将控制随机化和状态过程的正向模拟结合在一起。然而，本文将表明，在LSMC算法中，前向模拟并不是必须的，放弃前向模拟的优点在几个方面都存在。控制随机化和后续正向模拟的局限性将在本文第2.2节中详细阐述。除了模拟状态过程外，Bellman方程中条件期望项的近似也很费力，原因有几个。首先，流行的回归方法只能保证在紧凑支持下回归估计的准确性，例如，Newey（1997）、Stentoft（2004）和Zanger（2013），而状态变量通常在无界集中取值。一些文献折衷地首先截断连续函数的域，然后在需要截断区域以外的函数知识时使用外推技术。值得注意的是，这个问题在最优停止问题中并不严重，但在一般的随机控制环境中严重。这是因为，在后一种情况下，必须遍历所有可接受的操作，这需要adomain上的延拓函数的值，该值比样本路径的扩展范围更宽。

其次，为了避免过度拟合或不足拟合，大多数非参数回归方法都需要适当选择调整参数，例如，线性筛选估计方法中的基函数数（见第3.3节）。这通常通过计算昂贵的交叉验证方法来解决，例如，参见Li（1987）。然而，鉴于模拟路径的数量非常多，在实现LSMC算法时，这种调整参数选择过程是不可容忍的。上述挑战将在续集部分进行详细调查。本文的贡献总结如下。首先，我们将状态过程的值集约束为一个紧集，从而避免了LSMC算法向后递归时不需要的外推值函数估计。在适当选择截断参数的情况下，伴随着运行状态过程的值函数被证明是原始值函数的合理近似。其次，我们推广了Shen和Weng（2017）的观点，从人工概率分布模拟了状态过程的事后价值。这消除了正向模拟的需要，并且与Bellman方程的反向归纳性质一致。与基于控制随机化的正向模拟方法相比，人工模拟方法的内存和时间成本要少得多。第三，我们引入了一种保形筛估计方法来逼近Bellman方程中的条件期望项。通过利用延拓函数的某些形状信息，筛选估计对调谐参数不敏感，从而降低了调谐参数选择的计算成本。

我们将所提出的LSMCalgorithm称为反向模拟和反向更新（BSBU）算法。最后，我们建立了BSBU算法的收敛结果，揭示了数值误差如何通过向后递归过程传播。本文的组织结构如下。第2节介绍了LSMC算法，并说明了它在解决一般随机最优控制问题时所面临的挑战。第3节给出了本文的主要结果：辅助随机最优控制模型的构建、BSBU算法以及相关的收敛性分析。第4节将BSBU算法应用于股票挂钩保险产品的定价问题，第5节进行了相应的数值实验。最后，第6节对本文进行了总结。2基本框架和动机2.1随机最优控制模型我们将注意力限制在一系列连续的时间点上，这些时间点用T表示：={0，1，…，T}，决策者（DM）可以对其采取行动。DM面临的不确定性由概率空间表示(Ohm, F、 P）配备过滤器F=英尺t型∈T、 DM的作用由离散时间随机过程a={at}T描述∈Twith T=T \\{T}。设X={Xt}t∈Tbe值为X的certainstate进程 Rdwith d∈ N、 从初始状态X开始∈ Rd，它根据以下过渡方程递归演化：Xt+1=S（Xt，at，εt+1），对于t=0，1，T- 1，（1）式中ε：={εt+1}t∈这是一个在rqq中有q值的独立随机变量序列∈ N、 εt+1反映了DM在时间步t面临的不确定性，在下文中称为随机创新。为了简洁起见，在下面的内容中，我们压缩了stateprocess对动作的依赖性，读者应该始终记住，XT隐式地依赖于时间t之前的THDM动作- 1.

我们对行动a的正式定义如下。定义1（容许行动）。我们把离散时间过程称为a={at}t∈Tan可采性，如果满足以下条件：（i）t=0，1，…，atis Ft可测量，T-1.（ii）在∈ 在（Xt）处，对于t=0，1，T- 1，其中At（·）是作为Rpwithp的子集值的函数∈ N、 上述定义中（·）处的函数对应于时间t处所采取行动的特定状态约束。表示为DM的容许行动集。考虑以下形式的离散时间随机最优控制问题：V（X）=supa∈AE“T-1Xt=0Дtft（Xt，at）+Дtft（Xt）#，（2）其中∈ （0，1）是一个特定的贴现因子，ft（·，·）和ft（·）分别是中间和最终报酬函数。为了确保随机控制问题（2）的适定性，我们采用了文献中常规的以下假设，例如，参见Rogers（2007）和Belomestny et al.（2010）。假设1。苏帕∈AE“T-1Xt=0英尺（Xt，at）#<∞, 和supa∈AE[英尺（XT）]<∞.动态规划原理表明，值函数V（·）可以递归求解：VT（x）=英尺（x），VT（x）=supa∈在（x）hft（x，a）+ИCt（x，a）i时，对于t=0，1，T- 1，（3）式中，Ct（x，a）=EhVt+1（Xt+1）Xt=x，at=ai。（4） 我们继续将过渡方程（1）改写为以下形式：S（Xt，at，εt+1）=HK（Xt，at），εt+1, （5） 式中H（·，·）：Rr+q-→ Rd和K（·，·）：Rd+p-→ r用r表示一些可测函数∈ N、 值得强调的是，任何过渡函数S（·，·，·，·）都可以重写为上述形式，因为可以选择K（·，·）作为恒等函数（即K（x，a）=（x，a）|），并且上述方程都成立。尽管如此，引入函数K（·，·）是有指导意义的，因为它带来了降维的好处。我们将在续集中对此进行更多解释。梳理等式。

（4） 和（5），我们得到\'Ct（Xt，at）=EhVt+1H（Xt+，εt+1）Xt+=K（Xt，at）i。此后，我们将Xt+称为时间t时状态进程Xtat的动作后值。它构成了第3.2节中提出的LSMC算法中的一个重要组件。定义函数Ct（k）：=EhVt+1（Xt+1）Xt+=ki=EhVt+1H（k，εt+1）i、 （6）我们观察到“Ct（·，·）”和“Ct（·）”之间的以下关系：“‘Ct（x，a）=Ct”K（x，a）. （7） 上述关系的关键含义是，由于K（·，·）是第一手已知的，因此有必要恢复Ct（·）的功能形式，以评估“Ct（·，·）”。将过渡方程改写为公式（5）的动机现在已经很清楚：K（·，·）将（d+p）-维向量映射为ar维向量，如果r<d+p，则压缩维，并且由于这种降维，恢复函数Ct（·）比恢复函数Ct（·，·）更有效。还值得注意的是，根据公式（6），Ct（·）完全由εt+1的概率分布决定。这意味着在计算函数Ct（·）时，无需知道Xt+的准确分布。根据关系式（7），Bellman方程（3）可等效为VT（x）=英尺（x），VT（x）=supa∈At（x）hft（x，a）+ДCtK（x，a）i、 对于t=0，1，T- 1.（8）···Vt+1（·）Ct（·）Eq.（6）·Ct（·，·）Eq.（7）Vt（·）Eq.（8）。图1：求解Bellman方程时的反向信息传播图。上述方程系统表明，给定时间步t+1的值函数，可以根据等式对连续函数进行估值。（6） 和（7），然后通过求解式（8）第二行中的优化问题，获得时间步长t的值函数。上述递归过程背后的信息传播如图1.2.2 LSMC算法之旅所示。我们首先回顾了最小二乘蒙特卡罗（LSMC）算法。

我们将展示其在几个方面的局限性，这些方面激发了我们将在后续章节中提出的算法。2.2.1“前向模拟和后向更新”（FSBU）算法关于最优停止问题的LSMC已有大量文献，而关于一般随机最优控制问题的LSMC的文献很少。大多数文献针对某些特定应用中出现的随机控制问题，讨论了THLSMC，如Carmona和Ludkovski（2010），Barrera Esteve等人（2006），Huang和Kwok（2016），Shen和Weng（2017），Cong和Oosterlee（2016），以及Zhang等人（2018），等等。Belomestny等人（2010）提出了一类随机控制问题的LSMC算法。对于LSMC算法的大多数变体，它们可以分解为两大支柱：（i）状态过程的前向模拟和（ii）控制策略的后向更新。我们在一个统一的范例中回顾这些算法，如下所示。1、启动：设置VET（x）=fT（x）。对于t=t- 1，T- 2.0，请执行以下两个步骤。2、正向模拟：2.1对照随机化生成DM动作的随机样本，时间步长t:aM0:t：=na（m），a（m）t, m=1，2，每个a（m）t由一定的启发式规则生成。2.2状态过程模拟模拟随机创新的随机样本：nε（m），ε（m）t+1, m=1，2，Mo.时间步长t+1之前的状态过程样本由xm1：t+1：=nX（m）1：t+1给出：=X（m），X（m）t+1, m=1，2，Mo，K（·，·）（x，a）动作后值的范围图2：一个图解说明了动作前值与动作后值之间的映射K（·，·）。其中X（m）n=SX（m）n-1，a（m）n-1，ε（m）n对于n=1，2，t+1.3。