随机最优控制问题的反向仿真方法

因此，在时间步t，它有助于获得集Kt上连续函数Ct（·）的回归估计，R：=eKt，R\\bKt，R.3.2.2该算法现在我们提出了如下反向模拟和反向更新（BSBU）算法。1、启动：设置▄VET（x）=x的fT（x）∈ cl（XR）。对于t=t-1，T-2.0，执行以下两个步骤。2、反向模拟：2.1模拟动作后值生成动作后值的样本，表示为yxmt+：=nX（m）t+，m=1，2，m根据概率分布Qt，rw和支持Kt，R.2.2状态过程模拟根据toXMt+1在时间步n+1构建状态过程的样本：=nX（m）t+1=~HX（m）t+，ε（m）t+1, m=1，2，Mo.（23）····VEt+1（·）~CEt（·）回归··VEt（·）等式（25）。图6:BSBU算法中的反向信息传播图。兽医X（m）tCEtKX（m）t，a如果X（m）t∈XREq。（16） 如果X（m）t∈ 在步骤2.2if K中获得的XRegression估计值X（m）t，a∈ Kt，要求。（22）如果KX（m）t，a∈bKt，RFigure 7：评估VEt时的信息传播图X（m）t.nε（m）t+1，m=1，2，移动随机创新的样本。3、后向更新：3.1数据准备给定时间步t+1处值函数的数值估计，用▄VEt+1（·）表示，构建样本mt+1：=n▄VEt+1X（m）t+1, m=1，2，Mo.（24）3.2回归将YMt+1和XMt+分别作为响应变量和回归器的样本，并使用某种非参数回归来获得集合Kt，R上的回归估计CEt（·）。对于k∈bKt，R，我们用等式给出的▄Ct（·）设置▄CEt（k）=▄Ct（k）。(22).3.3优化时间步t处的值函数估计值由以下公式给出：▄VEt（x）=supa∈在（x）hft（x，a）+欧洲中部K（x，a）i、 对于x∈XR。（25）对于x∈ XR，我们用等式给出的▄Vt（·）设置▄VEt（x）=▄Vt（x）。

(16).在步骤3.2中，我们规定当k∈bKt，RBE原因KX（m）t，a可能落在setbKt，R中。类似地，在步骤3.3中，调用等式（16）来计算x的▄VEt（x∈ 由等式（23）生成的XRas X（m）t可位于XR，截断域的边界集。上述BSBU算法中的后向信息传播如图6.3.2.3讨论所示。对比上述BSBU算法和第2.2节中的FSBU算法，我们有以下观察结果。1、首先，两种算法的主要区别在于如何生成状态过程的后动作值，即XMt+。控制随机化方法是一种正向模拟模式，而BSBU算法直接从某个先验分布生成动作后值。实际上，如果Qt，Ris被选为控制随机化程序中动作后值的概率分布，则FSBU算法可以被视为一种特殊的BSBU算法。通常，这两种方法都不会产生由最优作用驱动的Xt+分布，因此，从先前的分布Qt，R.2直接生成XMt+不会有任何损失。其次，BSBU方法具有减少内存和时间开销的优点。一方面，在BSBU算法中，不需要在每个时间步存储整个轨迹的样本。另一方面，在BSBU算法中，模拟状态过程的总时间开销为O（T），而TFSBU对应方；参见第2.2.3节中的“正向模拟成本”项。第三，BSBU算法避免了对连续函数和值函数的数值估计进行外推。值得注意的是，在时间步t，分别在setseKt、Rand col（XR）上获得▄CEt（·）和▄VEt（·）；参见上述BSBU算法的步骤2.2-2.3。

在时间步t-1、在计算回归数据YMt时，BSBU算法不需要col（XR）（resp.eKt，R）外的值函数（resp.continuation function）的知识；有关图形说明，请参见图7。此nice属性继承自辅助状态过程XRW的构造，这些值被限定为一个有界集。然而，在FSBU算法中，状态过程不受约束，KX（m）t，a可能不属于▄CEt（·）的回归域。在这种情况下，外推数值解会导致难以控制的额外误差。3.3筛选估计方法在本小节中，我们讨论了在我们的BSBU算法中用于估计连续函数的回归方法的细节。3.3.1回归方法的选择标准在第2.2节中，我们讨论了当用于估计随机控制问题的连续函数时，可能与回归方法相关的潜在问题；见“回归方法的选择”一项。在讨论的基础上，我们提出了在估计连续函数时选择回归方法的以下标准。（C1）内存消耗小嵌入在LSMC算法中的回归问题通常显示出非常大的样本量。因此，适当的回归方法应该具有较小的内存需求。该标准排除了核方法（Nadaraya（1964）和Watson（1964））、局部多项式回归方法（Fan和Gijbels（1996））和等渗回归方法（Robertson et al。

（1988），这要求将所有样本点存储在内存中，以便计算域中任何点的回归函数。（C2）在几乎所有非参数回归方法中，计算成本很低，使用某个参数（在统计文献中称为调整参数）来避免回归模型不必要的过度拟合或不足拟合。确定此类调谐参数的最佳值通常需要大量计算。因此，理想的回归方法应该对调整参数不敏感。鉴于上述两个标准，尽管文献中有大量的非参数回归方法，但我们有有限数量的合适选择。在下文中，我们将讨论一类称为筛估计法的回归方法，其中包括Longstaff和Schwartz（2001）的最小二乘法作为特例。3.3.2保形筛估计我们简要介绍了筛估计方法；请参阅Chen（2007）的综合观点。假设我们有一个独立同分布（i.i.d.）随机对的样本U（m），Z（m）Mm=1，其中Z（m）是具有紧支撑Z的Rr值随机向量，U（m）是一元随机变量。定义函数g（·）：Z-→ R asg（z）=EhU（m）Z（m）=zi（26），它独立于m。在我们的BSBU算法的上下文中，U（m）和Z（m）对应于Vt+1X（m）t+1和X（m）t+，并行函数g（·）是延拓函数Ct（·）。筛估计方法通过解决以下优化问题来估计g（·）的函数形式：^g（·）：=arg minh（·）∈HJMMXm=1hU（m）- h类Z（米）i、 （27）其中hj是一个有限维函数空间，取决于某个参数J，称为筛空间。直观地说，筛子空间越大，HJ和函数g（·）之间的“间隙”就越小。

要付出的代价是，由于样本量M有限，aricher筛空间会产生较大的估计误差。因此，必须通过控制筛空间的复杂性来平衡这种权衡，这是通过调整参数J来实现的。为了使问题更具体，我们在后续文中考虑了两个筛空间示例。示例1（线性筛空间）。设{φj（·）：Z-→ R} j∈Nbe由j表示的基函数序列∈ N、 考虑HJ定义的筛网空间=h（·）：h（z）=JXj=0βjφj（z），βj∈ R. （28）上述集合HJ本质上是由无数基函数组成的线性范围，在统计文献中被称为线性筛空间。在目前的随机控制背景下，回归函数g（·）对应于连续函数，在许多应用中表现出一些形状特性，如单调性；参见Del Moral et al.（2012）了解美国期权的定价，以及Huang和Kwok（2016）了解股票挂钩保险产品的价值。有鉴于此，我们很自然地会期望筛子空间中的元素满足此类形状约束，这反过来又保留了数值结果的财务解释。这可以通过在下面的示例中考虑一个特殊的线性筛空间来实现。示例2（保形筛空间）。设{φj（·）：Z-→ R} j∈Nbe由j索引的基函数序列∈ N、 用βJ表示βJ=（β，…，βJ）|∈ R、 j=0，1，J、 考虑HJ定义的筛面=h（·）：h（z）=JXj=0βjφj（z），AJβj≥ 0b（J）, （29）式中b（·）：N-→ N是一个整数值函数，aj是一个b（J）-by-（J+1）矩阵，0b（J）是ab（J）-by-1空向量。Wang和Ghosh（2012a，b）表明，等式（29）中筛子空间中的每个元素都是凸、凹或单调函数（相对于每个坐标），有一个特殊的矩阵选择，即φj（·），j=0，1。

，J是伯恩斯坦多项式。某些形式的AJ被归入附录A.1。对于等式（28）或等式（29）中定义的线性筛网空间，上述优化问题（27）的解由以下形式给出：^g（z）=^β|φ（z），对于z∈ Z、 （30）式中φ（Z）：=（φ（Z），φJ（z））|和710;β是以下优化问题的优化器：minβ∈RJMMXm=1hU（m）- β|φZ（米）i、 以β|φ（·）为准∈ HJ。（31）为了简洁起见，抑制了^β和φ（·）对J的依赖性。一般来说，必须求解一个约束二次规划问题才能得到^β。3.3.3讨论上述线性筛选估计的一个明显优点是，只需存储向量^β，以便在域中的任何点对回归函数^g（·）进行未来评估，因为基函数φ（·）是第一手明确知道的。这使得线性筛估计方法根据标准（C1）针对我们目前的问题。对于标准（C2），统计文献中充分证明，当真实回归函数g（·）满足某些形状约束时，由式（29）给出的HJ（31）得到的形状保持估计^g（·）对调谐参数J不敏感；例如，参见Meyer（2008）和Wangand Ghosh（2012a，b）。然而，只有当真条件均值函数g（·）表现出这种凸性、凹性或单调性时，这才是合理的。对于一般情况，当g（·）没有优先形状信息时，必须使用筛空间（28），回归估计对J的选择敏感。在这种情况下，应以数据驱动的方式确定J。在附录A.2中，我们介绍了统计文献中讨论的选择J的一些常用方法。最后，在某些技术条件下，保证了筛估计^g（·）收敛于条件平均函数g（·）。

这些条件在假设4中进行了总结，为便于表述，将其归入附录A.3。3.4 BSBU算法的收敛性分析现在，我们准备对第3.2节中提出的BSBU算法进行收敛性分析。对于算法中使用的回归方法，我们将注意力限制在由等式给出的线性sieveestimator上。（30）及（31）。BSBU算法的完整收敛性分析应考虑三种类型的错误：（E1）截断错误截断错误是由▄V（X）作为V（X）的代理引起的。（E2）筛子估计误差在BSBU算法的每一步，筛子估计方法用于获得连续函数的估计值。相关的筛估计误差源于两种资源：（a）使用有限维筛空间hj近似延拓函数引起的偏差；（b）在有限样本量M.（E3）累积误差下估计基函数系数的统计误差。BSBU算法中回归步骤的首要目标是估计辅助随机控制问题的连续函数，即▄Ct（·）=Eh▄Vt+1（Xt+1）Xt+=·i。因此，原则上，应生成随机样本Vt+1X（m）t+1, X（m）t+oMm=1，在此基础上，可采用筛分估计方法获得回归估计。然而，在算法的每个时间步中，Vt+1（·）并不精确，而是由其数值估计值VEt+1（·）代替；参见第3.2节BSBU算法的步骤2.2。因此，从时间步长T开始累积的算法误差- 1到t+1触发除（E1）和（E2）之外的新类型错误。（E1）已在定理1中研究过。~V（X）和~VE（X）之间的差异由（E2）和（E3）决定。

区分这两种类型的错误在我们的收敛分析中起着至关重要的作用，这是受到Belomestny等人（2010）的启发。我们的主要收敛结果总结在以下定理中。定理2（BSBU算法错误）。假设（i）附录B.3中的假设1-3和假设5成立；（ii）附录A中的假设4适用于U（m）=Vt+1X（m）t+1Z（m）=X（m）t+一致int∈ T、 其中，BSBU算法的步骤2.1和2.2中给出了X（m）T+和X（m）T+1。那么，存在一个常数ψ，使得V（X）-VE（X）= 操作qψT-1（J/M+ρJ）, 作为M-→ ∞, （32）带有附录B.3定义2中定义的“大O p”符号OP（·）。上述定理基本上表明，当基函数的数量J和模拟路径的数量M以假设4中条件（V）规定的速率逼近时，数值解VE（X）收敛到V（X）不概率。由于定理1表明，V（X）和V（X）之间的距离随着R的增加而缩小，当R、J和M相当大时，数值估计VE（X）是V（X）的合理近似。公式（32）的R.H.S.表明，BSBU算法的总体误差源于前一项（E2）中讨论的两个资源，分别由ρJand J/M表示。此外，式（32）还表明，这种回归误差在每个时间步都会通过因子ψ递增，这反映了时间步T的误差累积-1至时间步0，与项目（E3）中的早期讨论一致。4应用：股票挂钩保险产品的定价在本节中，我们将BSBU算法应用于股票挂钩保险产品的定价。这个定价问题是一个恰当的例子，可以说明第2.2节中所述FSBU算法的局限性。

为了便于说明，我们在此研究的合同是可变年金（VAs）的简化版本；关于更多通用政策的讨论，我们参考了Azimzadeh和Forsyth（2015）、Huang和Kwok（2016）、Huang et al.（2017）和Shen andWeng（2017）等。4.1合同描述我们简要介绍了VA。VAs是由保险公司发行的股票挂钩保险产品。在合同开始时，投保人（PH）向保险人一次性支付投资于某项风险资产的款项。PH有权在到期前收回投资的任何部分。无论投资账户的表现如何，她也享有一定的担保付款。因此，保险公司为潜在的市场下滑提供下行保护。作为补偿，保险人从投资账户中扣除保险费，并交易可用证券以对冲其风险敞口。因此，无套利定价一直是文献中VAs定价的主要范式。这个pricingproblem的主要挑战源于PH退出行为的不确定性。这通常通过研究PH的最优退出策略来解决，这自然会导致一个随机控制问题；参见Dai等人（2008）、Chen等人（2008）、Huang和Kwok（2016）以及其他许多人。4.2模型设置在下文中，我们举例说明了当前定价问题中第2节的模型设置。位置T对应于所有可用提款日期的集合。

第一个决策变量τtre通过分别取值1和0来表示PH是否决定初始化提取。正如我们稍后将看到的，支付函数取决于首次提取PH的时间。因此，状态变量{It}t∈它用于记录首次退出时间，其演变机制规定如下：I=0，and It+1=SIt（It，τt）：=t、 如果It=0且τt=1，则It，否则，（33）表示t∈ T、 如果撤回已经初始化，即它>0，则τ的可行集是一个单态{1}；否则，它是{0，1}。表示（a）+：=最大{a，0}和a∨ b：=最大值{a，b}。第二个状态变量对应于投资账户，它根据W=W，重量+1=Wt公司- γt+| {z}提取后值·εt+1，γt∈0，重量∨ G（It）P, t型∈ T、 （34）式中，γ是时间T时PH的提取量，εT+1是基础资产在【T，T+1】上的绝对回报，G（It）是一个特定的百分比，取决于第一次提取时间It。上述方程式表明，即使投资账户耗尽，即Wt=0，PH值也可以提取到G（It）pEN的量。投资账户在每个提款日期的跳转机制如图8所示。现在，状态进程和DM的操作是X={Xt=（Wt，It）|}t∈Tand a={at=（γt，τt）}t∈T、 分别用上标“|”表示向量转置。根据等式。（33）和（34），随附的过渡方程为Xt+1=HK（Xt，at），εt+1, 其中k（Xt，at）=Wt公司- γt+, SIt（It，τt）|, Hk、 εt+1=kεt+1，k|（35）k=（k，k）|∈ [0, ∞) ×T。为了符号简洁，K（·，·）对T的依赖性被抑制。接下来，我们讨论PH作用的可行集。