随机最优控制问题的反向仿真方法

原则上，提取金额γttakesWtWt+1γtt- 1吨+1吨Wt公司- γt+图8：投资账户在提款日期的跳转机制。连续统中的值0，重量∨ G（It）P（见等式（34））。然而，可以看出，最佳提取金额仅限于三种选择：1）γt=0，2）γt=G（it）P，以及3）在某些合同规范下γt=wt；参见Azimzadeh和Forsyth（2015），Huang和Kwok（2016），Huang等人（2017），Shen和Weng（2017）。通过上述参考文献所采用的类似论点，可以表明该结论仍然适用于此处所考虑的合同。因此，我们将作用的可行集Atin限制为以下离散集：At（Xt）=（0，0）|，（G（It）P，1）|，（Wt，1）|, 如果I=0，（撤回尚未初始化）（0，1）|，（G（It）P，1）|，（Wt，1）|, 如果I>0，（撤回已初始化）（36），对于t=1，2，T- 1、按照惯例，PH在开始时不允许撤回，thusA（X）=.我们继续指定与当前上下文中的政策支付相对应的奖励函数。在到期之前，PH的现金流是她的提款金额，受到一定的罚款：ft（Xt，at）=γt- κγt- G（It）P+, γt∈0，重量∨ G（It）P, t=1，2，T-1，带κ∈ [0，1]为罚款率。换言之，超过担保金额的提款金额将受到按比例的罚款。通常，f（·，·）≡ 0、到期时，保单支付是投资账户的剩余价值，即fT（XT）=WT。最后，我们给出了当前背景下价值函数的解释。

Vt（x）=I>0的Vt（（W，I）|）（分别，I=0）对应于提款日期t的合同无套利价格，前提是投资账户的值为W，且首次提款在提款日期I触发（分别，未进行提款）。4.3定价问题的BSBU算法状态过程X通常取无界集X=[0，∞) ×T。我们考虑一个未命名的域：XR=[0，R）×Twith R>0。因此，我们可以在等式（13）中定义辅助状态过程XRas。后作用值的范围由ekt给出，R=bKt，R∪Kt，R，其中bkt，R={0，R}×{0，1，…，t}和Kt，R=（0，R）×{0，1，…，t}。这符合等式（21）。现在，我们几乎可以使用第3.2节中开发的BSBU算法来解决当前的定价问题。值得注意的是，离散状态变量Itapears in the presentcontext and the continuation function，大体上，相对于伴随该状态变量的post actionvalue，即k，不是连续的；见等式（35）。因此，假设4的条件（iii）在此可能不成立；见附录A.3。然而，对于k的每个给定值，连续函数相对于k仍然是连续的，k是与投资账户价值相关联的行动后价值。因此，可以重复BSBU算法的步骤3.2以获得非常明显的k值。很容易看出，由此产生的BSBU算法的收敛性不受此修改的影响。最后，还需要指定如何模拟状态过程的操作后值，以便为实现BSBU算法铺平道路。

在后续部分，我们将详细讨论这个问题，特别是，我们将比较控制随机化方法和我们的arti-ficialSimulation方法。5数值实验本节致力于进行数值实验，以展示BSBU算法在上一节所述可变年金产品定价背景下的优点。5.1参数设置我们首先给出数值实验的参数设置。我们考虑T=12个时间步，假设两个连续提款日期之间的时间间隔为δ=1/12。这对应于一年到期、每月提款频率的合同。假设初始投资为一个单位，即W=1。担保付款百分比规定如下：G（It）=0.03，如果0≤ 它≤ 3，0.05，如果4≤ 它≤ 7，0.07，如果8≤ 它≤ 11、换言之，如果PH推迟开始提款，则可享受更多的担保付款。因此，值函数/continuation相对于状态变量It不是连续的。设r和q分别为年化无风险费率和保险费率。我们假设基础基金的绝对回报率εt+1服从对数正态分布，即E[对数εt+1]=r-q-σ/2δ和Var[logεt+1]=风险中性定价措施下的σδ。这隐含地假设基础基金按照年化波动率σ的几何布朗运动演化。最后，贴现率由Д=e给出-rδ。

表1总结了上述所有市场和合同参数。表1：用于数值实验的参数。参数值波动率σ0.15无风险率r 0.03保险费率q 0.01时间步数T 12时间间隔长度δ1/12贴现因子Д=e-rδ0.9975首次购买付款W扣除罚金κ0.8保证付款百分比G（I）0≤ 我≤ 3 : 3%, 4 ≤ 我≤ 7 : 5%8 ≤ 我≤ 11:7%最后，我们讨论了截断参数R的选择。在目前的情况下，很容易看到假设2中的函数E（X，R）是由几何布朗运动的连续运行最大值的尾部概率从上而下限定的。具体来说，我们有（X，R）≤ PWmaxt∈[0，δT]e（r-q-0.5σ）t+σBt≥ R,= P最大值∈[0，δT]（r）- q- 0.5σ）t/σ+Bt≥ （1/σ）对数R/W= 1.- N（1/σ）对数R/W- αδT√δT+RW公司2（α/σ）N-（1/σ）对数R/W- αδT√δT！α：=（r- q- 0.5σ）/σ，其中Bt是标准布朗运动，N（·）是标准正态分布的累积分布函数，最后一个等式遵循反射原理（参见，例如，Shreve（2004，第297页））。设R=4。那么上述不等式的R.H.S.大约等于2×10-20根据表1中的参数设置。在本例中，也很容易看出ξ（R）在R中是二次的，因此，根据等式（20）中的误差界，截断误差是微乎其微的。有鉴于此，我们在所有后续的数值实验中确定R=4。5.2正向模拟v.s.人工模拟接下来，我们想展示基于控制随机化的正向模拟在生成状态过程随机样本方面的局限性。

下面，我们介绍一些流行的控制随机化方法。（CR0）给定模拟X（m）t：=W（m）t，I（m）t|, 在（G（It）P，1）|处，PH的作用a（m）由一个单点质量的简并分布模拟。（CR1）给定X（m）t，DM的作用a（m）是通过离散均匀分布和支持集模拟的（0，0）|，（G（It）P，1）|，（Wt，1）|如果I（m）t=0；和（0，0）|，（G（It）P，1）|，（Wt，1）|,否则（CR2）给定X（m）t，DM的动作a（m）是通过支持集的离散均匀分布模拟的（0，0）|，（G（It）P，1）|如果I（m）t=0；和（0，0）|，（G（It）P，1）|, 否则根据上述生成PH动作的规则，可以按照FSBU算法的步骤2.1和2.2以正向方式模拟状态过程；见第2.2节。（CR0）是Huang和Kwok（2016）在定价担保终身提取福利（一种特殊类型的可变年金政策）的背景下首次提出的。它初始化撤回att=1，并由此模拟状态变量I（m）t（对应其附带的动作后值SITI（m）t，a（m）t) 等于所有t=1，2，…，的固定值，T- 1尽管它（resp.，SIt（It，at）），在原则上，可以取{0，1，…，t中的任何值- 1} （分别为，{0，1，…，t}）。由此产生的一个令人烦恼的问题是，获得的价值函数/连续函数的估计值对于第一次提款时间是不变的，这是不合理的，因为之后PH初始化提款，她可以在剩余合同期限内享受更大的担保金额G（It）。（CR1）从其可行集（Xt）均匀模拟PH的作用；见等式（36）。因此，始终存在一些I（m）t=0的路径，对应于尚未初始化提取的场景。这反过来又保证了原则上I（m）t（resp.，SItI（m）t，a（m）t) 可以接受{0，1。

，t- 1} （分别为，{0，1，…，t}）。然而，这种策略也不令人满意：绝大多数路径被Wt=0的状态吸收，即投资账户的耗尽，并且投资账户的非常稀疏的样本点是正的。这在图9的顶部面板中以图形方式进行了说明，其中绘制了1000条样本路径，以便于演示。因此，不难预计回归估计的准确性在Kt，R上会严重受损。为了缓解上述严重问题，（CR2）在模拟PH的行动时，放弃了耗尽投资账户的策略，即（Wt，1）|。因此，模拟投资账户价值W（m）tcan的范围比相应的（CR1）范围更广；请参见图9的底部面板。从W（m）T的直方图可以更明显地看到这种现象-1图10收集了这些数据。然而，（CR2）在模拟I（m）方面的表现并不理想：图11显示，第一次提取时间I（m）的大部分样本点集中在它可以采用的前几个值中。为了理解症结所在，我们注意到，在第一个可能的退出日期，一半的样本路径显示了退出的开始；在剩下的路径中，有一半在连续的退出日期见证了退出。因此，正I（m）tD的部分随着t的增加以指数速率递减，这与图11一致。有鉴于此，可以预期，在状态x=（W，I）|和大I时，值函数的相应数值估计会存在显著误差。总体而言，上述规则（CR0）–（CR2）均未给出令人满意的性能。很难找到一种理想的方法来随机化PH的行动，从而避免上述棘手问题。

这表明，除了计算成本问题外，将控制随机化和前向模拟结合在一起还有一个缺点；另见第2.2节“控制随机化的限制”一项。为了避免上述恼人的问题，在后续的数值实验中，我们模拟了状态过程在每个时间步的后作用值，如下所示：X（m）t+：=W（m）t+，I（m）t+其中，W（m）t+和I（m）t+分别由两个独立的均匀分布模拟，分别具有支持集（0，R）和{0，1，…，t}。这确保了操作后的值均匀分布在kT上，R.0 1 2 3 4 5 6 7 8 9 10 11 120.0 0.6 1.2由CR1 Time latticeInvestment account0 1 2 3 4 5 6 6 7 8 9 10 11 120.0 0 0.6 1.2由CR2 Time latticeInvestment account生成的示例路径图9：由控制随机化方法（CR1）和（CR2）生成的投资帐户的示例路径。CR2CR102500075010000.0 0.5 1.0 0.0 0 0.5 1.0 T投资账户-1统计图10：W（m）T直方图-1由对照随机化方法（CR1）和（CR2）生成。010020003004005000 1 2 3 4 5 6 7 8 9 10首先-撤回-时间计数图11：由对照随机化方法（CR2）生成的I（m）直方图。5.3原始筛估计v.s.保形筛估计在续集中，我们进行了一些数值实验，以比较两种回归方法产生的连续函数的回归估计：原始筛估计（RSE）方法和保形筛估计（SPSE）方法。RSE和SPSE本质上是第3.3节中讨论的线性筛估计方法，分别使用筛空间（28）和（29）。很容易证明连续函数k7-→CEt（k）是单调的，因此在SPSE方法中会考虑此形状约束。附录A.1中给出了随附矩阵的表达式。

RSE方法等效于文献中常用的最小二乘法；例如，见Longstaff和Schwartz（2001）。本小节的目的是展示在LSMCalgorithm的回归步骤中加入形状约束的优势。在第一次数值实验中，我们比较了每个时间步的SPSE和RSE连续函数。为了比较的公平性，对于这两种方法，我们取φ（·）=φ(·), . . . , φJ（·）|在两种sieveestimation方法中，作为J=20阶的一元Bernstein多项式的向量。图12收集了回归估计图，作为k=0时kat-oddtime步骤的函数。为了更好地显示PSE和RSE得出的估计值之间的细微差异，将曲线图限制在区间[0，1]。从图12中，我们可以看到，伴随SPSE和RSE的回归估计之间的差异在较大的时间步长上并不明显，但随着时间步长的减小，差异变得更加显著。尽管continuationfunction原则上是关于k的单调函数，但图12中的虚线表明RSE产生的回归估计并没有继承这种单调性，因此失去了某些经济解释。如图12的底部面板所示，在较小的时间步长下，此问题更加严重。这并不奇怪，因为一旦在某个时间步失去了单调性，在连续时间步中获得的回归估计就会受到影响，这反过来又夸大了问题。相反，如图12中的实线所示，SPSE方法始终保持连续函数的单调性，因此相应的回归估计在经济上更为合理。

这显示了SPSE方法在保持连续函数的某些形状特性方面的第一个优势。接下来，我们实现BSBU算法，以计算X=（1，0）|的▄VE（X），其中分别使用PSE和RSE。这些估计值近似于VA政策开始时的无套利价格，因此在当前情况下最受关注；见第4.2节最后一段。值得注意的是，由于模拟样本的随机性，VE（X）是随机的；另见备注1。因此，我们重复BSBU算法40次，以研究在有限样本量下▄VE（X）的稳定性。表2总结了不同M和J对下VE（X）的平均和标准偏差。表中的“S.d.”列显示，SPSE的标准偏差几乎是所有数值设置下RSE的一半。对于表2的数值设置0-2，图13描绘了40个估计值的相应密度图。通过比较图13的左面板和右面板，我们可以很容易地看出，随着相应密度图的尖峰形状的增加，与PSE相关的数值估计的波动性较小。这一观察结果与表2一致。综上所述，SPSE在初始状态下得出的最优值函数数值估计的较小标准偏差方面优于RSE。从表2的设置0-2中，我们还观察到，对于这两种方法，随着基函数J的数量从15增加到25，数值估计的平均值变化不大。在表2的设置1、3和4中，我们确定J=20，并将模拟路径的数量从10增加到4×10。我们发现，随着模拟路径的数量增加，标准差减小。

图14所示的方框图也证实了这种下降趋势：随着模拟路径数量的增加，方框高度缩小。所有这些都表明0.5 100.20.40.60.81t=11SPSERSE0 0.5 100.20.40.60.81t=9SPSERSE0 0.5 100.20.40.60.81t=7SPSERSE0 0.5 100.20.40.60.81t=5SPSERSE0 0.5 100.20.40.60.81t=3SPSERSE0.5 100.20.40.60.81t=1SPSERSEFigure 12:k7的SPSE和RSE回归估计-→CEt（k，0）超过[0，1]。M=生成样本路径，使用J=20个基函数。BSBU算法，与第3.4节中建立的收敛结果一致。总的来说，SPSE相对于RSE的优势至少有两个方面。首先，PSE通过继承真连续函数的某些形状特性，产生经济合理的回归估计。其次，在有限数量的模拟样本路径下，与RSE方法相比，SPSE方法得出的最优值函数的相应估计的波动性较小。表2:SPSE和RSE方法产生的▄VE（X）的平均值和标准偏差。通过重复BSBU算法40次获得结果。设置（M，J）SPSE RSEMAIN S.d.平均S.d.0（1×10，15）0.9940 0.0040 1.0045 0.00911（1×10，20）0.9916 0.0035 1.0028 0.00702（1×10，25）0.9969 0.0031 1.0029 0.00563（2×10，20）0.9913 0.0025 1.0012 0.00584（4×10，20）0.9910 0.0015 0.9983 0.0034SPSE0.99 1.00 1.00 01 1.02 0.99 1.00 1.01 1.02036090120密度SPSERSEM=105，J=15SPSERSE0.98 0.99 1.00 1.01 0.98 0.99 1.00 1.0104080120密度SPSERSEM=105，J=20SPSERSE0.99 1.00 1.01 0.99 1.00 1.0104080120密度SPSERSEM=105，J=25图13：在BSBU算法的40次重复下，由SPSE和RSE方法生成的￠VE（X）密度图。