控制点改变的脉冲

对于（2.17）中的所有累积奖励函数h（·）、所有脉冲控制成本c（·）和所有终端奖励函数ξ（·），决策者需要监控的“有效统计”保持不变。命题3.2（操作优化的迭代程序）适用于任何可测函数f:Q→ R、 定义映射M by（Mf）（t，y）：=supz∈R{f（t，Γ（y，z））+β（t，y，z）}，对于所有（t，y）∈ Q.（3.56）对于每k=1,2，··，N，迭代定义F-停止时间τ*k:=infτ*K-1<t≤ T | vN-k+1（t，Y（t））≤ MvN-k（t，Y（t））, （3.57）确信τ*= 0.假设上级∈R{vN-k+1（t，Γ（y，z））+β（t，y，z）}- 越南-k（t，y）（3.58）可通过实数zk（t，y）获得，并定义F（τ*K-)-可测随机变量ζ*k:=zk（τ）*k、 Y（τ）*K-)) , （3.59）对于每k=1，2，··，N，则（2.17）和（3.1）中的上界通过脉冲控制{τ*k、 ζ*k} 此外，最大期望报酬sv=vN（0，Y（0））和V=ξ（x）+vN（0，Y（0））。备注3.1 20世纪70年代，当Bensoussan和Lions最初制定冲动控制问题时，他们的干预次数N=∞. N是有限的还是有限的，没有根本区别，只是系数和容许控制集的技术条件略有不同，才能得出值函数的位置、连续性甚至可微性等性质。Bensoussan和Lions在[6]的定理4中指出，N次干预的值函数与N次干预的值函数共同收敛，如下所示：→ ∞.

将本文中的结果扩展到N=∞ 指技术假设中的mod i f。4具有漂移不确定性的几何布朗运动在这一部分中，我们讨论了如何逼近最佳停止时间分布p（τ）*我∈ （t，t+dt]），这要归功于蒙特卡罗模拟，并将结果用于构建阅读策略。因此，我们首先在第4.1节中介绍实施第3.1节和第3.2节理论设置的示例。然后，我们在第4.2节中提出了一种基于Longstaff-Schwartz算法的方法来模拟最佳停车时间{τ*i} i=1，。。。，n家庭。在第4.3节中，我们提供了一个简单的静态交易策略，可以测试模拟结果。4.1设置问题为了说明模型（2.16），我们将几何布朗运动作为一个常见的简单例子进行讨论。参数θ（·）是初始值为u的drif t。随机变量U具有先验分布U=（u，概率p；u，概率p=1- p（4.1）和ρ具有指数λ先验分布，如（2.4）所示。（2.16）中的微分X（·）是几何布朗运动（dX（t）=X（t）θ（t）dt+X（t）σdW（t）；X（0）=X.（4.2）在本例中，波动率σ是一个确定的正数。初始值为u的参数θ（·）是几何布朗运动的百分比漂移。假设X（·）是某一股票的价格过程，且利率为零，没有交易成本，也没有价格影响。仅观察价格演变，一个最优交易问题是找到两个停止时间乘以0≤ τ*≤ τ*≤ T在S中，以实现pτ和τ的上确界∈S、 τ≤τE[X（τ）- X（τ）]。（4.3）就收到的资金而言，价值（4.3）是该股票首次买入，然后卖出的最佳平均收益。

比较SDEs（4.2）和（2.16），以及目标（2.17）和（4.3），我们试图用γ（·，·）=0，h（·）=0和ξ（·）=0来解决脉冲控制问题。我们应该设置c（x，z）=zxf或x∈ Rnand z∈ R、 ζ=-ζ=1，N=2。为了考虑交易成本和价格影响，只需修改函数c（·，·）和γ（·，·）。对于几何布朗运动的例子，我们可以计算得到似然比过程sl（t；u）=expU-uσTX（t）Xu/σ，0≤ T≤ T.（4.4）（3.5）中定义的过程R（·；u）可以写成R（T；u）=Ztλexpu- U-u- uσ- λsX（s）X(u-u） /σds，0≤ T≤ T、 （4.5）美国∈ Θ. 通过使用l（t；u）在X（t）方面的替代表达式，可以降低变量不等式的维数。替换lj=expuj-ujσTxxuj/σ，γ（·，·）=0，h（·）=0，ξ（·）=0和c（x，z）=zx在（3.21）和（3.22）中定义的两个函数中，我们得到α（t，x，l，r）=0，（4.6）β（t，x，l，r，z）=zXj=1pjexpuj-ujσTx1+uj/σxuj/σrj+expu-uσT- λtx1+u/σxu/σ=:β（t，x，r，z）。（4.7）在测度P下，（4.3）中的上确界为τ和τ∈S、 τ≤τE[X（τ）- X（τ）]=supτ和τ∈S、 τ≤τEβ（τ，X（τ），R（τ），1）+β（τ，X（τ），R（τ），-1).（4.8）存在确定性可测函数“vand”v:[0，T]×（0，∞ ) × [0, ∞),使得v（t，X（t），R（t））=supτ∈StEβ（τ，X（τ），R（τ），1）| F（t）;v（t，X（t），R（t））=supτ∈StEβ（τ，X（τ），R（τ），-1） +v（τ，X（τ），R（τ））|F（t）.（4.9）双向交易ISUP的最佳值（τ，τ）∈Sτ≤τE[X（τ）- X（τ）＝v（0，X（0），0）。

（4.10）4.2[27]中提出的多个最优停止时间的Longstaff-Schwartz算法为美式期权定价，Longstaff-Schwartz程序由Cl＠ement、Lamberton和Protter（2002）在[9]中严格制定，使用停止时间代替动态规划算法的值函数。该方法还涉及条件期望的回归近似和停止时间取值区间的离散化。[9]研究了每个近似步骤的收敛性，我们的目标是将该算法用于多重最优停止问题。Tsitsiklis和Van Roy（2001）在[35]中也应用了这种方法，Gobet、Lemor和Warin（2005）在[15]中将条件预测的回归近似推广到了BSDEs（向后随机微分方程）。回归近似通常使用一个回归向量来表示整个轨迹集，然后将其视为一种全局方法。因此，其他作者基于Malliavin演算a sin[1,8]或[2]中的量化方法，使用了更多条件期望的局部近似。为了保持算法的简单性，我们采用了单项回归方法。然而，我们必须记住，在一些问题中，尤其是当维度变高（超过两个资产）时，条件表达式的良好近似是一个关键因素。要继续，我们首先需要以S为单位接近停车时间，停车时间取值在有限集0=t<t<…<tn=T。

然后，可以将（4.9）的计算简化为两个动态规划算法的实现，我们用每条路径的最佳停车时间τ和τk表示，如下τn=t，k∈ {n- 1.1} ，τk=tkA1k+τk+1Ac1k，（4.11）τn=T，对于k∈ {n- 1.1} ，τk=tkA2k+τk∧ τk+1Ac2k（4.12），表示已知F（tk）的条件期望，集合a1k和a2k由a1k给出=β（tk，X（tk），R（tk），1）>Etk[\'v（tk+1，X（tk+1），R（tk+1））];A2k=β（tk，X（tk），R（tk），-1） +v（tk，X（tk），R（tk））>Etk[\'v（tk+1，X（tk+1），R（tk+1））].虽然在Pis下对X的模拟很简单，但对R的模拟是通过[25]孔选项中应用的时间积分的梯形近似实现的。对于i=1，2，计算Etk[\'vi（tk+1，X（tk+1），R（tk+1））]仍然需要时间。利用引理3.4中建立的马尔可夫性质，根据F（tk）的条件期望可以被根据toY（tk）=（X（tk），R（tk）的条件期望所取代。在我们的应用中，后一个量将通过单项式族g（Y（tk））=（1，X（tk），R（tk，u），R（tk，u）的回归来近似。形式上，对于辅助函数fi（·）=vi（tk，·，·），i=1，2E（fi（Y（tk+1））|Y（tk））≈ 人工智能。g（Y（tk））。（4.13）矢量目标使二次误差最小化fi（Y（tk+1））- 人工智能。g（Y（tk））L（4.14），因此等于toAi=ψ-1E（fi（Y（tk+1））g（Y（tk）），（4.15），其中矩阵ψ=E（g（Y（tk））gt（Y（tk）），并且是转置运算。因此，在每个时间步，矩阵反演（4.15）可以通过[31]中解释的奇异值分解（SVD）来实现，期望值通过算术平均值（fi（Y（tk+1））g（Y（tk））来近似≈MMXl=1fi（Yl（tk+1））g（Yl（tk）），Eg（Ytk）gt（Ytk）≈MMXl=1g（Yl（tk））gt（Yl（tk））。M是模拟轨迹的数量。

然后，使用（4.12）v（0，X（0），0）中已知的τ≈ 马xE\'v（τ，X（τ），R（τ））, 0（4.16）是（4.10）的近似值。此外，对于i=1，2，我们得到近似值p（τ*我∈ （tk，tk+1]）≈ P（τi=tk+1）。（4.17）最后，我们应该指出，建议的程序可以推广到两个以上的最佳停止时间。对于一个最佳停止时间，可采用与[9]中所述相同的方法建立整体算法的收敛性。此外，读者不应认为我们只考虑了确定性情况ζ=-ζ=1，N=2。事实上，我们可以提出上述算法的随机版本，其中包括ζ上的优化，然而我们这里的目的只是给出一个简单案例的说明。作为未来的工作，我们将研究基于上述多重最优停止时间算法的更通用的脉冲控制方法的收敛性。4.3基于P（τ）的交易策略*我∈ （t，t+dt]）为了展示这种交易策略，我们首先需要改变概率测度，并返回到P，这要归功于（2.13）和使用（2.12）对Z（t）的模拟。对于i=1，2，我们得到近似值p（τ*我∈ （tk，tk+1]）≈ EZ（tk+1）1τi=tk+1. （4.18）现在，让我们假设我们不仅可以买卖一只股票，而且可以买卖更大的数量≥ 1.股票。因此，可以使用近似值Q sup（τ，τ）∈Sτ≤τE[X（τ）- X（τ）]≈ q最大值E\'v（τ，X（τ），R（τ））, 0. （4.19）使用（4.19）中获得的值，我们在第一阶段决定交易是否有趣。事实上，如果这个价值“不够”大，那么承担亏损的交易风险是不值得的。在这个一维的例子中，只有当X的漂移更积极而不是消极时，人们才应该投资X。

此外，如果我们对预期的利润感到满意，我们可以在k=0的现货价格X（tk+1）上建立以下静态交易策略。。。，N- 1：收到的钱是isMr*k+1=Mr*k+q[P（τ）*∈ （tk，tk+1]）- P（τ）*∈ （tk，tk+1）X（tk+1），Mr*= 0.（4.20）Mr*不能接受负值，这意味着我们正在购买库存。我们将比较Mr*nto MRN其中Mrk+1由Mrk+1=Mrk+q定义Pk+1- Pk+1X（tk+1），Mr=0。（4.21）和数量Pk+1，Pk+1由于k=0。。。，N- 1Pk+1~ U（0,1- 主键+1），主键+1~ U（0，Sk+1），Pn=Sn，Sk+1=Sk- Pk，Sk+1=Sk+1+Pk+1，S=0（4.22），其中U（0，x）是[0，x]上的统一规则。因此，我们将比较静态交易策略（4.18）（4.20）和（4.21）（4.22）中规定的一些策略所赚的钱。在概率P下，我们对大量新模拟的X射线进行比较（稍后给出）。在下文中，我们表示相应的YGMR*NANDFMRNMR的平均值*和Mr表示X的多个模拟区域。我们也用Mr表示*nand Mr分别为Mr的最大值*nand Mrnon模拟了X的轨迹。虽然我们测试了大量模型参数的算法，但我们在这里给出的结果仅与一个值的选择有关。我们建议读者访问第一作者网页，下载算法的C++代码，以便使用其他参数值进行测试。图1、图2和图3涉及以下选择：Longsta-Schwartz算法的模拟轨迹数M=2，图1：与Msa相关的MRNA直方图=2轨道策略。静态优化策略提供了GMR*n=6.17。图2：与Msa=2随机策略相关的MRNA直方图。

静态最优策略提供了*n=51.98.0 2.5K 5K 7.5K 10K24681012图3:GMR的演变*n根据模拟轨迹的数量n=10，T=1，u=u=0.1，u=-0.1 p=0.5，σ=0.2，λ=1，x=1，q=100。使用Mnew=2 X演化的新场景，我们在图1和图2中比较了Msa=任意策略产生的平均利润和最大利润与静态最优策略产生的利润。在图1中，优化策略优于所有任意策略，这证明了第4.2节中实施的方法的有效性。此外，根据图2，即使最优策略提供的最大收益也是最好的。在图3中，我们展示了最优策略的稳定性，即使是在少数情况下，它也能使每一项收益的平均值达到r~ 20 0.为了结束本节，尽管可以使用P（τ）的近似值建立更详细的交易策略*我∈ （t，t+dt]），我们在本节中提供的方法使我们能够展示Longsta-Schwartz算法对于多个最佳停车时间的效率。5讨论在第5.1节中，我们讨论如何将测量方法的变化扩展到多维情况。在第5.2节中，我们简要介绍了后验概率方法，并解释了为什么难以应用于多维部分观测控制问题。5.1多维状态过程的度量变更方法第3节中提出的度量变更方法可以扩展到第2.1节中的差异是多维的情况，主要是通过将标量的符号替换为矩阵的符号。

本小节将给出公式的多维版本，其修改不是很简单。假设方程（2.9）中的扩散X（·）变成一个（d×1）维过程，由一个（d×1）维布朗运动W（·）驱动，且分量独立。相应地，系数应根据维度进行修改。对于任何可能的值u∈ 漂移b（·，·；u）：[0，T]×Rd→ Rdi是一个映射，以Rd和波动率σ（·，·）：[0，T]×Rd表示→ Rd×dis a（d×d）-矩阵值映射。让| |·| |表示欧几里德范数。假设2.1被假设5.1取代。假设5.1重新存在一个常数C>0，这样（i）对于所有（t，x），（t，x）∈ [0，T]×Rd，以及所有∈ Θ，我们有| | b（t，x；u）- b（t，x；u）| |+| |σ（t，x）- σ（t，x）||+b（t，x；u）σ（t，x）-b（t，x；u）σ（t，x）≤ C | | x- x | |；（5.1）（ii）所有（t，x）∈ [0，T]×rdu和所有u∈ 矩阵σ（t，x）是可逆的，且b（t，x；u）σ（t，x）≤ C（5.2）奖励函数ξ和h:Rd→ R、 以及干预的影响γ和干预的回报c:Rd×R→ R、 满足假设5.2而不是假设2.2。假设5.2（i）函数ξ（·）是两次连续可微分的，一阶和二阶导数表示为xiξ（·）和xixjξ（·），对于i，j=1，···，d.（ii）函数h（·），ξ（·），xiξ（·）和xixjξ（·）是局部Lipschitz且具有多项式增长，对于i，j=1，···，d.（iii）函数γ（x，z）对所有x是有界的∈ RDZ∈ R、 函数c（x，z）在x上有多项式增长率∈ RDZ对所有人都是一致的∈ R

对于任意固定的z，函数γ（x，z）和c（x，z）在x中是连续的∈ R.为了在物理度量P和参考概率度量ep之间进行改变，似然比过程（2.11）被l（t；u）=exp代替Ztσ-1（s，X（s））b（s，X（s）；u）东区西区(s)-Ztσ-1（s，X（s））b（s，X（s）；u）ds, 0≤ T≤ T（5.3）这里是转置运算符。然后，通过与第3.1节相同的推导，我们在参考概率测量下讨论脉冲控制问题（3.35）。允许 表示函数的梯度算子。（3.35）中的奖励函数α和β定义为α（t，x，l，r）：=mXj=1pjljrj+e，而不是等式（3.21）和（3.22）-λtl！h（x）+dXi，j=1σσti、 j（t，x）xixjξ（x）+(ξ） （x）mXj=1pjljrjb（t，x；uj）+e-λtlb（t，x；u）！，（5.4）和β（t，x，l，r，z）：=mXj=1pjljrj+e-λtl！ξ（x+γ（x，z））- ξ（x）+(ξ） （x）γ（x，z）+c（x，z）！。（5.5）用多维X（·）过程解决脉冲控制问题（3.35）的方法将遵循与第3.2.5.2节“通过后验概率进行部分观测控制”完全相同的步骤。将部分观测控制问题简化为完全观测控制问题的传统方法是通过后验概率过程∏i（t）：=P（θ（t）增加状态过程X（·）对于本研究[1.5]和[1.6]第[1.6]章中的概率[1.2]和[1.6]中的概率[1.6]的期望值[1.2]和[1.6]中的概率[1.2]和[1.6]的概率[1.2]的期望值。在本小节中，我们将首先概述如何通过后验概率法和技术假设来解决一维问题，然后简要探讨这两种方法之间的关系。定义函数b:[0，T]×R×[0，1]m+1→ R、 （t，x，π）7→由b（t，x，π）：=mPi=0πib（t，x；ui）。