隐马尔可夫切换模型中的红利最大化

函数w:“”Ohm → R是（11）的粘度上解，如果（L- δ） ψ（\'x，\'p）+supu∈[0，K]（u（1）- ψx（\'x，\'p）））≤ 0表示所有（\'x，\'p）∈ Ohm 尽管如此，ψ∈ C(Ohm) 以至于-ψ在（\'x，\'p）处达到最小值，w（\'x，\'p）=ψ（\'x，\'p）。w:\'Ohm → R是（11）的粘性解，如果它既是粘性子解又是粘性上解。粘度解的基本思想是通过平滑测试函数从下到上估计函数。有关粘度溶液的详细信息，请参见Fleming and Soner[15]或Crandall等人[11]。下面的定理说明了优化问题的解和HJB方程的弱解之间的联系。定理3.4。最优值函数V是（11）的粘性解，带有边界条件（12）和（13）。证据我们必须证明最优值函数V是一个粘性上下解，参见[28，定理证明5.1]。粘性上解：Letψ∈ C(Ohm), ψ ≤ V和（\'x，\'p），使得V（\'x，\'p）=ψ（\'x，\'p）。设η>0。应用动态规划原理，我们得到ψ（\'x，\'p）=V（\'x，\'p）=supu∈AE\'x，\'pZτ∧ηe-δtutdt+e-δ(τ∧η） V（Xτ）∧η, Πτ∧η)≥ E\'x，\'pu1- E-δ(τ∧η） δ+e-δ(τ∧η） ψ（Xτ）∧η, Πτ∧η)对于任何固定的u∈ [0，K]。现在我们把它的公式应用于ψ，注意随机积分是鞅，除以η和letη→ 0.这个产量0≥ U-Δψ（\'x，\'p）+Lψ（\'x，\'p）- uψx（\'x，\'p）。因为u是任意的，所以0≥ （L）-δ） ψ（\'x，\'p）+supu∈[0，K]（u（1）- ψx（\'x，\'p）））。因此，V是粘性上解。粘度亚粘度：Letφ∈ C(Ohm), φ ≥ V和（\'x，\'p），使得φ（\'x，\'p）=V（\'x，\'p）。对于ε>0，设η>0和uε，η是动态规划原理第一部分的εη-最优股利政策，并将uε，η的曲线表示为Xε，η。

然后φ（\'x，\'p）-εη=V（\'x，\'p）-εη≤ E\'x，\'pZτ∧ηe-δtuε，ηtdt+e-δ(τ∧η） V（Xε，ητ）∧η, Πτ∧η)≤ E\'x，\'pZτ∧ηe-δtuε，ηtdt+e-δ(τ∧η） φ（Xε，ητ）∧η, Πτ∧η)= E\'x，\'pZτ∧ηe-δtuε，ηtdt+e-δ(τ∧η)φ（\'x，\'p）+Zτ∧ηLφdt-Zτ∧ηφxuε，ηtdt≤ E\'x，\'pZτ∧ηe-δt^uε，ηtdt+e-δ(τ∧η)φ（\'x，\'p）+Zτ∧ηLφdt-Zτ∧ηφx^uε，ηtdt+εη，其中^uε，η在t中是连续的，在[0，K]中有值，并且在L中近似于uε，η（[0，η），λ）。此外，我们应用了Dit^o的公式，并使用随机积分是鞅。重新排列不等式并除以η得到-ε ≤ E\'x，\'pE-δ(τ∧η)- 1ηφ（\'x，\'p）+e-δ(τ∧η） ηZτ∧ηLφdt+ηZτ∧ηE-δt- E-δ(τ∧η） φx^uε，ηtdt.现在我们应用中值定理：-ε ≤ E\'x，\'pE-δ(τ∧η)- 1ηφ（\'x，\'p）+e-δ(τ∧η） ηZτ∧ηLφdt+τ∧ ηηE-δξ- E-δ(τ∧η） φx^uε，ηξ,让η→ 0沿着一个序列：-ε ≤ （L）-δ） φ（\'x，\'p）+lim supη→0E\'x，\'pτ ∧ ηηE-δξ- E-δ(τ∧η） φx^uε，ηξ.法图引理→0E\'x，\'pτ ∧ ηηE-δξ- E-δ(τ∧η） φx^uε，ηξ≤ E\'x，\'plim supη→0τ ∧ ηηE-δξ- E-δ(τ∧η） φx^uε，ηξ= E\'x，\'p(1 - φx（\'x，\'p））lim supη→0^uε，ηξ{1-φx（\'x，\'p）≥0}+lim infη→0^uε，ηξ{1-φx（\'x，\'p）<0}= ~u（\'x，\'p）（1）- φx（\'x，\'p）），其中u（\'x，\'p）=lim supη→0^uε，ηξ{1-φx（\'x，\'p）≥0}+lim infη→0^uε，ηξ{1-φx（\'x，\'p）<0}. 由于ε>0是任意的- δ） φ（\'x，\'p）+u（\'x，\'p）（1）- φx（\'x，\'p））≥ 0 .自)u（\'x，\'p）（1）- φx（\'x，\'p））≤ 苏普∈[0，K]u（1）- φx（\'x，\'p）），我们得到（L）- δ） φ（\'x，\'p）+supu∈[0，K]u（1）- φx（\'x，\'p））≥ 0 .因此，V也是一种粘度亚粘度。总之，V是一个粘性溶液。现在仍需证明其独特性。为此，我们必须证明一个弱极大值原理，在标准证明中，这一原理的结果是，如果两个粘性解在边界上相等，那么它们在域的内部也相等。

然而，如上所述，我们在p方向没有可用的边界条件。但是Lions[30]表明，如果潜在的随机过程没有以正概率到达域边界的某些部分，那么由于这些部分无论如何都没有到达，研究可以局限于内部和边界的相关部分。定理3.5（比较）。设（11）的wand-wbe有界连续粘性解。如果w≤ wonΓ+和limx→∞（w）- w） （x，p）≤ p为0，w为0≤ 赢了Ohm.证据定义τ：=inf{t≥ 0 |（Xt，∏t）∈ Ohm}. 我们需要检查P（τ<∞, （Xτ，πτ）∈ Γ-) = 0.从[10，推论2.2]我们知道，Wonham过滤器永远不会到达边界。因此，上述概率确实为零。因此，我们可以应用[30，推论II.1]，这证明了这一说法。（11）的解的唯一性现在是一个推论。推论3.6。最优值函数V是（11）的唯一有界粘性解Ohm ∪ Γ+带边界条件（12）和（13）。下面的定理表明，我们的分析表征包括HJB方程的光滑解。此外，可以得出结论，如果有一个红利政策导致一个光滑的值函数，在粘性意义下解HJB方程，那么这个政策是最优的。定理3.7。设w是（11）的粘性上解，有边界条件（12）和（13），w∈ 几乎到处都是。然后V≤ w、 证据。该证明与[28，定理5.3的证明]的思路相同。我们首先用aGauss-Weierstrass核函数卷积w。由于符号的模糊性，我们注意到这里半径为1的圆的面积用π表示。设φ（x，p）：=πMe-（x+PM）-1i=1pi）和φn（x，p）：=nMZ∞-∞Z∞-∞. . .Z∞-∞w（x）- s、 （p- T项目经理-1.- 商标-1） ）（北半球，新界）北半球。dtM-1对于n∈ N、 式中，nt=（nt，…，ntM）-1).

很明显，因为→ ∞, ~nn→ w和L k n→ Lw，见Wheeden和Zygmund【42】。对于容许策略u=（ut）t≥0和T>0，e-δ（T∧τ）~nn（XT）∧τ、 πT∧τ） =νn（x，p）+ZT∧τe-δtd~nn（Xt，πt）+ZT∧τ~nn（Xt，πt）d（e）-δt）=~nn（x，p）+ZT∧τe-δt[-Δ~nn（Xt，πt）+L~nn（Xt，πt）- ut~nnx（Xt，πt）]dt+Mt，其中M=（Mt）t≥0是一个鞅。因此，Ex，pE-δ（T∧τ）~nn（XT）∧τ、 πT∧τ)= νn（x，p）+Ex，pZT∧τe-δt[-Δ~nn（Xt，πt）+L~nn（Xt，πt）- ut~nnx（Xt，πt）]dt！。请注意，w full fill-δw+Lw+（1）-wx）u≤ 因此，对于ε>0，我们可以选择足够大的n，以便-Δ~nn+L k n+（1）- ~nnx）u≤ ε和henceL~nn≤ Δ~nn- (1 - νnx）u+ε。因此，Ex，pE-δ（T∧τ）~nn（XT）∧τ、 πT∧τ)≤ νn（x，p）+Ex，pZT∧τe-δt[-Δ~nn（Xt，πt）+Δ~nn（Xt，πt）- (1 - νnx（Xt，πt））ut+ε- ut~nnx（Xt，πt）]dt！=~nn（x，p）- 例如，pZT∧τe-δtudt- εZT∧τe-δtdt！。通过控制收敛，我们得到了n→ ∞前，pE-δ（T∧τ）w（XT）∧τ、 πT∧τ)≤ w（x，p）- 例如，pZT∧τe-δtudt- εZT∧τe-δtdt！。由于ε是任意的，Ex，pE-δ（T∧τ）w（XT）∧τ、 πT∧τ)≤ w（x，p）- 例如，pZT∧τe-δtudt！，亨塞克斯，pE-δ（T∧τ）w（XT）∧τ、 πT∧τ)+ 例如，pZT∧τe-该死！≤ w（x，p）。既然w是有界的，我们就有了极限→∞前，pE-δ（T∧τ）w（XT）∧τ、 πT∧τ)= 因此，通过有界收敛，J（u）（x，p）=Ex，pZτe-δtudt= 极限→∞Ex，pZτ∧Te-该死！≤ w（x，p）。因为对于每一个u，w通过对所有u取上确界来控制最优值函数∈ [0，K]在微分中，我们得到V（x，p）≤ w（x，p）。备注3.8。如果有一个策略u∈ A使得J（~u）是具有J（~u）的粘性上解∈ 那么根据定理3.7，J（~u）=V是问题的经典解，~u是最优策略。4数值在本节中，我们首先模拟马尔可夫链Y的路径和Wonham过滤器的路径，以了解其行为。然后，我们描述了一个计算V近似值和最优分割策略的数值过程。我们将把数值分析限制在M=2的情况下。

为了更好地理解数值结果，我们转换状态过程并考虑（Xt，νt）t≥0，式中νt=π（t）+u（1- π（t）），以及相应的转换HJB方程，而不是考虑（Xt，π（t））t≥0.为了模拟Wonham过滤器的路径，我们需要用Z表示W。表示形式如下（7）：dWt=dZt-νtdtσ。用这个和等式（4）和（5）我们得到dνt=q（νt）- u）+q（u）- νt）-（νt）- u)(u- νt）νtσdt+（νt）- u)(u- νt）σdZt，（14）ν=：ν=u+p（u- u) . （15） 现在我们模拟布朗运动B的增量为√英国电信，英国电信在哪里~ N（0，1）。此外，我们还模拟了马尔可夫链y的一条路径y，并计算了dzt+t=u（yt）t+σ√t bt。利用这个和等式（14），我们准备好计算估计器dνt的路径+t=q（νt）- u）+q（u）- νt）-（νt）- u)(u- νt）νtσt+（νt）- u)(u- νt）σdzt+t通过应用Euler Maruyama方案。图1显示了由潜在马尔可夫链及其估计器控制的非受控过程的漂移路径。我们看到，估计量总是需要一些时间来注意漂移的变化，并且只适应其较低的漂移，但这显然取决于Q的选择。此外，我们看到估计量确实没有达到边界。图1：漂移（蓝色）的Wonham滤波器估计值（红色）。现在我们要数值求解HJB方程。转换后的HJB方程为（~L- δ） V+supu∈[0，K]（u（1）- Vx）=0，（16），式中LV=νVx+（q（u- υ） +q（ν）- u）Vν+（u）- υ)(υ - u）Vxν+2σ（u）- υ)(υ - u）Vνν+σVxx。为了数值求解这个偏微分方程，我们首先引入一个基于[17]中HJB方程思想的近似，以确保格式的收敛性。

定义（u），t=x+Zt（ν）s- us）ds+σWt，νt=ν+Zt（q（ν）s- u）+q（u）- νs） ）ds+Zt（νs- u)(u- νs） σdWs+2Ztp“(νs） dfWs，（17）和τ= inf{t≥ 0 | X（u），T≤ 0}.fW=（fWt）t≥0是独立于W的布朗运动，和 是一个有界、有界导数且在u、u和‘’处消失的光滑函数(υ) =  on（u+ζ，u）-ζ） 对于一些小的ζ>0。此外，用J（u）表示，, 五、与近似基础系统（17）相关的值函数和最优值函数。这在近似Ehjb方程中引入了另一个二阶项（~L+）五、υυ- δ） 五+ 苏普∈[0，K]（u（1）- 五、x） ）=0。（18） 与[17]中的近似值不同的是，这里我们不使用附加项来正则化我们的HJB方程，而只是使用它来确保方案在计算域内部的正性。然而，请注意，本文中最优值函数的分析表征不需要正则化。下面的定理说明解仍然收敛到最优值函数。定理4.1。让V成为（18）的解决方案。然后林→0千伏- Vk=0。证据我们证明，对于每个值函数J（u），结果都成立，→ J（u）。由此我们可以得出结论，该结果也适用于V，见[17，推论7.4]。让J（u），,T、 J（u），T使相应的值函数在时间0<T<∞. 我们有→0kJ（u），（x，ν）-J（u）（x，ν）k=lim→极限→∞kJ（u），- J（u）k=lim→极限→∞kJ（u），- J（u），,T+J（u），,T- J（u），T+J（u），T- J（u）k≤ 林→极限→∞kJ（u），- J（u），,Tk+kJ（u），,T- J（u），Tk+kJ（u），T- J（u）k= 林→极限→∞kJ（u），- J（u），,Tk+lim→极限→∞kJ（u），,T- J（u），Tk+lim→极限→∞kJ（u），T- J（u）k，其中我们跳过了计算中的参数，并使用了除一行之外的所有项都是有界的，因为由于引理3.1，最优值函数是有界的。

现在我们证明所有的项都趋向于0。林→极限→∞kJ（u），T- J（u）k=lim→极限→∞Ex，ΓZτ∧Te-该死！- 呃Zτe-δtudt≤Kδlim→极限→∞呃E-δτ- E-δ(τ∧（T）,利用最后一项是有界的，我们得到→极限→∞kJ（u），T- J（u）k≤Kδlim→0呃极限→∞E-δτ- E-δ(τ∧（T）= 0 .类似地，我们得到lim→极限→∞kJ（u），- J（u），,Tk=0。上学期我们得到了→极限→∞kJ（u），,T- J（u），Tk=lim→极限→∞Ex，ΓZτ∧Te-该死！- Ex，ΓZτ∧Te-该死！= 林→极限→∞Ex，ΓZ（τ）∨τ)∧Tτ∧τ∧Te-该死！≤Kδlim→极限→∞呃E-δ(τ∧τ∧（T）- E-δ((τ∨τ)∧（T）=KδlimT→∞呃林→0E-δ(τ∧τ∧（T）- E-δ((τ∨τ)∧（T）,我们在最后一行使用了这个词的有界性。现在仍然需要证明τ→ τ . 证明这一点sup0≤T≤TkνT- νtk→→00和Esup0≤T≤TkX（u），T- X（u）tk→→00沿着[17，引理证明7.2]中相同的线运行。从X（u）开始，→ X（u）u.c.p.我们有一个子序列（k） ，X（u），（k）→ X（u）u.c.a.s.，因此也是τ（k）→ τa.s.因此lim→极限→∞kJ（u），,T-J（u），Tk=0，这将关闭证明。现在我们准备用数值方法求解（18）。首先，我们必须限制我们的计算域，并因此选择足够大的数字H，以将值函数的域近似为[0，H]×[u，u]。为了计算问题的近似结果，我们使用策略迭代。最初，我们使用阈值类型的分红策略，因为这样的策略可以用完整的信息解决问题，因此在我们的情况下也是很好的候选策略。作为初始阈值水平，我们使用阈值水平的凸组合，这些阈值水平与Sotomayor和Cadenillas[40]提供的完整信息一起解决问题，因为我们预计它接近问题的正确解决方案：b（Γ）：=u-υu-u′b+ν-uu-u\'b，其中\'b\'，b分别用状态1和状态2的完整信息记录案例中的阈值水平。

初始策略由u（0）（x，Γ）=K1{x给出≥b（γ）}（x，γ）。请注意，我们用于计算的网格是这样生成的，即在b（u）和b（u）之间，有更多可用的网格点。有关网格生成的更多详细信息，请参阅[28]。现在，我们迭代地应用以下步骤：o对于给定的策略u（k），通过求解（~LG）来计算V（k）- δ） V+“”DGаV+u（k）（1）- DGxV）=0，（19），其中lg是用有限差分替换微分算子的算子L，DGxis是关于x的微分的有限差分近似值，DG~n是用二阶导数w.r.t.代替的有限差分算子选择下一次迭代u（k+1）使u（1）最大化- DGxV（k））。因此u（k+1）（x，γ）=K1{DGxV（k）（x，γ）≤1}.在我们的实验中，迭代在6步后停止，因为u（6）≈ u（5）。构造有限差分法背后的想法是基于这样一个事实，即在离散化设置中，扩散由局部保留原始过程属性的马尔可夫链近似（参见[26，p.67]）。“附加术语” 需要确保方案的积极性，从而获得其马尔科夫链解释。相应的收敛结果见[25,26]和[15，第九章]。[15，p.324]中指出，策略迭代收敛，产生值函数和相关策略。数值结果我们计算了参数集σ=1，u=2，u=1，δ=0.5，-q=0.25、q=0.5、B=10和K∈ {0.2, 0.3, 0.67, 1.8}. 结果证明，生成的策略是阈值策略，其阈值水平取决于u的估计值。

图2显示了产生的阈值水平，并将其与阈值水平进行了比较，阈值水平是股息最大化问题的结果，具有恒定且不可观察的漂移，即Q≡ 0，这在[28]中进行了研究。有趣的是，在本文所研究的情况下，当K=0.67时，阈值水平下降到Γ，而在贝叶斯情况下，阈值水平上升。但请注意，对于这个参数选择，两条曲线都相当模糊。以下是一些参数集的阈值水平上升，而其他参数集的阈值水平下降这一事实背后的直觉。通常情况下，水平会下降，因为在较好的状态下，公司可以提前支付股息，因为它会因为较高的漂移而从中恢复。然而，对于较低的Γ值，波动性更为有效，因此，如果K无论如何都很小，那么即使对于较低的x值，也最好支付股息，因为波动性可能会导致早期破产。然后，随着Γ的增长，它变得比波动性更有效，因此很快就不再期望破产，该策略是为寿命更长的公司设计的，以获得更高的Γ值。有趣的是，对于漂移较低状态下的所有四个参数集，在马尔可夫切换情况下比在贝叶斯情况下更谨慎地支付红利，而在漂移较高的状态下则相反。对此的一种解释是，因为在马尔可夫转换的情况下，经济有可能变得更好，所以如果Γ很小，并以较高的Γ值支付股息，等待是更好的策略。因此，漂移较低的状态是储蓄状态，而另一个状态是支出状态。

在贝叶斯情况下，漂移不会改变，因此情况更加平衡。图3显示了对应于K=1.8的值函数（但它们看起来非常相似）。图3表明，最优值函数是光滑的，但证明光滑性——由于HJB方程的退化性，这是高度非标准的——超出了本文的范围。图2：不同参数集（蓝色）的结果阈值水平与贝叶斯案例（红色虚线）的阈值水平相比。图4将结果值函数与贝叶斯案例中的值函数进行了比较。我们观察到，对于较小的漂移估计，切换情况下的值较高，对于较高的漂移估计，贝叶斯情况下的值较高。这是由于这样一个事实，即如果在贝叶斯情况下预计会出现高漂移，那么漂移实际上很可能是高的，而在本文研究的情况下，漂移可能会变得更糟。对于漂移的一个小估计，正好相反。一个更有趣的研究案例是高股息边界K。图5表明，对于不断增长的参数K，股息政策收敛到我们预期的无边界股息支付情况下的最佳屏障水平。在未来的研究中，将有兴趣研究具有无界分割的奇异控制问题。在全信息条件下，马尔可夫切换模型的阈值策略的可容许性Sotomayor和Cadenilas[40]发现阈值策略是最优的。对于基本马尔可夫链的每个状态i，它们得到一个恒定的阈值水平bisuch，如果盈余过程超过该水平，则在该水平以下支付nodividens，并以最大利率K支付股息。