长期风险敏感并矢脉冲控制

因此，使用（4.1），对于任何γ<0，m∈ N、 和一个序列（γN）N∈N、 这样γN→ γ、 作为n→ ∞, 我们得到|γn'wγnδ（x）- γ'wγδ（x）|≤ |Tmγn0（x）- Tmγ0（x）+Tmγn0（a）- Tmγ0（a）|+2M（L（M））M（2+ω（x）+ω（a））=an，M+bn，M+cm。对于任何>0，我们可以选择m∈ N、 使cm≤ . 因此，让n→ ∞ 使用fixedm，我们可以获得lim supn→∞|γn'wγnδ（x）- γ'wγδ（x）|≤ . 由于的选择是任意的，我们得到了映射γ的连续性→ γ'wγδ（x）。接下来，在命题3.1的证明之后，我们看到映射γ→ Tγγ'wγδ（x）也是连续的。因此，注意到γλγδ=Tγγ'wγδ（x）- γ'wγδ（x），并使用与中类似的参数（Pitera&Stettner 2016，命题4.8），我们得到了γ的连续性→ γλγδ开启(-∞, 0). 这意味着γ的连续性→ λγδ开启(-∞, 0），并完成证明。长期风险敏感二元脉冲控制17命题4.2。对于任何γ∈ R和x∈ E、 我们获得SUPV∈Vδ支持∈TΔuγ（x，V）（ω（Xt））<∞. （4.2）证明。让我们xγ∈ R、 设b:E×E→ R+由b（z，y）给出：=[ω（z+y）- bω（z）]+。（4.3）特别注意，对于任何x∈ E我们得到ω（Xδ）≤ bω（x）+b（x，xδ- x） 和▄M（▄γ▄）：=supx∈Eu|γ| x（b（x，xδ- x） ）<∞. （4.4）为了完整性，让我们概述（4.4）的证明。首先，请注意，对于任何序列（xn）n∈N、 其中xn∈ E、 取极限n→ ∞, 我们得到u|γ| xn（ω（Xδ））- bω（xn））→ ∞ 当且仅当ifExne |γ|（ω（Xδ））-bω（xn））→ ∞. 因此，由于函数z 7→ ezis从下面有界，我们得到u|γ| xn（ω（Xδ）- bω（xn））→ ∞ 当且仅当u|γ| xn（b（xn，Xδ- xn））→ ∞. 另一方面，使用（A.3），我们得到u|γ| xn（ω（Xδ）- bω（xn））≤ M（|γ|）。这两个事实意味着（4.4）。现在，我们∈ 并引入一些附加的辅助符号。设a：=supx∈Uω（x）和对于任意n∈ N勒坦：={Xnδ6∈ U}，Fn：=σ（Xs，s∈ [0，iδ]），Bni：=b（X（n-我-1） δ，X-（n）-i） δ- X（n-我-1） δ），i=0，1。

n- 1，其中X-是（可选）换档前的（Xt）状态；注意anxnδ=AnX-nδ表示n∈ N、 为简洁起见，我们还使用|γ（x，V）（·| Fi）表示|γ（x，V）的Fi条件等价物。让我们来确定V∈ Vδ和t∈ Tδ。注意，对于某些n，t=nδ∈ N、 利用|γ（x，v）和（A.3）的单调性，我们得到|γ（x，v）（ω（Xnδ））≤ uγ（x，V）（A′na+Anω（Xnδ））≤ uγ（x，V）阿纳+安bω（X（n-1） δ）+b（X（n-1） δ，X-nδ- X（n-1)δ)≤ . . .≤ uγ（x，V）ω（x）+a+n-1Xi=0Tij=0An-jbiBni！≤ ω（x）+a+uγ（x，V）n-1Xi=0biBni！。（4.5）利用熵效用的强时间相合性和可加性，我们得到了|γ（x，V）n-1Xi=0biBni！≤ uγ（x，V）uγ（x，V）n-1Xi=0biBniFn公司-1.≤ uγ（x，V）n-1Xi=1biBni+uγ（x，V）（Bn | Fn-1)!,（4.6）长期风险敏感二元脉冲控制18，而从强马尔可夫性质和（4.4）我们得到μγ（x，V）（Bn | Fn-1） =uγ（x，V）b（X（n-1） δ，X-nδ- X（n-1)δ)Fn公司-1.= uγX（n-1） δ（b（X，Xδ- 十） （）≤ supx公司∈Euγx（b（x，xδ- x） （）≤ supx公司∈Eu|γ| x（b（x，xδ- x） ）=米（|γ|）。（4.7）因此，结合（4.7）、（4.6）和（4.5），我们得到|γ（x，V）（ω（Xnδ））≤ ω（x）+a+~M（|γ|）+uγ（x，V）n-1Xi=1An-ibiBni！。使用类似的递归推理，并注意到对于i=1，n- 1我们有μγx，Vbi（δ）BniFn公司-我-1.≤ supx公司∈Euγxbi（δ）b（x，xδ- x）= bi（δ）supx∈Euγbi（δ）x（b（x，xδ- x） （）≤ bi（δ）supx∈Eu|γ| x（b（x，xδ- x） ）=bi（δ）~M（|γ|），（4.8）我们最终得到μγ（x，V）（ω（Xnδ））≤ ω（x）+a+~M（|γ|）n-1Xi=0bi≤ ω（x）+a+1-bM（|γ|）。（4.9）作为V的选择∈ Vδ和t∈ Tδ是任意的，并且（4.9）中的上界与两者无关，我们知道（4.2）满足于Tδ，从而得出证明。最后，我们准备将Bellman方程与相应的并矢最优控制问题（2.5）联系起来。提案4.3。在假设（A.1）–（A.4）下，我们得到λγδ/δ=supV∈VδJγ（x，V），即问题（2.5）中的最优值对应于B ellman方程（3.1）的解。证据命题4.2。

为简洁起见，对于任何n∈ N我们设置Tn：=Nδ，zn：=ZTnf（Xs）ds+∞Xi=1{τi≤Tn}c（Xτ-i、 ξi）；长期风险敏感二元脉冲控制19注：锌的确切动力学由基本策略V={（τi，ξi）}确定∞i=1。首先，让我们证明λγδ/δ≤ supV公司∈VδJγ（x，V）。（4.10）固定n∈ N、 p>1，并设置‘γ：=pγ。设q为p的共轭指数，设φ：=-kw？γδkωqγ。对于策略^V={（^τi，^ξi）}∞i=1∈ Vδ由Bellman方程（3.1）为γ确定，使用p和q的reverseH¨older不等式（见Lemma6.1），我们得到λγδ/δ=Tnuγ（x，^V）Zn+w′γδ（XTn）- w′γδ（x）≤Tnhu′γ（x，^V）Zn+kw？γδkωω（XTn）+ kw？γδkω- w′γδ（x）i≤Tnhu′γ/p（x，^V）（Zn）+u-q’γ/p（x，^V）kw？γδkωω（XTn）+ kw？γδkω- w′γδ（x）i≤Tnhuγ（x，^V）（Zn）+kw？γδkωuφ（x，^V）（ω（XTn））+kw？γδkω- w'γδ（x）i.（4.11）使用命题4.2，我们知道supn∈Nuφ（x，V）（ω（XTn））<∞. 因此，让n→ ∞ 我们获得λ′γδ/δ≤ lim信息→∞田纳西州uγ（x，^V）（Zn）+kw？γδkωsupn∈Nuφ（x，V）（ω（XTn））+kw？γδkω- w′γδ（x）= lim信息→∞Tnuγ（x，^V）（Zn）≤ supV公司∈VδJγ（x，V）。（4.12）现在，回想一下‘γ=pγ，并注意（4.12）适用于p>1的任何选择。因此，使用命题4.1并让p→ 1，我们得到λpγδ→ λγδ. 这就是（4.10）的证明。其次，我们证明了不等式λγδ/δ≥ supV公司∈VδJδγ（x，V）。（4.13）同样，我们∈ N和p＞1。设γ：=γ/p，φ：=-kw‘γδkωq‘γ，其中q是p的共轭指数。对于任何策略V∈ Vδ，使用p和q的H¨older不等式（见Lemma6.1），我们得到λ′γδ/δ≥Tnu′γ（x，V）Zn+w′γδ（XTn）- w′γδ（x）≥Tnhu′γ（x，V）锌- kw？γδkωω（XTn）- kw？γδkω- w′γδ（x）i≥Tnhup′γ（x，V）（Zn）+uq′γ（x，V）-kw？γδkωω（XTn）- kw？γδkω- w′γδ（x）i≥Tnhuγ（x，V）（Zn）- kw？γδkωuφ（x，V）（ω（XTn））- kw？γδkω- w′γδ（x）i。

（4.14）如前所述，使用命题4.2并让n→ ∞, 对于任何V∈ Vδ我们得到λ′γδ/δ≥ lim信息→∞Tnuγ（x，V）（Zn）。长期风险敏感并矢脉冲控制20作为V的选择∈ V是任意的，我们得到λ′γδ/δ≥ supV公司∈VδJδγ（x，V）。最后，如（4.10）中的证明，使用命题4.1并让p→ 1，我们得到λγ/pδ→ λγδ，其中包括（4.13）的证明和命题4.3。备注4.4（熵H¨older不等式的应用）。证明命题4.3的关键步骤是应用熵的Holder不等式和反向Holder不等式；参见Lemma6.1。利用诱导超加性和次加性性质（对于不同的Trisk厌恶参数），可以从wγδ（·）中分离出主要动力学。有趣的是，可以在（Pitera&Stettner 2016，命题5）中应用相同的方法，即使用我们的框架很容易证明Bellman方程的解是最优解，而不会像（Pitera&Stettner 2016，命题5）那样施加任何额外的约束。备注4.5（全职网格）。虽然在命题4.2和命题4.3中，我们将自己限制在二元时间网格上，但结果（在额外的温和假设下）在全时网格上保持不变，即目标函数（2.1）替换为▄J（x，V）：=lim infT→∞JT（x，V）T。根据Remark2.1的评论，并将带Miin（A.3）视为δ的函数，让我们假设Mi（γ，δ）→ 0为δ→ 0，对于任何γ∈ R、 为简洁起见，让我们仅概述如何扩展命题证明4.2。设t>0为t 6∈ Tδ和let V∈ Vδ。我们知道存在δ<δ，使得M:=supδ∈（0，δ]Mi（|γ|，δ）<∞. 而且，我们知道存在n∈ N和M∈ N使得t=Nδ+mδ+，其中mδ<δ和∈ [0, δ).

为简洁起见，我们设置t：=nδ+。使用（A.3）m次表示时间步长δ，一次表示时间步长（如果需要），并使用（4.3）中介绍的符号，我们得到ω（Xt）≤ ω（Xnδ）+b（Xnδ，X-t型- Xnδ）+m-1Xi=0bi（δ）b（Xt+（m-我-1） δ，Xt+（m-i） δ- Xt+（m-我-1)δ).现在，使用类似于（4.9）证明中的参数，我们得到|γ（x，V）（ω（Xt））≤ uγ（x，V）（ω（Xnδ））+~M+1-b（δ）~M≤ ω（x）+a+1-b（δ）~M（|γ|，δ）+~M+1-b（δ）~M，（4.15），其中▄M和▄M（▄γ▄，δ）的构造如（4.4）所示。由于δ的选择与t和V的选择无关，因此（4.15）中的上限也是如此。这就得出了（4.2）对于t的证明∈ T、 长期风险敏感二元脉冲控制215参考示例在本节中，我们想展示满足假设（A.1）–（A.4）的过程示例。为简洁起见，由于假设（A.1）、（A.2）和（A.4）相当标准，我们决定将重点放在假设（A.3）上，只描述非受控过程的动态；我们可以很容易地增强这个过程，以获得一个满足（a.1）–（a.4）的适当示例。示例5.1关注类似Ito的微分过程，示例5.2与Blumenthal&Getoor（2007）研究的常规步骤过程相关，示例5.3考虑了Davis（1984）引入的分段确定性过程，并在Bouerle&Rieder（2011）的控制理论背景下研究了后者。为简单起见，在前两个示例中，我们假设E=Rd和δ<1，在第三个示例中，我们设置E=R。示例5.1（类伊藤扩散）。设（Xt）为方程dxt=（AXt+g（Xt））dt+σ（Xt）dWt，（5.1）的解，其中矩阵a∈ Rd×不稳定（其特征值的实部为负）和可对角化（其几何和代数重数重合），函数g:Rd→ Rd和σ：Rd→ Rd×darebounded，和（Wt）是Rd值布朗运动。此外，我们假设σ是Lipschitz连续的，以保证（5.1）的强解为g≡ 0

然后，（5.1）存在一个弱解，由xt=eAtX+ZteA（t-s） g（Xs）ds+ZteA（t-s） σ（Xs）dWs。（5.2）设ω（x）：=最大值∈{1，…，d}| xi |代表x∈ 那么，对于任何t≤ 1和γ∈ R我们得到μγx（ω（Xt））≤ e-αtω（x）+kgk∞+ uγxωZteA（t-s） σ（Xs）dWs, （5.3）其中α∈ R+是a和k·k特征值的（负）最大实部∞表示SUPREUM范数。现在我们证明（5.3）中的最后一项对于任何γ都是一致有界的∈ R、 为简单起见，在不损失一般性的情况下，我们假设γ>0；回想一下，熵crisk测度对于γ是单调的。LetZ（t）：=ZteA（t-s） σ（Xs）dWs，t∈ R+，（5.4）并让Zi（t）表示Z（t）的第i个分量，对于i=1，d、 注意，对于任何γ>0和x∈ 我们有xγω（Z（t））i≤ ExheγPdi=1 | Zi（t）| i≤X（s，…，sd）∈{0,1}dExheγPdi=1(-1） siZi（t）i.（5.5）的局部鞅性质eγPdi=1(-1） siZi（t）-γhPdi=1(-1） siZiit（我们参考问题3.38inKaratzas&Shreve（1998）），对于任何x∈ 我们得到γω（Z（t））i≤ 2deγdkσk∞. （5.6）这就完成了（A.3）中第二次估计的证明。（A.3）中的第一个估计，即不等式uγx（Rtω（Xs）ds）≤ ω（x）+M（γ），可以通过利用性质（5.2）以类似的方式获得。长期风险敏感并矢脉冲控制22示例5.2（常规步骤过程）。设（Xt）是一个规则的分步过程，它是使用以下逻辑构造的：一个粒子从X点开始=zan，并在那里停留指数分布时间，参数为r（z）。然后，它跳转到另一个（随机选择的）状态zandremains，时间呈指数分布，参数为r（z），依此类推。强度函数r:Rd→ R+由R（·）：=最大值给出k·k1+，r, 其中，r>0和>0为执行常数，其中k·k为标准Rd范数。zn的跳跃∈ Rdto锌+1∈ Rd（forn∈ N） 根据过渡定律Q（zn，·），使得zn+1=A（zn）+wn，（5.7），其中（wn）是i.i.d。

有界Rd值随机向量序列和函数A:Rd→ RDSECTION limkxk→∞kxkkA（x）k<1。然后，存在一个常数K∈ R+和β∈ （0，1）这样的kA（x）k+kwik≤ βkxk+x的K∈ E和i∈ N、 因此，对于任何N∈ N、 我们获得KZN+1k≤ βkznk+K，通过迭代，kzn+1k≤ βn+1kzk+K1- β. （5.8）设ω（·）：=k·k，设τ（x）表示任何固定起点x的第一个过程跳跃的时间∈ E、 那么，对于任何x∈ E和γ>0，使用（5.8），我们得到了Xγω（Xδ）i≤ Exh{δ<τ（x）}eγω（x）i+Ex{δ≥τ（x）}supn∈Neγω（zn）≤ Px[δ<τ（x）]·eγω（x）+Ex{δ≥τ（x）}eγβω（x）+γK1-β≤ e-δr（x）+γω（x）+eγβω（x）+γK1-β. （5.9）现在，设置R（γ）：=max{pγ/δ，R}，并回忆一下CR（γ）={x∈ Rd：ω（x）<R（γ）}。对于anyx∈ CR（γ），我们得到e-δr（x）+γω（x）≤ eγR（γ），而对于x 6∈ CRwe哈维-δr（x）+γω（x）≤ e-Δω1+（x）eγω（x）=e-ω（x）（δR（γ）-γ)≤ 1.（5.10）因此，从（5.9）中，我们得到γω（Xδ）i≤ max{eγR（γ），1}+eγβω（x）+γK1-β≤ eγβω（x）+γ▄K（γ），（5.11），其中▄K（γ）是与x无关的固定常数∈ E、 这就完成了（A.3）中第二个不等式的证明，因为（5.11）可以重写为uγx（ω（xδ））≤ βω（x）+K（γ），对于x∈ E、 （A.3）中第一个不等式的极限直接来自（5.8）。示例5.3（分段确定性过程）。假设（Xt）是一个分段确定性过程。确定性部分是一个稳定微分方程dxt=F（Xt）dt，（5.12）的解，初始状态X=X。该过程遵循此动力学直到（随机）跳跃时刻，然后立即发生转移，之后其演化遵循相同的确定性逻辑，直到发生下一次运行风险敏感二元脉冲控制23跳跃，依此类推。我们假设跳跃序列，比如（τn），是这样的（τn+1- τn）为i.i.d.且呈指数分布，固定强度r>0。根据过渡测量进行位移，使得Xτn=A（Xτ-n） +wn，其中wn是i.i.d.序列。

标准正态随机变量与函数A:R→ R满足| A（x）|≤ |x |+K，对于K>0。假设F具有适当的正则性，对于任何t<τ和初始状态x，我们得到Xt=φ（x，t），其中φ是一个连续函数。此外，我们假设φ对于任何x∈ E我们得到φ（x，t）|≤ e-αt | x |+M，其中α，M>0是一些与x无关的预定义常数。然后，我们得到{τ>δ}| xδ|≤{τ>δ}e-αδ| x |+M, （5.13）和，对于任何n∈ N、 通过归纳，{τN+1>δ≥τn}| Xδ|≤{τn+1>δ≥τn}e-αδ| x |+M+n（K+M）+nXi=1 | wi |！。因此，对于任何γ>0，设置ω（·）：=k·k，β：=e-αδ，τ：=0，w：=0，D（γ）：=γln E[Eγ| w |]，注意到（wi）独立于（τi），我们得到了Xγω（Xδ）i=Ex“∞Xn=0{τn+1>δ≥τn}eγω（Xδ）#≤ eγ[β| x |+M]·Ex“∞Xn=0{τn+1>δ≥τn}eγ[n（K+M）+Pni=0 | wi |]#≤ eγ[β| x |+M]·∞Xn=0Ex{τn+1>δ≥τn}enγ[K+M+D（γ）]≤ eγ[β| x |+M]·∞Xn=0（rδ）ne-rδn！·enγ[K+M+D（γ）]。（5.14）接下来，注意∞Xn=0（rδ）ne-rδn！·enγ[K+M+D（γ）]<∞,我们可以将（5.14）重写为|γx（ω（xδ））≤ βω（x）+D（γ），其中D（γ）是与x无关的常数；这就得出了（A.3）中左不等式的证明。（A.3）中的第二个不等式以类似的方式出现。长期风险敏感并矢脉冲控制246附录为简单起见，在本节中，我们假设概率空间是固定的，并且对于任何γ∈ R \\{0}和X∈ Lwe setuγ（X）：=1/γln E[经验（γX）]。引理6.1（熵效用测度的H¨older不等式）。设γ<0（分别为γ>0）。然后，对于任何p>1和相应的共轭指数q，我们ge tuγ（X+Y）≥ upγ（X）+uqγ（Y），（分别为。≤) （6.1）uγ（X+Y）≤ uγ/p（X）+u-qγ/p（Y），（分别为。≥) （6.2）其中X，Y∈ 五十、 证明。我们只给出γ<0的证明，因为γ>0的证明是类似的。让我们假设p>1。

利用应用于eγX和eγYwe getE的h¨older不等式[exp（γ（X+Y））]≤ E[exp（pγX）]1/pE[exp（qγY）]1/q，两边取对数，乘以1/γ<0，得到γln E[exp（γ（X+Y））]≥pγln E[exp（pγX）]+qγln E[exp（qγY）]，相当于（6.1）。接下来，将（6.1）应用于▄γ=γ/p、▄X：=X+Y和▄Y：=-Y，我们得到μγ/p（X）≥ uγ（X+Y）+uqγ/p(-Y）=uγ（X+Y）- u-qγ/p（Y），其中（6.2）如下。参考B¨auerle，N.&M¨uller，A.（2006），“随机顺序和风险度量：一致性和界限”，《保险：数学和经济学》38（1），132–148。B–auerle，N.&Rieder，U.（2011），《马尔可夫决策过程及其在金融中的应用》，斯普林格科学与商业媒体。B–auerle，N.&Rieder，U.（2017），“零和风险敏感随机博弈”，随机过程及其应用127（2），622–642。Blumenthal，R.M.&Getoor，R.K.（2007），《马尔可夫过程和势理论》，多佛出版社。Cavazos Cadena，R.&Hern'andez Hern'andez，D.（2017），“具有风险敏感平均标准的受控马尔科夫链中的消失贴现近似”，应用概率进展50（1），204–230。Cheridito，P.和Li，T.（2009），“Orlicz心脏的风险度量”，数学。财务19（2），189–214。Dai Pra，P.、Meneghini，L.和Runggaldier，W.J.（1996），“随机控制与动态博弈之间的联系”，控制数学，信号与系统9（4），303–326。长期风险敏感二元脉冲控制25Davis，M.H.A.（1984），“分段确定性马尔可夫过程：非扩散随机模型的一般类别”，皇家统计学会杂志：B辑（方法学）46（3），353–376。Di Masi，G.B.和Stettner，L.（1999），“离散时间马尔可夫过程的风险敏感控制，具有不确定性”，暹罗控制与优化杂志38（1），61–78。弗莱明，W.H.&麦肯尼，W.M。

（1995），“有限时间范围内的风险敏感控制”，SIAMJournal on control and Optimization 33（6），1881–1915。Gerber，H.U.（1979），《数学风险理论导论》，第8卷，SS Huebner保险教育基金会，宾夕法尼亚大学沃顿学院，费城大学。Haier，M.&Mattingly，J.C.（2011），Harris的马尔可夫链遍历定理的另一种观点，见“随机分析、随机场和应用研讨会VI”，Springer，第109-117页。Hdhiri，I.&Karouf，M.（2011），“非马尔可夫过程的风险敏感脉冲控制”，运筹学数学方法74（1），1–20。Karatzas，I.&Shreve，S.（1998），布朗运动和随机微积分，Springer-Verlag纽约。Nagai，H.（2007），《关于具有风险敏感标准的脉冲控制问题的评论》，《随机过程与数学金融的应用》，世界科学出版社，第219–232页。Palczewski，J.&Stettner，L.（2017），“脉冲控制最大化单位时间平均成本：非均匀遍历案例”，暹罗控制与优化杂志55（2），936–960。Pitera，M.和Stettner，L.（2016），“具有一般因素的长期风险敏感投资组合”，运筹学数学方法83（2），265–293。Robin，M.（1978），Controle Pulsionnel des processus de Markov，博士论文，巴黎多芬帕里斯大学第九届。可供查阅athttps://tel.archives-ouvertes.fr/tel-00735779 .Robin，M.（1981），“关于具有长期平均成本的一些脉冲控制问题”，暹罗控制与优化杂志19（3），333–358。Robin，M.（1983），“连续时间马尔可夫过程的长期平均成本控制问题：调查”，应用数学学报1（3），281–299。Sadowy，R.&Stettner，L.（2002），“马尔可夫过程的风险敏感遍历脉冲控制”，应用数学与优化45（1），45–61。Shen，Y.，Stannat，W.&Obermayer，K。