弱链矩阵、策略迭代和脉冲控制

（4.6）（H2）B的以下较弱性质并不罕见：（H4）对于每个解VOF（4.3）和每个状态i，都存在整数M（i）和N（i），例如0≤ n（i）<m（i）和[Bm（i）v]i<[Bn（i）v]i引理4.6。假设（H3）和（H4）。让（P`）`≥0:=（w`，z`，ψ`）`≥0是一个序列，并且是一个（4.3）令人满意的解-A（P`）v+b（P`）→ 晚餐∈P{-A（P）v+b（P）}=0`≥` ≥ `iψ`i是B（z`）从i到某个状态j（i，`）的图，ψ`j（i，`）=0。证据假设相反。一个鸽子洞原理论证证明了asubsequence（P`q）q的存在性≥0:=（w`q，z`q，ψ`q）q≥0of（P`）`≥0使得oψ`q=ψ是一个独立于q的常数；oB（z`q）（称之为G）的图形是一个独立于q的常数存在i，使得ψi=1，对于从i（G中）可到达的所有j，ψj=1。LetV:={j，…，jk}是可从i到达的状态。莱特∈ 五、∪ {i} 要武断。由于收敛序列的极限等于其任何子序列的极限，因此hB（z`q）v+k（z`q）ir- vr=δh-A（P`q）v+b（P`q）ir→ 0，英属维尔京群岛≥ vrv（4.3）Bv≤ v[Bv]r=vr。此外，[Bv]r=[B（Bv）]r≥ [B（z`q）（Bv）+k（z`q）]r=Xj∈V[B（z`q）]rj[Bv]j+[k（z`q）]r=Xj∈V[B（z`q）]rjvj+[k（z`q）]r=[B（z`q）V+k（z`q）]r→ [Bv]rand因此[Bv]r≥[Bv]r.SinceBis（H3）的单调算子，Bv≤ vimpliesBv≤ 我们可以继续这个过程，得到Vr=[Bv]r=[Bv]r=[Bv]r=[Bv]r=[Bv]r=.·在上面设置r=i会产生与（H4）的矛盾。我→ i`i<mimiby（H4））在b（z`）图中，从某个状态j（i，`）开始，ψ`j（i，`）=0。下面给出了一个示例：示例4.7。考虑例子4。2 Withzi=zj适用于所有州和州。对于所有的州，让基（子）：=-C<0。因此，对于RM中的所有x，Bx=supz，z∈Z{B（Z）B（Z）x}- 2C<supz∈Z{B（Z）x}- C=Bx，因此（H4）满足1=n（i）<m（i）=2的alli。

直观地说，控制器支付两次应用B的成本。在这种情况下，表示（4.3）的byva溶液，控制如图4所示。1.1不能对应于某个目标-A（Pv）v+b（Pv）=供应∈P{-A（P）v+b（P）}=0，因为从i>2到j=1的任何路径的长度至少为m（i）=2。我们现在可以证明与（H2）无关的唯一性：定理4.8。假设（H0），（H3）和（H4）。（4.3）的解决方案是唯一的。证据设x和y为两个解，且（P`）`≥0是P中的一个序列，以便-A（P`）y+b（P`）→ 晚餐∈P{-A（P）y+b（P）}=0。（H3）（H4）4.6A（P`）是具有正对角线的WCDD Z-矩阵，因此是定理3中的M-矩阵。5.对于某些序列(`)`≥0英寸RMwith`→ 0，我们可以写-A（P`）y+b（P`）+`= 0=支持∈P{-A（P）x+b（P）}≥ -A（P`）x+b（P`），所以A（P`）（x-y）≥ -`. 因为单调矩阵的逆有非负元素和P7→ A（P）-1以（H0），x为界- Y≥ 0.同样地，y- 十、≥ 0不幸的是，定理4的条件。8无法保证迭代（v`）`≥1受政策迭代的影响，asA（P`）在某些情况下可能是单数的≥1.这在以下示例中得到了证明，但（H2）不成立：示例4.9（策略迭代失败）。考虑例子4。2.对于所有状态i，letZi:={ej}Mj=1是标准基向量集，Ki（zi）：=-C-Xjzij|i- j |<0，其中C>0。如例4.7所示，由于固定成本C.Letδ=1，因此满足（H4）。假设存在一个具有1的状态∈ Drandcr（wr）<-C.所有控制人员。可以很容易地验证，用零向量v:=0初始化的策略迭代选择P:=（w，z，ψ），用zr=Eran和ψr=1。因此[A（P）]rj=[I- B（z）]rj=[I]rj- [一] rj=0表示A（P）为单数，因此未定义。对任何人来说≥1，可以构造更复杂的例子，其中矩阵a（P），A（P`-1） 是非奇异的，而a（P`）是单数的。

也就是说，策略迭代可能会在任何迭代中失败。4.3如前一节所述，对修改后的问题进行政策迭代，如果（H2）不令人满意，政策迭代可能会失败。然而，我们可能希望通过对“修改的问题”执行策略迭代来构建一个解决方案，通过移除renderA（P）奇异的controlsPinPthat来设置控制。我们定义（H1）时，用（H1）的定义替换所有出现的。（H2）和（H3）的定义类似。我们现在可以精确地陈述上述观点：定理4.10。LetP:=QMi=1Piwhere eachPi 这不是空的。假设（H0），（H1），（H2），（H3），（H4）和对于RM中的所有v，支持∈P{-A（P）v+b（P）}=0==> 晚餐∈P{-A（P）v+b（P）}=0。（4.7）（v`）`≥1定义为策略迭代（P，A（·），b（·），v）是非减损的，并收敛到（4.3）的唯一解。此外，如果有限，收敛最多发生在| P |迭代中。证据辛塞普 P、 紧接着（H0）和（H3）被满足，所以由理论4。v`，（3）`≥1定义良好，并收敛到修改问题的唯一解决方案。就是v`→ 范德普∈P{-A（P）v+b（P）}=0。通过（4.7），V解决了原始问题（4.3）。因为（4.3）的解决方案在定理4中是唯一的。8.预期结果如下。（H2）定理4.10：例4.11。考虑例子4。2.让（i）如例4所示。9、（二）威姆维奇|一- j |>cbe连续且有界，和（iv）c:=maxw∈Wc（w）带CI-1.≥ cifor all 1<i≤ M.PP:w，z，ψP（4.5）4.10满意证明。验证（H0）、（H1）、（H2）、（H3）和（H4）很简单。因此，这是一个很好的展示（4.7）。我们通过替换z:=QMi=1Ziin（4.6），写出i:=Wi×Zi×dian并定义[Bx]ifori>1。我们首先证明了修正问题的解决方案v是非递增的：vi-1.≥ vifor all 1<i≤ M.假设相反。设r>1为最小元素，使vr-1<vr。如果vr=[Bv]r，那么vr=vj- C- |R- j |对于某些j<r。

要么j=r- 1或VR-1.≥ [Bv]r-1.≥ vj- C- |（r）- 1) - j|≥ vr（两者都是矛盾）。因此，Vr=[Lv]r.Lettingw0j，v:=0.为了便于注释，假设（ii）意味着Vr-1.≥ [低压]r-1=最大值∈WrXj=r-2wr-1，j1+ρvj+[c（w）]r-1.≥虚拟现实-11+ρ+cr-1so thatvr-1.≥（1+1/ρ）cr-1.Ifvr≥ vr+1，它与vr=[Lv]rthatvr类似≤（1+1/ρ）crso thatvr-1.≥ vr（一个矛盾），因此必须是vr<vr+1。我们可以归纳地重复这个论点，得出矛盾的结论-1<vr<·和vr-1.≥ （1+1/ρ）cr-1.≥ （1+1/ρ）厘米≥ 虚拟机。因为v是非递增的，所以v≥ Bv（对于有j的状态i和j，取ψi=1和zij=1是次优的≥ i） ，因此（4.7）成立。HJBQVI问题的5个数值格式本文中的所有数值格式都在直线网格上，tNo×nx，x。o×···×nxd，xd。0=t<tN:=Tandxj<xj<。使用多个索引（即xi:=（xi，…，xid））。Mdenotes空间点xi的数量。对于[0，t]×Rd上定义的函数sq:=q（t，x），使用速记qni:=q（tn，xi）和qn（x）：=q（tn，x）。在没有歧义的情况下，我们使用分量sq和take来表示向量t:=tn+1- tn.据了解，Maxn{tn+1- tn}→0和maxi{xi+1- xi}→0灰烬→0，其中hdenotes是控制网格粗糙度的“全局”离散化参数。WZt，x 6Wh WZht，xZ（t，x）。

关注一致性的读者应该施加一些规律性来证明这种近似，例如：（i）Wis紧，（ii）关于Hausdorff度量的Zis处处紧且连续，以及（iii）maxw∈Wminwh∈Wh | w- wh|→0作为离散化参数h→ 0以及Z和Zh的相同逐点条件。离散脉冲算子（1.2）是[Mnhun]i:=maxz∈（Zh）ni{unJxi+Γni（z）K+Kni（z）}JxK~n，控制使i+Γni（z）退出数值网格的（Zh）ni不包括在（Zh）ni中。我们使用Lnh（w）表示系数冻结在t=tn.（1.1）的Lww的一致离散化 条件适用。为了区分点，我们用Φ表示一个满足[Φ]ii=0的对角矩阵，只要xi在∧中，否则[Φ]ii=1。由于类狄里克莱条件是在最终时间T=T施加的，因此数值方法在时间上向后进行（即从tn+1totn开始）。更准确地说，lettinguNi:=gNi，时间步长1的数值解≤ n<n每个方案产生的解（给定前一时间步的解，un+1）被写成（2.1）的解，并适当地选择a和B。控制集由（4.1）和wi:=Wh，Zi:=（Zh）niif（Zh）ni6={} 否则，Di：={0，1}如果（Zh）ni6={0}否则（5.1）nn§5.3细节，我们将其视为非空集（我们选择{}任意）当（Zh）NI为空时，确保产品Wi×Zi×Diof（4.1）为非空。我们做出以下假设：（A0）W:=QMi=1wi和Z:=QMi=1Ziare finite。（A1）对于w中的所有w，-Lnh（w）是具有非负对角线的WDD Z-矩阵。（A2）对于allzinZ，Bn（z）是一个右随机数（又称为。

[Bn（z）v]i=vJxi+Γni（zi）K.（A3）ρ的马氏）矩阵≥ 0和δ， > 0.由于（A0）确保P是有限的，所以续集中的所有方案都满足（H0）和（H1）。备注5.1。Barles和Souganidis[]证明了一个数值格式收敛于一个完全非线性二阶方程（如（1.1））的唯一粘性解，如果它在粘性意义上是单调的，则比较结果令人满意`∞稳定，一致。HJBQVI（1.1）的比较结果见[定理5.11]。（A1）和（A2）未能收敛）。为简洁起见，我们在此不提供一致性的证明或讨论稳定性。5.1直接控制SUPW∈W{u/吴天武- ρufw}脉冲（μ- u） 组件在任何网格点都处于活动状态。由于它们有不同的单位，在流动点算法中比较它们需要一个比例因子δ>0，以确保快速收敛[（另见引理4.1）。按δ缩放和离散化（1.1）（忽略边界条件）yieldsmaxmaxw∈Wh（un+1i）- 大学t+[Lnh（w）un]i- ρuni+fni（w）），δ（[Mnhun]i- uni）！=0.包括边界条件，通过取l（w）以（4.3）的形式表示：=Φ（Lnh（w）- ρI）Tc（w）：=Φ联合国+1+fn（西）T+ （一）- Φ）gn；B（z）：=Bn（z）；k（z）：=Kn（z）。（5.2）在上述B和k的情况下，运营商将其等同于（4.6）中定义的B。由于（A1）–（A3），上述地块满足（H3）。因此，（H4）是有效的。8（H2）用于相应策略迭代的收敛（定理4.3）。5.2惩罚的a惩罚公式（在[]中详细讨论）施加按1缩放的惩罚/每当我>你。

该方案由maxw给出∈Wh（un+1i）- 大学t+[Lnh（w）un]i- ρuni+fni（w））+max（[Mnhun]i- 大学，0）/= 0:T >式（2.1）中，取a（P）：=I+Φ（ρI- Lnh（w））t+ψ（I）- Bn（z））/;b（P）：=Φ联合国+1+fn（西）T+ （一）- Φ）gn+ψKn（z）/.相应策略迭代的收敛性很小，因为CEA（P）是一个带正对角线的SDD Z矩阵（借助于（A1）-（A3）），因此是一个M矩阵。5.3半拉格朗日系数对控制的依赖。假设（i）σ与控制无关，且（ii）漂移u和强迫项f可分为（非常规则的）受控和非受控成分：u（y，w）=u（y）+u（y，w）和f（y，w）=^f（y）+^f（y，w）。现在我们给出一个半拉格朗日格式背后的一些直觉。考虑对应于非受控SDE的生成器：^Lu（y）：=L（w）u（y）-D^^u（y，w），Dxu（y）E.让X:=X（t）表示满足X（tn）=xind dX（t）=D^u（t，X（t），w）dt on（tn，tn+1）的D维轨迹，因此X（tn+1）≈ X（tn）+^^u（tn，X（tn），w）t=xi+^^uni（w）t、 我们定义了关于X asDuDt（t，X（t），w）的拉格朗日导数：=t[u（t，X（t））]=Ut（t，X（t））+D^^u（t，X（t），w），Dxu（t，X（t））E.忽略边界条件，我们用（1.1）代入来获得Maxsupw∈W（DuDtw+^Lu）- ρu+fw），μ- 你！=0.上述ismax的离散化马克斯∈嗯un+1qxi+^^uni（w）ty+^^fn+1i（w）T,hMn+1hun+1ii- 大学+赫努尼- ρuni+^fnit=0。据了解，控制因素是导致i+μ^uni（w）t退出数值网格，类似于[12，引理6.6]。代替（A1），我们假设：（A1）-^Lnhis是一个具有非负对角线的WDD Z矩阵~第二十一条（2.1）由takingA表示：=I+ΦρI-^LnhTb（P）：=Φ^fnt+（I）- Ψ)un+1q~x+n（西）ty+^^fn+1（西）T+ （一）- Φ）gn+ψBn+1（z）un+1+Kn+1（z）.sincea与p无关，（2.1）becomesAv=maxP∈P{b（P）}；不需要迭代方法。

A是非奇异的，因为它是SDD（根据（A1）和（A3））。6个示例本工作的剩余部分侧重于数值示例。6.1汇率的最优组合控制[，]研究了以下内容。假设一个ZF能够通过以下方式影响其货币的外汇汇率：o选择国内利率（随机控制）；o购买或出售外币（冲动控制）。让（rt）t≥0表示国内利率过程和国外利率。在anyz>z<FEX市场。（Xt）t≥0，FEX速率的日志，followsdXt=-a（rt- r） dt+σdWtifτj<t<τj+1（随机控制）；Xτj+1=Xτj+1-+ zτj+1（脉冲控制）。（Wt）t≥0是标准的布朗运动。a>0参数化了利率差异的影响，wt:=rt- r、 关于外汇汇率。参数值贴现系数ρ2%每年度折旧率σ30%每年度折旧率T 10年最佳平价x？利率差异W 0-7%每年利率差异a 0.25利率差异成本b 3标度交易成本λ1固定交易成本C 0.1表6.1：汇率的最佳组合控制：参数θ：=（W，τ，τ，…，zτ，zτ，…）其中（i）（wt）t≥0是一个适应的过程，（ii）τ，τ。是0=：τ的停止时间≤ τ≤ τ≤ . . . ≤ T、 和（iii）zτkis是一个τk-可测量的随机变量，取一些setZ（τk，Xτk）的值。任何满足这些性质的θ都被称为组合控制。如果在任何时间t，wmin，则允许使用组合控制≤ wt≤ wmax（或者，我们可以将其强制为空集）。设Θ表示所有可容许控制的集合。当Xt=x时，时间t的最佳成本由u（t，x）给出：=eρtsupθ∈ΘE（t，x）-中兴通讯-ρsp（Xs）+bwsds-Xτj≤Te-ρτjλzτj+ C. （6.1）FEX利率与最佳平价之间的距离成本？由函数P参数化。我们取（x）：=（max（x）- 十、0)).

康斯坦特酒店≥0参数化与非零利率差异相关的成本。λ ≥0和C>0参数化冲动的代价。ρ ≥ 0是一个折扣系数。众所周知[]与（6.1）相关联的动态规划方程是HJBKVIOhm:= R和∧： 由（1.1）给出，其中g（T，x）：=0，w:=[wmin，wmax]；Z（t，x）：=R；L（t，x，w）：=-哦Ux+σU十、Γ（t，x，z）：=z；f（t，x，w）：=-p（x）- 体重；K（t，x，z）：=-λ| z |- C.6.1.1直接控制方案的收敛性离散化要求我们截断[0，T]×Rto[0，T]×x[x，xM]和Z（T，x）=Rto[x，xM]- 因此，脉冲后的汇率，x+Γ（t，x，z）=x+z，仍然在计算域中。允许z>0分xM- x、 截断z（t，x）的离散化为（Znh）i:={0，z、 二,ZxM- x} +（x）- xi）。一种特殊的Neumann边界条件u/x=0用于x和x，因此Lnhw-3-2.5-2-1.5-1-0.50.0 0.5 1.0对数变换的外汇汇率（x）0.000.010.020.030.040.050.06最优利率差（w）x=η0 x=η脉冲（a）最优控制（T=10）-3-2.5-2-1.5-1-0.5 0.0 0.5 1.0对数转换的FEX速率（x）-2.5-2-1.5-1-0.50.0最优成本（u（t=0，x））t=2T=10T=32T=∞（b） 图6.1.1：初始时间[15，附录C]汇率的最佳组合控制，以便[Lnh（w）v]i：=如果i=1或i=M（vi-1.- vi）αni（w）+（vi+1- vi）βni（w），其中αni（w）和βni（w）是离散化产生的非负常数。直接控制问题由（4.3）根据（5.1）和（5.2）给出。很容易验证BX<BX是否满足（H4）（recallB=Mnh）。根据理论4。8.这个问题的解决方案是独一无二的。然而，政策迭代可能会失败，因为（H2）不令人满意。

违反（H2）的一个简单示例是两个节点之间的循环xi=xj（例如，xi+Γ（t，xi，xj- xi）=xjand xj+Γ（t，xj，xi- xj）=xi）。我们对一个修改后的问题执行策略迭代，对于（H2）保持的所有i>1so，P中的控制集P（P包含所有控制P:=（w，z，ψ）满足ψ=0和zi<0。如果un+1不增加（即un+1i-1.≥ un+1i），我们可以使用same4。11V解决了最初的问题（即（4.7）是令人满意的），并且没有增加。因为ceun=0是非递增的，所以归纳法在每一个时间步产生了方案的收敛性。备注6.1。条件zi<0符合直觉：国内ZF不应该做出削弱本国货币（即zi）的冲动≥ 6.1.2最优控制如果货币非常疲软，ZF就会干预外汇市场。也就是说，在时间t时，脉冲只发生在[η（t），∞) 对于某些η（t）（区域(-∞, η（t））被称为连续区域，对应于数值解中ψi=0的节点。当时间点的FEX速率为[η（t），∞), ηt<ηt6。1.1a。图6.1.1b显示了不同到期时间T的最佳成本u。h x节点w节点z节点时间步132 8 16 161/2 64 16 32。。。。。。。。。。。。。。。表6.1.2：汇率的最优组合控制：数值网格6。1.3收敛测试收敛测试如表6所示。1.3. 时间标准化为最快的半拉格朗日解。报告溶液（在某一点）连续变化的比率。带有ILUT预条件器的BiCGSTAB用于本节和所有后续章节中的解决方案（策略迭代的第3行）。