弱链矩阵、策略迭代和脉冲控制

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Weakly chained matrices, policy iteration, and impulse control》
---
作者：
Parsiad Azimzadeh, Peter A. Forsyth
---
最新提交年份：
2017
---
英文摘要：
  This work is motivated by numerical solutions to Hamilton-Jacobi-Bellman quasi-variational inequalities (HJBQVIs) associated with combined stochastic and impulse control problems. In particular, we consider (i) direct control, (ii) penalized, and (iii) semi-Lagrangian discretization schemes applied to the HJBQVI problem. Scheme (i) takes the form of a Bellman problem involving an operator which is not necessarily contractive. We consider the well-posedness of the Bellman problem and give sufficient conditions for convergence of the corresponding policy iteration. To do so, we use weakly chained diagonally dominant matrices, which give a graph-theoretic characterization of weakly diagonally dominant M-matrices. We compare schemes (i)--(iii) under the following examples: (a) optimal control of the exchange rate, (b) optimal consumption with fixed and proportional transaction costs, and (c) pricing guaranteed minimum withdrawal benefits in variable annuities. We find that one should abstain from using scheme (i).
---
中文摘要：
这项工作的动力来自于与组合随机和脉冲控制问题相关的Hamilton-Jacobi-Bellman拟变分不等式（HJBKVIS）的数值解。特别地，我们考虑（i）直接控制，（ii）惩罚，以及（iii）应用于HJBKVI问题的半拉格朗日离散化方案。方案（i）采用了一个贝尔曼问题的形式，涉及一个不一定是收缩的算子。我们考虑了Bellman问题的适定性，并给出了相应策略迭代收敛的充分条件。为此，我们使用弱链对角占优矩阵，它给出了弱对角占优M-矩阵的图论特征。我们比较了方案（i）——（iii）在以下示例下：（a）汇率的最优控制，（b）具有固定和比例交易成本的最优消费，以及（c）可变年金中有保证的最低提款利益的定价。我们发现应该避免使用方案（i）。
---
分类信息：

一级分类：Mathematics        数学
二级分类：Numerical Analysis        数值分析
分类描述：Numerical algorithms for problems in analysis and algebra, scientific computation
分析和代数问题的数值算法，科学计算
--
一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--

---
PDF下载：
--> Weakly_chained_matrices,_policy_iteration,_and_impulse_control.pdf (1.33 MB)

2022-5-9 07:22:19 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：proportional Quantitative inequalities Applications Computation

弱链矩阵、策略迭代和脉冲控制。阿齐姆扎德*P.A.福赛斯*与组合随机和脉冲控制问题有关的变分不等式（HJBKVIS）。特别地，我们考虑（i）直接控制，（ii）惩罚，以及（iii）应用于HJBKVI问题的半拉格朗日离散化方案。方案（i）的形式是一个涉及操作员的行李员问题，该操作员不需要控制。我们考虑Bellman问题的适定性，并给出相应策略迭代收敛的充分条件。为此，我们使用弱链对角占优矩阵，它给出了弱对角占优M-矩阵的图论特征。我们在以下示例下比较了方案（i）-（iii）：（a）汇率的最优控制，（b）具有固定和比例交易成本的最优消费，以及（c）在可变年金中定价保证的最低提款收益。我们发现应该避免使用方案（i）。关键词。Hamilton-Jacobi-Bellman方程，组合随机和脉冲控制，政策迭代，弱链对角占优矩阵，最优汇率，最优消费，GMWBAMS主题分类。65N06，93E201简介这项工作的动机是计算与组合随机和脉冲控制相关的Hamilton-Jacobi-Bellman拟变分不等式（HJBQVI）的数值解。这些问题的形式是：问题。找到HJBQVI0=F（t，x，u，Du（t，x），Du（t，x））的粘度溶液（见[17，定义2.2]）：-maxsupw∈W(U吴天宇- ρu+fw），μ- U在[0，T）×上(Ohm \\ ∧最大值（g）- u、 穆- u） 在+Ohm(1.1)*大卫·R。

加拿大滑铁卢滑铁卢大学切里顿计算机科学学院N2L3G1pazimzad@uwaterloo.ca和paforsyt@uwaterloo.caarXiv：1510.03928v4[math.NA]2017年9月24日在哪里Ohm 开放∧ Ohm,+Ohm:= （[0，T）×λ）∪（{T}×）Ohm),Lw:=L（t，x，w）是SDE的（可能退化的）发生器，fw:=f（t，x，w）是强迫项，而MIS脉冲（又称干涉）运算符mu（t，x）：=supz∈Z（t，x）{u（t，x+Γ（t，x，Z））+K（t，x，Z）}。（1.2）如果z（t，x）在特定点（t，x）为空，则μ（t，x）被理解为取该值-∞,对应于此时不允许有脉冲。我们主要研究HJBKVI问题的隐式离散化格式，这些格式不受显式格式通常的时间步长限制。特别地，我们考虑（i）直接控制，（ii）惩罚和（iii）半拉格朗日方案。半拉格朗日方案（用于[]中的HJBQVIs）与对应方案不同，它使用前一时间步的信息处理受控项。因此，仅在一阶项的系数内计算该模式的解。对于其他两种方案，需要迭代方法。本文分析的特定迭代方法是Howard’s，其性能较差，因为数值网格被重新定义[，§6.1]。应用于惩罚方案的策略迭代的收敛性证明是输入矩阵对策略迭代严格对角占优的一个微不足道的结果（5.2）。如下文所述，应用于直接控制方案的迭代收敛性是一个更微妙的问题。直接控制方案采用定点问题find v的形式∈ 使v=maxsupw∈WL（w）v+c（w），supz∈ZB（z）v+k（z）！（1.3）其中L（w）和B（z）分别是收缩矩阵和非扩张矩阵。

可以理解，上确界和最大值是基于元素的，控件是“行解耦的”（参见§2）。（1.3）2（iii）]。我们消除了这个限制。更重要的是，[]限制了可接受的控制集，并对B（z）（本研究中的假设（H2）是类似的）施加了一个强假设，以确保应用于（1.3）的策略迭代的重新收敛。不幸的是，问题（1.3）的合理实例（包括本工作中的示例）不一定满足此条件。我们证明，在较弱的假设下，（1.3）的解是唯一的。此外，当（H2）不能直接满足时，我们提供了一种通过考虑满足（H2）的“修正问题”来构造此解决方案的方法。粗略地说，我们通过从控制集中删除一些次优的控制来解决修改后的问题。然而，该程序是临时的（即，取决于问题）。矩阵。WCDD矩阵给出了弱对角占优M-矩阵的图论特征（定理3.5）。应用于（1.3）的政策迭代收敛的WCDD矩阵方法是直观的，并使用政策迭代（命题2.2）的著名结果建立。因此，人们自然会问，使用直接控制方案是否有好处。为了回答这个问题，我们将每个方案应用于以下示例：o汇率的最佳控制；o具有固定和比例交易成本的最优消费在可变年金中定价保证最低提款收益。由于不需要迭代方法，半拉格朗日格式每一时间步只需要一个线性解。然而，如上所述，如果控制出现在Lw的扩散系数中（或者如果基础过程是具有控制到达率的Lévy），则不能使用这种方案。我们发现，惩罚方案的表现至少与直接控制方案一样好。

两者产生几乎相同的结果，并且通常需要与直接控制方案大致相同数量的EVEN，每个时间步只需几次策略迭代即可收敛。我们提到，在有限的地平线设置中（T=∞), 在[]中，使用迭代最优停止法（一种理论工具[，第7章，引理7.1]来构建解决方案，并将其应用于数值实现[，]中，以数值方式考虑了具有超额和比例交易成本的最优消费。计算上，对于有限的地平线∞微分方程[18]，一种最近的替代方法，非常适合高维问题。在这项工作中，我们将注意力限制在三维或更低维度的问题上。为了继续关注脉冲控制的有趣方面，我们假设脉冲之间的u：ut，x，wσ：σt，x，战争速率为[13]）。这允许我们写Lwu（t，x）：=traceσ（t，x，w）σ|（t，x，w）Dxu（t，x）+ hu（t，x，w），Dxu（t，x）i。我们在这里提到的问题（1.3）也可以解释为行李员问题4。2（1.3）库什纳和杜普伊斯的专著（第39-40页）。在MDP的背景下，L（w）和B（z）分别捕获了折扣因子为非零和为零的状态下的跃迁概率。WCDD矩阵条件保证了4的收敛性。4该条件确保基础马尔可夫链（以正概率）到达ata状态，且不依赖于初始状态的非方差折扣。我们总结了以下一些主要发现：o矩阵迭代的可能奇异性。o我们建立了可证明收敛的技术来消除奇异性。

然而，应用这些技术取决于问题我们证明了应用于（单调）惩罚方案的策略迭代永远不会失败。对三个问题进行的数值试验证实，这种方案的性能至少与直接控制方案一样好（有时甚至更好）。为确保直接控制方案中的一致性，以及惩罚方案中的可比（如果不是更好的话）表现，需要额外的努力，这表明人们应该放弃直接控制方案。政策迭代的收敛性。§讨论WCDD矩阵。§给出了（1.3）假设的条件。其中给出了一个独立的MDP示例（示例4.2）。§介绍HJBQVI问题（1.1）的数值格式，以及后续§6.2政策迭代中给出的数值示例，我们将看到（1.1）的每个离散化格式都采用aBellman问题的形式：find v∈ 例如，支持∈P{-A（P）v+b（P）}=0（2.1），其中：P→ RM×Mandb:P→ RM。据了解，（i）P:=QMi=1Piis是非空集的唯一产物，（ii）控件是行解耦的：[a（P）]ij和[b（P）]i仅依赖于Pi∈ Pi，（iii）RM（分别为RM×M）上的顺序是元素级的：对于x，y∈ RM，x≥ y当且仅当xi≥ 对于所有i，和（iv）上确界由以下顺序诱导：{x（P）}P∈P 供应室∈Px（P）是一个包含分量supP的向量∈P[x（P）]i.LetSolve（A，b，x）表示通过初始猜测x调用线性解算器forAx=b（代数上，解算精确；实际上，使用迭代解算器，选择解算器会影响性能）。策略迭代算法由以下公式给出：“=1，2，…”的策略迭代（P，A（·），b（·），v）1。

.2.挑选这样的-A（P`）v`-1+b（P`=supP∈P{-A（P）v`-1+b（P）}3v`:=Solve（A（P`）、b（P`）、v`-1） 定义2.1（单调矩阵）。如果对于所有实向量v，Av，实平方矩阵是单调的（在格子的意义上）≥ 0意味着v≥ 0.我们使用以下假设：（H0）P7→ A（P）-1在集合{P]上有界∈ P:A（P）是非奇异的}。（H1）（i）A和（ii）对于allxinRM，存在-A（Px）x+b（Px）=供应∈P{-A（P）x+b（P）}。命题2.2（政策迭代的收敛）。假设（H0），（H1），a（P）是allPinP的一个单子矩阵。（v`）`≥1政策迭代定义的是不减损的v（2.1）Pin，最多为| P |迭代（即v | P |=v | P |+1=··）。（v`）的单调收敛性`≥（2.1）的唯一解可以被证明与定理类似。附录A第3条。参见[，定理2.1]了解当P为有限时有限终止的证明。实际上，P通常是有限的，在这种情况下（H0）和（H1）是微不足道的。备注2.3。理论。3建立了（2.1）（H1.ii）2.2排除（H1.ii）的解的存在性和唯一性，并警告称，在确定时，策略迭代可以替换为Av``≥1必须不减损。3弱链对角占优矩阵如果| aii |>Pj6=i | aij | a（WDD）定义为弱不等式，则我们说复矩阵的rowio:=（aij）是严格对角占优的（SDD）。定义3.1。如果：（i）A是WDD，则称复平方矩阵为弱链对角占优矩阵（WCDD）；（ii）对于每一行r，从r到SDD行p.M×MA的图形中存在一条路径：aij{，…，M}ijifaij=0。请注意，ifris本身就是一个SDD行，一个微不足道的路径→ 满足上述第（二）项的要求。WCDD矩阵的非奇异性在[]中得到了证明。为了方便读者，我们提供了一个基本的证明：引理3.2。WCDD矩阵是非奇异的。证据假设λ=0是a:=（aij）的特征值。

Letv 6=0是一个相关的特征向量| vr|≥ |vj | j格什戈林圆定理，|λ- arr |=|arr |≤Xj6=r | arj | vj |≤Xj6=r | arj |。由于是WDD，因此| arr |=Pj6=r | arj |，henceris不是SDD行。因此，存在一条路径r→ P→ · · · → PK其中PKI是SDD行。由于| arr |=Xj6=r | arj | vj |=Xj6=r | arj |，| vj | | arj | 6 | arp | vp |参数与上述参数r=pyields | app |=Pj6=p | apj |相同，Hencep不是SDD行。继续这个过程，pkis而不是SDD，这是一个矛盾。我们回顾了一些著名的矩阵类别：定义3.3。Z矩阵是一个实矩阵，具有非正的反对角线。定义3.4。M-矩阵是单调Z-矩阵。我们现在准备陈述WDD M矩阵的一个基本特征：定理3.5（特征化定理）。以下是等价的：（i）A是具有正对角线的WCDD Z-矩阵；（ii）A是WDD M矩阵。证据例如，[25，定理1.A]），（i）意味着（ii）后面跟着引理3.2。反之，由于M-矩阵具有正对角元素（一个推论，例如，[，定理1.K]），因此有必要证明WDD Z-矩阵∈ Rn×nwith3。1（ii）R {，…，n}行违反定义3。1（ii）。根据我们的假设，至少有一个是这样的，henceRis不是空的。在不丧失一般性的情况下，我们可以假设={，…，m}为1≤ M≤ n（否则，reorderA）。删除∈ rm表示元素都是统一的列向量。如果M=n，则A的每行和为零（即Ae=0），这意味着A是单数。如果m<n，A的块结构为B 0C D！B在哪里∈ Rm×m。因为违反定义3的行。1（ii）与区块B“隔离”，上述分区确保DIS WCDD。因此，通过引理3。2.线性系统dx=-Cehas有一个唯一的解x。此外，由于B的行和为零，Be=0。这就是thatAex=BeCe+Dx！=0，因此A是单数。

这种描述很严密：M矩阵不需要是WCDD（例如。1.-20 1).我们提到（i）意味着（ii）理论3。5出现在[]中。其中，具有正对角线的WCDD Z矩阵被称为正类型矩阵。据作者所知，文学作品中没有出现相反的情况。4不动点问题（1.3）4.1策略迭代的收敛性我们假设问题（1.3）中出现的=QMi=1WiandZ:=QMi=1zi是非空集的有限乘积。LetP:=QMi=1Piwhere Pi:=Wi×Zi×Diand 6=Di {0, 1} . （4.1）我们与每个ψ关联：=（ψ，…，ψM）inD:=QMi=1Dia对角矩阵ψ：=diag（ψ）。我们可以互换地使用ψ和ψ。我们写：=（w，z，ψ）∈ P在哪里∈ 旺兹∈ Z.我们可以通过取a（P）：=（I）将问题（1.3）转化为形式（2.1）- ψ）（I）- L（w））+Δψ（I）- B（z）B（P）：=（I）- ψ）c（w）+Δψk（z）（4.2）δLwBzcwkzgeneral，此后我们假设限制性较小的条件δ>0，而不是δ=1。在考虑受（4.1）和（4.2）、（4.3）约束的问题（2.1）的适定性之前，我们确定（4.3）的解集独立于δ：引理4.1的选择。对于δ=1的（4.3）解，当且仅当它是任意δ=δ>0的（4.3）解。附录B给出了上述证明。在续集中，我们利用了一个事实，即对于δ的特定选择，策略迭代可能会更快地收敛。作为一个激励示例，我们现在访问一个具有消失折扣的有限地平线MDP：示例4.2。让（Xn）n≥0是有限状态空间{，…，M}上的受控齐次马尔可夫链。stateis的控件是piin（4.1）的成员，writenpi:=（wi，zi，ψi）。马尔可夫链的转移概率areP（Xn+1=j | Xn=i）=wijifψi=0zijifψi=1，其中wi:=（wi1，…，wiM）≥0和wie=1（类似于forzi）。也就是说，Wandziar的成员是M维概率向量。

Letvi:=supP∈“体育”∞Xn=0U（Xn，P）n-1Ym=0D（Xm，P）X=i#适用于所有1≤ 我≤ M（4.4）1 2 3··Mψi=1ψ=0（a）1 2 3··Mψi=1ψ=0（b）图4.1.1：示例4.5中的可能矩阵b（z）图，其中U（i，P）：=ci（wi）如果ψi=0ki（zi）如果ψi=1和D（i，P）：=如果ψi=0，则为1/（1+ρ）；如果ψi=1，则为1。在上面的例子中，ρ>0是一个贴现因子。【引理5】证明了与（4.4）相关联的动态规划方程正好是（4.3）与[L（w）]ij:=wij/（1+ρ），[B（z）]ij:=zij，[c（w）]i:=ci（wi）和[k（z）]i:=ki（zi）。在上面，ψi=1的状态是具有消失因子的“故障”状态。事实上，对Allis要求ψi=0，会使我们回到一个非方差贴现因子问题，其适定性很容易确定。以下假设将被证明是最重要的：（H2）对于每一个hp:=（w，z，ψ）和ψi=1的状态i，在图B（z）中存在一条路径，从i到某个状态j（i），ψj（i）=0。（H3）对于eachP:=（w，z，ψ）inP，I- L（w）是一个带正对角线和i的SDD Z矩阵- B（z）是一个WDD z矩阵，其对角线满足0≤ [B（z）]ii≤ 1.定理4.3。假设（H0）-（H3）。（v`）`≥1政策迭代定义为不减损（4.3）Pin最多| P |迭代。证据（H2）和（H3）确保a（P）是具有正对角线的WCDD Z-矩阵。所设计的结果来自定理3.5和命题2.2。推论4.4。考虑例子4。2.假设（H0）-（H2）。（v`）`≥1按策略定义的迭代收敛到RMP（4.4）中的v。给出了一个满足（H2）的例子：例子4.5。考虑例子4.2。假设P中的所有P:=（w，z，ψ）满足ψ=0，如果1<i，则zij=0≤ j、 （4.5）这对应于（i）状态1下的非零折扣，以及（ii）从无状态到零折扣的转换是单向的（如果ψXn=1，Xn+1<Xna.s）。参见图4。1.1例如B（z）的图受（4.5）约束。4.2唯一性sletlv:=supw∈W{L（W）v+c（W）}和Bv:=supz∈Z{B（Z）v+k（Z）}。