随机最优控制中的半经典逼近Ⅰ.投资组合

（42）同样地，（24）中第三个方程的解可以显式地写成asS（t，x（t））=2γZTt(S（S，x（S）））TC（x（S））S（S，x（S））ds+zttrC（x（s））S（S，x（S））ds，（43）沿着特征x（s）。请注意，解决方案需要了解S，而S反过来又需要了解S。我们可以继续这个过程来解决Sn，但要了解解决方案的复杂性在n中增加。现在让我们考虑κ=-1，对应于CARA实用程序函数。这就是汉密尔顿的正则方程组：˙x（s）=0，˙p（s）=V（x（s）），˙z（s）=V（x（s）），其中V（x）由（29）定义。因此，x（s）=y，p（s）=-V（y）（T）- s） ，z（s）=-V（y）（T）- s） 因此，哈密尔顿-雅可比方程的解readsS（t，x）=-V（x）（T）- t） 。（44）此外，我们很容易发现这是（t，x）=trC（x）V（x）（T）- t） ，and（t，x）=tr（C（x）)V（x）（T）- t）分别是WKB层次结构的第二和第三个方程的解。S.Chaiworawitkul、P.Hagan和A.Lesniewski5广义Merton投资组合模型在本节中，我们用文献中经常讨论的一类投资组合模型来说明上面开发的扩展方法。也就是说，我们考虑一个资产组合，其价格动态形式为：dXi（t）=ui（Xi（t））dt+σi（Xi（t））dBi（t），Xi（0）=X，（45），即漂移ui（Xi）∈ R和σi（Xi）∈ R是Xionly的函数。上面的布朗运动Bi（t）是相关的，E[dBi（t）dBj（t）]=ρijdt。（46）如果我们设b（t）=Z（t）L，（47）其中Z（t）是标准的n维布朗运动，L是Cholesky分解中的下三角矩阵，ρ=LTL，则该动力学成为（2）的特例。如果我们认为资产的回报率和波动率只是该资产价格的局部函数，而资产之间的依赖性是投资组合的函数，那么模型规格（45）是自然的。

这类模型概括了Merton[17]，[18]引入和研究的动态投资组合模型。该模型中的协方差矩阵及其逆矩阵由cij（x）=ρijσi（xi）σj（xj），（C（x）给出-1） ij=（ρ）-1） ijσi（xi）σj（xj）。（48）因此，V（x）=κu（x）TC（x）-1u（x），（49）因此，xiV（x）=κdui（xi）dxi- ui（xi）d对数σi（xi）dxiXj（C（x）-1） ijuj（xj）。（50）因此，该模型的汉密尔顿方程为：˙xi=γ（C（x）p）i+ui（xi）,˙pi=-γπd logσi（xi）dxi（C（x）p）i+dui（xi）dxi- κdui（xi）dxi- ui（xi）d对数σi（xi）dxi（C（x）-1u（x））i.（51）这些方程受终值条件的约束：x（T）=y，p（T）=0。（52）随机最优控制我们考虑两个明确的例子：（i）对数正态资产组合，和（ii）均值回复正态资产组合。这些例子的一个特点是，半经典近似实际上是精确解。多元对数正态过程的最优控制。作为上述模型的特例，我们考虑n个资产的投资组合，每个资产都遵循对数正态过程，即ui（xi）=uixi，σi（xi）=σixi，（53），其中ui和σi分别是指收益率和对数正态波动率的常数系数。这基本上是原始的默顿模型。注意，在这个模型中，V（x）=κuTC-1u（54）为常数。这里我们将Cij=ρijσiσj设为1≤ i、 j≤ n、 汉密尔顿方程如下：˙xi=γ（C（x）p）i+uixi,˙pi=-γπxi（C（x）p）i+ui.（55）由于p（T）=0，第二个方程的唯一解pi（s）=0。因此，xi（s）=yie-（ui/γ）（T-t） （57）是受终端条件p（t）=y约束的第一个方程的唯一解。这些是Hamilton-Jacobi方程的特征。这意味着s（t，x）=κuTC-1u（T- t） ，（58）和sj（t，x）=0，（59）表示所有j≥ 1.

因此*i=AU（w）（C（x）-1u（x））i=AU（w）（C-1u）ixj。（60）半经典解是精确的，它与默顿的原始解一致。多元Ornstein-Uhlenbeck过程的最优控制。另一个可处理的投资组合模型如下。我们考虑n个资产的投资组合，每个资产都遵循Ornstein-Uhlenbeck过程，即ui（x）=λi（°ui- xi）和σi（xi）=σi，其中λiis是资产的平均回归速度，¨uiis是其平均回归水平，σiis是其瞬时波动率。注意，在这个模型中，V（x）是二次的，V（x）=κ（°u）- x） T∧C-1Λ(u - x） ，（61）S.Chaiworawitkul，P.Hagan和A.Lesniewskiwhere∧∈ Matn（R）是带有λi，i=1，n、 因此，哈密顿方程可以用封闭形式求解。事实上，我们发现它们形成了一个线性系统：滴滴涕xp= A.xp+ m、 （62）在哪里=-γ-1Λ γ-1C-κ∧C-1Λ γ-1Λ,m=γ-1∧¨uκ∧C-1Λu.（63）受终端条件p（T）=0和x（T）=y影响的系统（62）的溶液如下所示：x（s）p（s）= E-（T）-s） AY+ A.-1米！- A.-1m，（64），其中指数表示矩阵指数函数。这就是汉密尔顿-雅可比方程的特征。这种表示允许我们分别显式地构造Φtandψtin（36）和（40）映射。事实上，它们在y上是线性的，因此Φ是线性的-1t和ψ-1也是线性函数。作为（35）的结果，S（t，x）是x的一个可显式计算的二次函数。因为在当前模型中C与x无关，公式（42）暗示S（t，x）不是零，但与x无关。对WKB层次结构的检查立即显示，对于所有j，sj（t，x）=0，（65）≥ 2.因此，我们得到了以下最优控制公式：*=AU（西）C-1Λ(u - x） +S（t，x）, （66）无进一步更正。

与对数正态模型一样，这个半经典解变得精确。6.哈密顿-雅可比方程（27）允许闭式解的有趣情况的数值实现。事实上，即使在常数协方差矩阵的情况下，（27）通常也不能以闭合形式求解。在本节中，我们将讨论Hamilton-Jacobi方程的数值求解方法，以及（至少在原则上）整个WKB层次结构，这对于具有相对较大（/200）自由度的系统来说是有效且准确的。Letx（t）=Φt（y），p（t）=ψt（y），（67）随机最优控制表示具有终端条件（32）的Hamilton方程（31）的解。我们的目标是计算所有0的（t，x）和S（t，x）≤ T≤ T和x∈ U.这相当于通过特征线法对第4节中构造的解进行有效的数值实现。我们按照以下步骤进行。第一步。对于给定的终值y和每个t<t，计算x（t）=Φt（y）和p（t）=ψt（y）。第二步。给定x∈ U和t<t确定y，使得x（t）=x。这相当于反转函数y→ Φt（y）。第三步。给定x∈ U和t<t，计算S（t，x）。第四步。给定x∈ U和t<t，计算S（t，x）。现在我们将详细描述这些步骤。第一步。为了构造对（Φt，ψt），我们使用积分汉密尔顿方程[11]，[16]的St¨ormer-Verlet/leapfrog方法。其他流行的数值方法，如欧拉方法或龙格-库塔方法，在应用于哈密顿系统时往往表现不佳。这可以追溯到这样一个事实，即这些方法不考虑潜在的辛结构，尤其是不保留系统相空间中的体积。蛙跳法是一种巧妙的离散哈密顿系统的方法，可以定义辛映射。

作为额外的奖励，St¨ormer Verlet/leapfrog计划是order haccurate。具体来说，我们离散时间范围[t，t]，tk=t+kh，如果k=0，1，N、 （68）其中时间步长h=（T- t） /N被适当地选择。我们将连续时间哈密顿系统（31）替换为离散时间动力系统，并让^xk和^pk分别表示x（tk）和p（tk）的近似值。我们要求^xkand^pk遵循数值格式：^pk-= ^pk+hxH（^xk，^pk）-) ,^xk-1=^xk-HpH（^xk，^pk）-) + pH（^xk）-1，^pk-),^pk-1=^pk-+HxH（^xk）-1，^pk-),（69）我们引入了半区间值^pk-. 这些动量中间值的存在是蛙跳方法的关键，它保证了方案是辛的。请注意，（69）中的第一和第二个等式隐含在^pk中-和^xk-分别为1。计算导数得到^pk-= ^pk+h2γa（^xk）^pk-+h2γ^pTk-C（^xk）^pk-+HV（^xk），^xk-1=^xk-h2γC（^xk）+C（^xk）-1)^pk--h2γa（^xk）+a（^xk）-1),^pk-1=^pk-+h2γa（^xk）-1） ^pk-+h2γ^pTk-C（^xk）-1） ^pk-+HV（^xk）-1).（70）S.Chaiworawitkul、P.Hagan和A.Lesniewskit该系统受制于终端条件：^xN=y，^pN=0。（71）注意，（70）中的前两个关系通常不能明确地解决^pk-和^xk-分别为1，因此需要数值求解。这可以有效地实现，例如通过牛顿方法和初始猜测^pk-= ^pk和^xk-1=^xk。事实上，在实践中，牛顿方法的几次迭代可以得到非常精确的解。求解这个系统会得到一个近似的流图^Φt。在本节的整个提醒中，我们将抑制x、p等上的帽子。记住，所有的量都是真实值的数值近似。第二步。为了进行下一步，我们开发了一种算法，用于反转流动图Φt:U→ U如上所述。

根据常微分方程的存在性理论，x和Pd在终值y上平滑展开。因此，灵敏度yΦ和yψ满足以下方程组：ddtyΦ=pxHyΦ+ppHyψ，滴滴涕yψ=-xxHyΦ- xpHyψ，（72）受终端条件的影响yΦ（T，y）=I，yψ（T，y）=0。（73）这种类型的方程称为变分方程，参见例[10]。现在考虑变分系统（72）的近似值，其中H的二阶导数在恒定轨迹（x（t），p（t））=（y，0）下计算。因此，我们得到了以下具有常数系数的线性系统：˙F=Q（y）F+R（y）G，˙G=-U（y）F- Q（y）G，（74）其中矩阵Q、R和U由Q（y）=（κ+1）显式给出a（y）T，R（y）=（κ+1）C（y），U（y）=V（y）。（75）注意Ft（y）≡ F（t，y）是Φt（y），函数y的梯度→ Φt（y）。这个线性系统可以写成更紧凑的形式asddt前景= M（y）前景, （76）其中M（y）=Q（y）R（y）-U（y）-Q（y）, （77）终端条件下的随机最优控制英尺（y）燃气轮机（y）=我. （78）这个问题有一个独特的解决方案，即英尺（y）燃气轮机（y）= E-（T）-t） M（y）我, （79）其中，如前所述，指数表示矩阵指数函数。这个解决方案可以很容易地用计算机代码实现[9]。现在，我们的下一个目标是求解y方程Φt（y）- x=0。（80）为此，我们使用牛顿型方法。寻找梯度Φt（y）在计算上非常昂贵，并且可能会受到数值不准确的影响。幸运的是，为了收敛的目的，用我们刚刚明确计算的Ft（y）来近似它是足够的。在附录中，我们通过证明它收敛于足够小的T来证明这个过程。

下面的伪代码实现了这个搜索算法：eps← 10-13岁← 施乐← 1.0while（err>eps）z← Y- 英尺（y）-1（Φt（y）- x） 呃← kz- yky← z（81）上面的范数k·k表示Rn中常见的欧几里德范数。第三步。现在我们可以计算S（t，x）的值了。在Φy=3步中，我们发现-1t（x）。使用步骤1中解释的算法，我们构造离散轨迹（xtk，ptk）。我们把积分（35）写成[tk，tk+1]，S（t，x）=N上的积分之和-1Xk=0Itk，tk+1。（82）我们用L（x（s），p（s））表示（35）中的被积函数，并根据辛普森规则计算每个子积分：Ia，b=ZbaL（x（s），p（s））ds≈L（x（a），p（a））+4L（x（m），p（m））+L（x（b），p（b））（b）- a） ，（83）式中，m=a+b是a和b.S.Chaiworawitkul，P.Hagan和a.LesniewskiStep 4之间的中点。我们把（42）中的积分分解为[tk，tk+1]，S（t，x）=N上的积分之和-1Xk=0Itk，tk+1。（84）重复使用第3步计算的离散轨迹（xtk，ptk），我们使用辛普森规则计算每个子积分：Ia，b=ZbatrC（x（s））p（s，x（s））ds≈trC（x（a））p（a，x（a））+4C（x（m））p（m，x（m））+C（x（b））p（b，x（b））（b）- a） 。（85）中的一阶偏导数上述表达式中的p计算为中心有限差：xjpj（tk，x（tk））≈ptk+1- ptk-12（xtk+1）- xtk-1). （86）A效用函数的HARA族让U（v）表示一个效用函数，即二次可微凹函数。回想一下，与U（v）相关的绝对风险规避系数由au（v）定义：-U′（v）U′（v），（87），而相对风险规避系数由U（v）=-vU′（v）U′（v）=vAU（v）。（88）在本文中，我们考虑了以下四个效用函数：（1）双曲绝对风险规避（HARA）效用，UHARA（v；a，b，γ）=γ1- γa+bγv1.-γ. （89）（2）恒定相对风险规避（CRRA）效用，UCRRA（v；γ）=v1-γ1 - γ.

（90）注意γ是与该效用函数相关的（常数）相对风险规避系数，RU（v）=γ。随机最优控制（3）常数绝对风险规避（CARA）效用，UCARA（v；γ）=-E-γvγ，（91）注意，γ是与该效用函数相关的（常数）绝对风险规避系数，AU（v）=γ。（4） 对数（伯努利）效用，ULOG（v）=log（v）。（92）众所周知，HARA效用包括CRRA、CARA和对数效用函数作为极限情况。事实上，UCRRA（v；γ）=UHARA五、0, γ-γ/(1-γ), γ,UCARA（v；γ）=γlimc→∞UHARA（v；1，γ，c），ULOG（v）=limγ→1UCrA（v；γ）。第2节使用了以下命题。命题A.1设U为二次可微函数。比例-U′（v）U′（v）U（v）（93）是常数当且仅当U是HARA效用函数。在这种情况下，其值κ由κ给出=(1 - γ） /γ，对于HARA和CRRA公用事业，-1表示CARA实用程序，0表示日志实用程序。（94）这个命题的证明是一个简单的计算，我们省略了它。B修正牛顿法的收敛性本附录的目的是证明第6节中描述的牛顿法收敛，至少在时间范围T足够短的情况下是收敛的。我们的证明使用了熟悉的数值分析技术[21]和常微分方程组[3]。我们首先陈述以下一般事实。提议B.1让B Rn是一个紧集，设h:B→ B是一个两次连续可微函数。假设h有唯一的简单零y*∈ B、 h（y）*) = 0,h（y）*) 6= 0.（95）S.Chaiworawitkul、P.Hagan和A.LesniewskiLet F:B→ Matn（R）是一个连续可微函数，使得F（y）-1.盟友的存在∈ B、 满足以下两个条件。存在一个0<δ<1，如- F（y）-1.h（y）k≤ δ/2，（96）和kF（y）-1.h（y）k≤ δ/2，（97）对于所有y∈ B

然后mapf（y）=y- F（y）-1h（y）（98）是B自身的收缩。证明：我们很容易验证条件（96）和（97）暗示kf（y）k≤ 1.- δ、 一丝不苟∈ 因此，f是收缩。作为这个命题和收缩原理的结果，序列y=f（y）=y- F（y）-1h（y），y=f（y）=y- F（y）-1h（y），（99）y在哪里∈ B是任意的，收敛于y*.接下来，我们将证明上述主张适用于我们的具体情况。序列（99）将提供第6节中使用的修正牛顿法。命题B.2假设哈密顿量H（x，p）是三次连续可微的，并设H（y）=Φt（y）- x和F（y）=英尺（x）。然后，有一个T>0和一个紧集B 证明：根据常微分方程的一般理论（见[3]），我们首先注意到，在我们的假设下，存在一个T>0，使得ΦT（y）和ψT（y）是终值问题（31）-（32）的唯一解，并且它们对y有连续导数。此外，从（79）中可以清楚地看出，对于所有的y和maxy，Ft（y）都不是零∈BkFt（y）-1k<∞, （100）maxy∈Bk英尺（y）-1.k<∞. （101）现在，为了证明（96），证明给定η>0，有一个T>0，这样kf（y）就足够了- h（y）k≤ η、 （102）对于所有t≤ T的确，基- F（y）-1.h（y）k=kF（y）-1（F（y）- h（y））k≤ 麦克西∈BkF（y）-1kkF（y）- h（y）k≤ 常数×η。随机最优控制为了证明（102），我们设置dt（y）=yΦt（y）yψt（y）-英尺（y）燃气轮机（y）,andNt（y）=xpH（Φt（y），ψt（y））xpH（Φt（y），ψt（y））xpH（Φt（y），ψt（y））xpH（Φt（y），ψt（y））.然后Dt（y）满足以下微分方程组：˙Dt（y）=Nt（y）yΦt（y）yψt（y）- M（y）英尺（y）燃气轮机（y）= M（y）Dt（y）+Et（y），（103）其中Et（y）=（Nt（y）- M（y））yΦt（y）yψt（y）,根据终端条件DT（y）=I.HenceDt（y）=ZtTe（t-s） M（y）Es（y）ds。

（104）作为结果kdt（y）k≤ZtTke（t）-s） M（y）Es（y）k ds≤ 康斯特马克斯特≤s≤TkEs（y）k T≤ 常数max（x，p）∈B×PkH（x，p）kt，其中常数与T无关。集合P是Rn的一个有界子集，其中包含P（t）的向量，表示0≤ T≤ T由于上述最大值是有限的，我们得出结论kDt（y）k≤康斯特。条件（97）是（101）的结果，我们可以选择足够小的B，使kh（y）k小于任何给定的数。参考文献[1]Aguilar，C.O.和Kener，A.J.：最优控制贝尔曼方程的数值解，J.优化理论与应用，160527-552（2014）。[2] 《科学家和工程师的高级数学方法》，Springer Verlag（1999）。[3] Coddington，E.A.和Levinson，N.：常微分方程理论，McGraw-Hill（1955），[4]Courant，R.和Hilbert，D.：数学物理方法，第二卷，Wiley（1966）。S.Chaiworawitkul，P.Hagan和A.Lesniewski[5]Cox，J.C.和Huang，C.-F.：金融经济学中出现的变分问题，J.Math。经济。，20, 465 - 487 (1991).[6] 《偏微分方程》，美国数学学会（1998）。[7] 弗莱明，W.H.，索纳，H.M.：《受控马尔可夫过程和粘性解》，斯普林伯格出版社（1992年）。[8] Forsyth，P.A.和Labahn，G.：《金融中受控Hamilton-Jacobi-BellmanPDEs的数值方法》，J.Comp。《金融》，第11期，第1-44页（2007年）。[9] 《矩阵计算》，约翰·霍普金斯大学出版社（2012年）。[10] 古尔萨，E.：高蒂尔·维拉斯（Gauthier Villars，1927年）的《分析数学》课程。[11] Haier，E.，Lubich，C.，和Wanner，G.：《用theSt–ormerVerlet方法说明的几何数值积分》，数字学报，399 450（2003）。[12] 霍洛维茨，M.B.，达姆，A.和伯迪克，J。