协同对的投资组合优化：SDEs与机器学习

（23）收益的期望和方差：根据期望值算子的线性性质，组合的期望收益E（rp），isE（rp）=ENXi=1wiri=NXi=1wiE（ri）=NXi=1wiui=w>u，（24），其中uide表示资产i的预期回报，w>=[w，w，…，wn]，u=[u，u，…，un]>。投资组合回报率的方差V ar（rp）由V ar（rp）=E给出NXi=1wiri- E（rp）！= ENXi=1wi（ri- E（ri））！= ENXi=1wi（ri- E（ri））！NXj=1wj（rj- E（rj））=NXi=1NXj=1wiwjE[（ri- E（ri））（rj- E（rj））]|{z}：=σ（ri，rj）=NXi=1NXj=1wiwjσ（ri，rj）=w>σw，（25），其中∑表示资产收益的协方差矩阵，由定义为σ（ri，rj）的资产i和j之间的所有协方差组成。资产的方差为收益，构成协方差矩阵的对角线，为σ（ri，ri）。基于均值-方差准则的最优投资策略我们考虑由两种资产组成的投资组合。不确定性由概率空间建模(Ohm, F、 P）过滤（Ft）t≥0由二维布朗运动生成：（W，~W）。用X（t）和Y（t）表示两种资产在时间t的价格，动力学遵循（8）中的协整模型。投资行为由投资策略h=（h，h）建模。喂，你好∈ [0，1]，i=1，2，表示投资于该资产的总财富的百分比（见等式（17））。设h（t）和h（t）分别表示时间t时资产X和Y的投资组合权重。允许在固定期限t内连续调整持股。用vhtt表示与策略h相关的时间t时的投资组合价值，我们有Vh（t）=h（t）Vh（t）X（t）X（t）+h（t）Vh（t）Y（t）Y（t）Y（t），（26）初始财富Vh（t）=v。我们将我们的考虑限制在自我融资策略上，其中投资组合的价值仅因资产价格变化而变化，即没有资金流入或撤出[9]。

在这种情况下，财富过程的动态为Vh（t）=Vh（t）h（t）dX（t）X（t）+h（t）dY（t）Y（t）. （27）将所有可接受的策略集h=（h，h）进行Adenote，满足：（i）给定v>0，财富过程Vv，h（·）对应于w，h满意度Vv，h（t）≥ 0, 0 ≤ t型≤ T、 （28）（ii）高（T）≥ 0表示所有i=1，2，（iii）Pi=1hi（t）=1。投资策略，h∈ A、 如果不存在其他策略，则称为“最优”~h∈ a确保E（rp（h））≥ E（rp（￠h））和V ar（r（h））≤ 至少有一个不等式是严格的（见[11]）。我们定义了一个效用函数U（t，h），如【5】：U（t，h）=2τE【rp（t）】-σ[rp（t）]，（29），其中τ≥ 0是风险容忍系数。那么，根据[8]，我们有以下命题。命题1（均值-方差标准）。寻找均值方差准则的最优策略相当于效用最大化问题：具有约束的最大值（t）U（t，h）（30）oPNi=1hi=1，ohi≥ 0i、 以及（29）中给出的U（t，h）。因此，我们在方程（30）中有优化问题。从等式（20）中，我们得到了我们的投资组合的回报率，Rp，超过[t- t、 isRp（t）=Vh（t）-Vh（t-t） Vh（t-t） =Xi=1hi（t）Ri（t），（31），其中Ri是个人资产的回报率。我们投资组合的对数回报率，rpis givenbyrp（t）=hr（t）+hr（t），（32），其中ri（t）≈ Ri（t），如等式（22）所示。引理1。用Vh（t）表示与可接受策略h相对应的投资组合的价值∈ A、 然后：（i）投资组合收益预期- t、 t]isE（rp（t））=hE[rX（t）]+hE[rY（t）]。

（33）（ii）投资组合收益在[t]上的方差- , t] isV ar（rp（t））=hV ar[rX（t）]+hV ar[rY（t）]+2hhCov[rXrY（t）]，（34），其中r（Xt）=lnXtXt文本-t型r（Yt）=ln年初至今-t型资产X和YandoE的每日日志返回（rX（t））=（u-σ)t是资产价格X的预期收益率-t、 t]；oE（rY（t））=[lnaeut+（Y- a） e类-κt型-ce（2u+σ）t+de（u-κ+σηρ)t2（aeut+（Y-a） e类-κt）- ln（年初至今）-t） ]-（Y）-c-d） e2（η）-κ)t2（aeut+（Y-a） e类-κt） +是资产价格Y的预期回报率-t、 t]；oV ar（rX（t））=σt是资产价格X在期限内的收益方差[t-t、 t]；oV ar（rY（t））=ce（2u+σ）t（aeut+（Y-a） e类-κt） +de（u+σηρ）-κ)t（aeut+（Y-a） e类-κt） +（Y-c-d） e2（η-κ)t（aeut+（Y-a） e类-κt）-1是资产价格Y在期限内的回报方差[t- t、 t]；oCov（rX（t）rY（t））=lnbe（u+σ）t+（XY-b） e（σηρ-κ)税款2ut+（XY-aX）e（u-κ)t型是两种资产价格X和Y在地平线上的收益协方差[t- t、 t）]。证据见附录A平均方差标准的最佳权重在【17】中推导。我们陈述了[17]中应用于共同命名模型（8）的以下命题。提案2。

对于共同命名模型（8），问题（30）的最优解为：h*（t） =e∑-1（t）e∑-1（t）e+τΣ-1（t）M（t）-e∑-1（t）M（t）e∑-1（t）e∑-1（t）e, （35）e=[1，1，1]，M（t）=[E（rX（t）），E（rY（t））]，协方差矩阵为∑（t）=“V ar（rX（t））Cov（rX（t），rY（t））Cov（rX（t），rY（t））V ar（rY（t））#，其中上面给出了E（rX（t）），E（rY（t））和V ar（rX（t）），V ar（rY（t）），Cov[rX（t），rY（t）]。将这些公式替换为等式（35）中资产收益的期望、方差和协方差得到了均值-方差优化问题的最优策略。我们将在第5.3.2节中给出成对交易电力效用最大化问题的随机控制的数值示例。我们现在使用随机控制方法来解决电力效用最大化问题。在此，我们主要遵循[15]，但对资产价格的动态进行了修改。更具体地说，他们认为其中一项资产的价格动态是一个几何布朗运动，并将对数价差建模为一个Ornstein-Uhlenbeck过程。然而，我们假设资产价格的动态由方程（8）中的共同命名模型控制，其中一项资产遵循几何布朗运动，第二项资产的平均值在灰岩周围恢复。让(Ohm, F、 P）是具有过滤（Ft）t的完全概率空间≥0由二维布朗运动生成：（W，~W）。我们考虑与第3.1小节相同的市场：两种资产遵循共同命名模型（8）。我们假设在时间t=0时，初始财富v>0。最初的财富以保证金形式持有。为简单起见，我们假设保证金账户的利率为0，r=0。保证金账户限制一个人可以做空或做多的金额。持仓量可连续调整至固定水平T。投资行为由投资策略π=（π，π）建模。

这里，πi（t），i=1，2，表示在t时投资于第i项资产的总财富的百分比（见等式（17））。设π（t），π（t）分别为时间t时资产X和Y的投资组合权重。我们只允许成对交易：做空一项资产，做多另一项资产，金额相等，即π（t）=-π（t）。此外，我们仅考虑自我融资策略。我们在【10】中定义了容许控制和受控过程。定义2（对照）。给定R的子集U，我们用所有渐进可测过程的集π={πt，t表示≥ 0}值，单位为U。Uare的元素称为ControlProcess。用Vπ（t）表示时间t对应于策略π的投资组合的价值，由Vπ（t）=π（t）Vπ（t）X（t）X（t）+π（t）Vπ（t）Y（t）Y（t）给出。（36）与策略π=（π，π）相关的投资组合价值Vπ的动态由dvπ（t）=Vπ（t）给出π（t）dX（t）X（t）+π（t）dY（t）Y（t）（37）将X（t）和Y（t）的动力学替换为（37），我们得到：dVπ（t）=Vπ（t）hπ（udt+σdW（t））-πκX（t）Y（t）- 1.dt+ηdW（t）i、 （38）引理2。表示Z（t）：=X（t）Y（t）。对于共Telation模型（8），我们得出Z（t）具有动力学dz（t）=[u+η- σηρ - κ（Z（t）- 1） ]Z（t）dt+Z（t）（σdW（t）+ηdW（t））。（39）证明。根据伊藤商法则：dX（t）Y（t）=dX（t）X（t）X（t）Y（t）-dY（t）Y（t）X（t）Y（t）+dhY，Y Y Y（t）X（t）Y（t）-dhX，Y itX（t）Y（t）X（t）Y（t）。（40）用Z（t）表示Z（t）=Z（t）（udt+σdWt- κ（Z（t）- 1） dt公司-ηdW（t）+ηY（t）Y（t）dt-σηρdt）=[u+η- σηρ - κ（Z（t）- 1） ]Z（t）dt+（σdW（t）- ηdW（t））Z（t），（41），证明了引理。对于每个控制过程π∈ 我们重写二维态过程的动力学，P=（Vπ，Z），如下dp（t）=a（t，P（t），π（t））dt+b（t，P（t），π（t））dB（t）。（42）初始值P（t）=pand B=（W，~W）为二维布朗运动。过程P称为受控过程。

设[t，t]为0≤ t<t<∞ b相关时间间隔和定义Q：=[t，t）×R。系数函数a:Q×U→ R、 （43）b:Q×U→ R2×2，都是连续的。此外，对于所有π∈ U设a（·，·，π）和b（·，·，π）在C（Q）中。然后我们定义了定义3（容许控制）。表示所有容许控制的集合，我们称之为控制{π（t）}t∈如果以下条件成立（i），则[t，t]将被视为可接受k∈ N可积条件ZTt |π（s）| kds< ∞ （44）满足，（ii）相应的状态过程Pπ满足集，psupt∈[t，t]| Pπ（t）| k！<∞,（iii）只允许成对交易：做空一项资产，做多另一项π=-π. （45）由于我们考虑了自我融资投资组合，那么通过方程（45）状态过程的动力学，P=（Vπ，Z），变成Vπ（t）=Vπ（t）h（π[u-κ（Z（t）- 1） ]）dt+π[σdW（t））+ηdW（t）]i，Vπ（0）=V，dZ（t）=[u+η- σηρ - κ（Z（t）- 1） ]Z（t）dt+[σdW（t）- ηdW（t）]Z（t），Z（0）=Z。最优投资策略我们假设投资者的偏好由幂效用函数u（x）=γxγ（46）表示≥ 0和风险规避参数γ<1。我们的目标是最大化所有容许控制上的目标函数J，即确定容许控制π（·），使得对于每个初始值（t，v），下面的效用函数最大化：J（t，v，z；π）：=e[U（vπ（t））；Vt=v，Zt=z]。（47）优化问题是找到▄v（t，v，z）和π∈ Asuch that▄v（t，v，z）：=supπ（·）∈AJ（t，v，z，π）=J（t，v，z，π*). （48）考虑函数G（t，v，z），使G∈ C1,2（Q）。对应于随机控制问题（48）的Hamilton-Jacobi-Bellman（HJB）方程为Gt（t，v，z）+supπ∈ALπG（t，v，z）=0，（49）受终端条件G（t，v，z）=vγ的约束。

（50）与二维状态过程P=（v，z）相关的最小生成元LπG（t，v，z）（49）由LπG（t，v，z）=[π（σ- 2σηρ+η）vGvv+2π（σ- 2σηρ+η）vzGvz+（σ- 2σηρ+η）zGzz][π[u-κ（z-1） ]]vGv+[u+η- σηρ - κ（z- 1） ]zGz。（51）定理1。如果存在最优控制π*（·）然后G与值函数一致：G（t，v，s）=v（t，v，z）=J（t，v；π*).使用分离ansatz，我们将（49）中的三维HJB方程简化为以下二维PDE：△σ（γ-1） 快速傅里叶变换-∑γzfz-γ[u - κ（z-1） ]f+￠σ（γ-1） zffzz-~σγ[u - κ（z-1） ]zffz+￠σ（γ-1)[u + η- σηρ - κ（z- 1） ]ffz，f（T，z）=1，（T，z）∈ [0，T]×R，z∈ R、 （52）式中￠σ=σ- 2σηρ + η.此阶段的问题是，此PDE没有关闭的解决方案。这是一种非标准的偏微分方程，它不是高维的，但是非线性的，这使得使用有限差分方法或任何标准数值方法都不够充分。因此，我们建议使用“深伽辽金方法”来求解（52）中的偏微分方程。一旦找到了解，我们就可以把最优策略写成π*= -σzGvz+[u- κ（z-1） ]Gv￠σvGvv=-σz（fzvγ-1γ) + [u - κ（z- 1） [（fvγ-1γ）～σv（fvγ-2γ(γ -1))= -σzfz+[u- κ（z-1） ]f￠σf（γ-1)= -zfz（γ-1） f级-[u -κ（z-1)]~σ(γ -1). （53）详见附录B。3.3求解随机控制中的偏微分方程的深度学习（52）中没有非标准二维偏微分方程的解析解，我们使用[16]中提出的算法“Deep Galekin方法”（DGM）近似该解。DGMis是Galerkin方法和深度神经网络机器学习算法的结合。伽辽金方法是一种流行的数值方法，它寻求作为基函数线性组合的偏微分方程的简化形式解。深度学习算法（DGM）使用深度神经网络，而不是基函数的线性组合。

该算法是在成批随机采样的时间和空间点上训练的，因此是无网格的。简要回顾DGMIn一般情况，考虑具有d空间尺寸的PDE：ut（t，x；θ）+Lu（t，x）=0，（t，x）∈ [0，T]×Ohm,u（t，x）=g（t，x），x∈ Ohm,u（t=0，x）=u（x），x∈ Ohm （54）其中x∈ Ohm  Rd和L是所有其他偏导数的算子。目标是用深度神经网络f（t，x；θ）逼近U（t，x）。此处θ∈ Rk是神经网络参数。我们希望最小化与问题（54）相关的目标函数，该问题由三部分组成：1。衡量近似值满足PDE的程度：ft（t，x；θ）- Lf（t，x；θ）[0，T]×Ohm,ν. (55)2. 衡量近似值满足边界条件的程度：ft（t，x；θ）- g（t，x）[0，T]×Ohm,ν. (56)3. 衡量近似值满足初始条件的程度：ft（0，x；θ）- u（0，x）Ohm,ν. （57）这里，所有三个误差都是根据L-范数来测量的，即kf（y）kY，ν=RY | f（y）|ν（y）dy，其中ν（y）是区域y上的密度。以上三个项的总和为我们提供了与神经网络训练相关的目标函数：J（f）=ft（t，x；θ）- Lf（t，x；θ）[0，T]×Ohm,ν+ft（t，x；θ）- g（t，x）[0，T]×Ohm,ν+ft（0，x；θ）- u（0，x）Ohm,ν. （58）因此，目标是找到一组参数θ，使函数f（t，x；θ）使误差J（f）最小。当维数d较大时，通过直接最小化J（f）来估计θ是不可行的。因此，我们可以使用一种机器学习方法来最小化误差J（f）：随机梯度下降，其中我们使用随机抽取的时间和空间点序列。下面的算法1描述了DGM方法的算法。备注1。

学习率αn是一个可配置的超参数，用于神经网络的训练，控制根据估计误差改变模型的程度。每次更新模型权重时。学习率有一个很小的正值，通常在0.0到1.0之间。与[1]类似，我们设定α=0.001。请注意，我们的学习率αn必须随着n的增加而降低，请参见[16]，一种简单的方法是使用指数加权方法，其中αn← αn-1.* λ与λ∈ ]0，1[。在机器学习中，超参数是一个参数，其值是在学习过程开始之前设置的，而其他参数的值是通过训练得出的。算法1 Deep Galerkin Method（）需要：Lf（），u（），g（）确保：Ln+Ln+Lnis最小化生成随机点：1：（tn，xn）← U~ [0，1]2：（τn，zn）← U~ [0，1]3:wn← U~ [0，1]4：序号← （（tn，xn），（τn，zn），wn）计算平方误差：5:Ln←ft（tn，xn；θn）-Lf（tn，xn；θn）6： Ln公司←ft（τn，zn；θn）-g（τn，zn）7： Ln公司←ft（0，xn；θn）-u（0，wn）8： G（θn，sn）← Ln+Ln+Ln在随机点进行下降步骤：9：-argmaxθnG（θn，sn）10：αn← αn-1.* λ11：θn+1← θn- αnθG（θn，sn）重复，直到公差水平10-8为了达到收敛标准，DGM中使用的神经网络（NN）架构类似于长-短期网络（LSTM），尽管差异较小，请参见【16】。我们在下面描述了该神经网络的结构：S=σ（w·x+b）Zl=σ（uz，l·x+wz，l·Sl+bz，l）l=1，LGl=σ（ug，l·x+wg，l·Sl+bg，l）l=1，LRl=σ（ur，l·x+wr，l·Sl+br，l）l=1，LHl=σ（uh，l·x+wh，l·（Sl Rl）+bh，l）l=1，LSl+1=（1-德国劳埃德船级社）Hl+Zl Sll=1，Lf（t，x，θ）=w·SL+1+b带 表示阿达玛乘法、L层数和σ激活函数。下标的其余部分指的是图3和图4的神经网络架构中的神经元。备注2。

我们可以在图3中看到DGM[1，16]方法的鸟瞰图，在图4中可以看到其细节。【1，16】中解释了基本原理。在Merton问题上测试DGM该方法在[1]和[16]中分别用几个非线性高维偏微分方程进行了测试，包括非线性HJB方程。我们自己在HJBequation上对Merton问题的DGM算法进行了测试。更具体地说，图5和图6显示了DGM解决方案的分析和近似曲面图。图7显示了解析解和近似解之间的差异。近似值很好。大多数时候，误差在0%到1%之间。近似解在t=0附近也不适用（最大误差为4%，在t=0附近）。这与[1]中的发现相符。使用DGMRecall解决我们的PDE问题我们要解决的PDE在方程式（52）中给出。