潜在alpha模型中的带学习的交易算法

因为可接受的控制是F-可预测的，而不是G-可预测的（完全过滤），最大化（2.7）是一个部分信息的控制问题。直接用部分信息解决控制问题是非常困难的，因为大多数用于处理完整信息的工具不再有效。前者需要一种间接方法，首先，我们为状态变量过程的动力学找到一种替代的F适应表示法；其次，我们扩展状态变量过程，使其在使用马尔可夫控制时变为马尔可夫。该方法的关键步骤是找到当时可用的过滤减少条件的最佳猜测。3、过滤由于投资者无法观察到Θt，她希望对其价值做出最佳猜测。对Θtwill分布的最佳猜测可能是Θtconditional在当时之前积累的信息上的分布。因此，她希望计算πjt=E{Θt=θj}英尺, j∈ J过滤过程π=（{πjt}j∈J） t型∈[0，T]是F–与初始条件π={π}j相适应∈J、 它代表后潜在状态分布（考虑到投资者在t之前积累的所有信息）。定理3.1。假设Novikov条件经验值ZT（金）+λ+u+λ-u杜邦< ∞ （3.1）保持。然后，滤波器π接受分量为πit=λit，JXj=1∧jt，（3.2）的表示，其中∧=（{∧jt}j∈J） t型∈[0，T]。如果σ>0，对于每个i∈ J、 ∧Its解决SDEd∧it∧it-= σ-2Ait公司-干膜厚度- b（dN+t- dN-t）+ （λ+，it-- 1） （dN+t- dt）+（λ-,它-- 1） （dN-t型- dt）+Xj∈J∧jt-∧it-!Ci，jdt（3.3），初始条件∧=π。如果σ=0且At=0，则对于每个i∈ J、 ∧Its解决SDEd∧it∧it-= （λ+，it-- 1） （dN+t- dt）+（λ-,它-- 1） （dN-t型- dt）+Xj∈J∧jt-∧it-!Ci，jdt，（3.4），初始条件相同。证据见附录A。当CCC=0时，过程∧允许一个简单的闭式解。

这种情况对应于潜在制度在交易期[0，T]内保持不变的情况，换句话说，就是参数不确定性的情况，但模型不会在整个交易期内在制度之间切换。当CCC 6=0时，通过使用George et al.（2004）中概述的方法，大多数情况下可以合理地近似过滤器的解决方案，这将在第6节中进一步讨论。对于滤波器πt的规范化版本也存在SDE，然而，为了简单起见，我们跟踪过程∧，并定义函数（稍微滥用符号）πj:RJ+7→ [0，1]通过πj（Υ）=Υj，JXi=1Υi，Υ ∈ RJ+，（3.5），因此πjt=πj（λt）。这种将∧映射为π的选择保证了pjj=1πjt=1，即使在数值近似时也是如此（3.3）。4.F-Dynamics投影在这一节中，我们证明了价格动态和强度过程存在一个F适应的表示。论点的顺序类似于（B¨auerle和Rieder，2007年，第3节），适用于可观测过程同时包含跳跃项和分歧项的情况。首先，定义G-适应鞅MMM=（M+t，M-t） t型∈[0，T]是泊松过程N的补偿版本，即M±T=N±T-Ztλ±udu。（4.1）下面的定理提供了必要的成分，以提供状态过程的F适应表示。定理4.1。如果σ>0，确定过程CW=（cWt）t∈[0，T]，cM=（cM+T，cM-t） t型∈[0，T]通过以下关系式cwt=Wt+σ-1Zt澳大利亚-bAu公司du，（4.2a）cM±t=M±t+Ztλ±u-bλ±tdu，（4.2b），其中ba=（bAt）t∈[0，T]和bλ±=（bλ±T）T∈[0，T]是过滤后的漂移和强度，定义为bat：=E[在| Ft]和bλ±T：=Eλ±t | Ft.

然后，（A）过程cw是F适应的P布朗运动；（B） processcM是一个F-适应P-鞅；和（C）[cW，cM±]t=0和[cM+，cM-]t=0，P–几乎可以肯定。（D） N±是P-强度bλ±的F-适应双随机泊松过程。如果σ=0且A=0，则定义=（cM+t，cM-t） t型∈[0，T]如（4.2b）所示。然后，（B）和（D）保持[cM+，cM-]t=0，P–几乎可以肯定。证据见附录B。定理4.1告诉我们，N±，除了被视为具有P-强度λ±的G-适应双系统泊松过程外，还可以被视为具有P-强度λ±的F-适应双系统泊松过程。也就是说，对于F和G过滤，N±是一个双随机泊松过程，但强度不同。定理4.1允许我们用F-可预测形式asdFt来表示F的动力学=bAt+b（bλ+t-bλ-t）dt+bdcM+t- dcM公司-t型+ σdcWt。（4.3）我们还要注意，因为At=Pj∈J{Θt=θJ}aj和λ±t=Pj∈J{Θt=θJ}λJ，±t，因为{Aj:J∈ J} 如果是F适应的，我们可以采用关于Fttoyield thatbAt=Pj的条件期望∈JπjtAjtandbλ±t=Pj∈JπjtλJ，±t。因此，我们可以定义函数bA:R+×R×Z+×RJ+7→ R和bλ±：R2J+×RJ+7→ R+asbA（t，F，N，∧）：=Xj∈JπJ（λ）A（t，F，N，θJ）和bλ±（λλλ，λ）:=Xj∈JπJ（λ）λ±，J，（4.4），因此bat=bA（t，Ft，Nt，λt），bλ±t=bλ±（λλt，λ∧∧∧t）。因此，过程集合（F，N，λ，λ）是F自适应的。因此，在容许集内，对应于最大化（2.7）的最优控制问题可以看作是一个关于扩展状态变量过程（Sν，F，N，Xν，Qν，λ，∧）的完全信息问题。该状态过程的联合动力学是allF自适应的，不依赖于过程Θ。

因此，投资者完全可以看到扩展状态过程的动态，从而将我们不知道状态变量动态的部分信息控制问题简化为完全信息控制问题。在下一节中，我们通过使用扩展状态变量动力学对每个ν都是F自适应的这一事实来解决这个控制问题∈ A、 因此，动态规划原理可以应用于优化问题（2.7），我们推导了新问题的动态规划方程。解决动态规划问题5.1。动态规划方程使用Sνand Qνtin（2.2）和（2.1）的定义，我们可以写出SνtasSνt=Ft+β（Qνt- N） ，（5.1）我们也可以写xνt=-νt（Ft+β（Qνt- N）- aνt）dt，（5.2），允许独立于Sν定义Xν。因此，交易者的客观标准（2.7）变为XνT+QνT（FT+β（QνT- N）- αQνT）- φZT（Qνu）du. （5.3）对于（5.2）给出的X，交易者的目标函数不依赖于过程sν的值。在本节的其余部分，我们将使用上述定义作为贸易商的客观标准。为了优化客观标准5.3，我们使用以下事实： ν ∈ A、 （3J+5）维状态变量过程Zν=（F，N，Xν，Qν，λ，λ）是F自适应的，因此，交易者可以看到动态。首先，让我们定义函数lhν（t，Z）=Et，ZXνT+QνT（FT+β（QνT- N）- αQνT）- φZTt（Qνu）du, （5.4）和值函数h（t，Z）=supν∈AHν（t，Z），（5.5），其中我们使用Et，Z[·····]表示给定初始条件Zνt的期望值-=Z=（F，N，X，Q，λ，λ）∈ D、 式中，D=R×Z+×R×R×R2J+×RJ+。Hν的定义意味着Hν（0，Z），其中Z=（F，00，X，N，λ，πππ）是方程（5.3）中定义的客观标准。

此外，控制ν？∈ A是最优的，如果满足ν？（0，Z）=H（0，Z）。（5.6）给定状态变量动力学的F-适应版本，对于任何MarkovAdminsible controlν∈ A、 存在一些函数g:R+×D，使得νt=g（t，Zνt）。对于此类控制，函数H必须满足动态规划原则，并且动态规划方程（DPE）（参见，例如，（Pham，2009，第3章））适用。我们特定问题的DPE表明H满足PDE-φq+supν∈R{(t+Lν）H（t，Z）}=0，H（t，Z）=X+Q（F+β（Q- N）- αQ），（5.7），其中Lν是状态过程Zν的最小生成器，使用F的动力学和N的强度的可预测表示，给定固定的控制ν。此外，算子Lν作用于函数f:R+×D 7→ R、 在t中一次可微分，在F、λ、∧和所有（成分方向）交叉导数中二次可微分，在X、Q中一次可微分，如下LνF=νQf公司- ν（F+β（Q- N） +aν）Xf+(R)Lf，其中'L是过程（F，N，λ，λ）的最小生成器，使用其F–可预测表示，它独立于控制ν。生成器的这一部分可以是相当通用的，因为我们还没有明确说明强度过程动力学的精确性质，这是分离生成器这一部分的动力。5.2. 维数缩减动态规划方程（5.7）可以通过引入ansatzH（t，Z）=X+Q（F+β（Q））来简化- N） ）+h（t，`（Z）），其中Z=（F，N，X，Q，λ，λ）∈ D、 我们写`（Z）=（F，N，Q，λ，λ）∈ R×Z+×R×R2J+×RJ。然后，PDE（5.7）对h的PDE进行了显著简化，0 = -φQ+t+(R)Lh（t，`）+QbA（t，F，N，∧）+bbλ+（λ，λ）-bλ-(λ, Λ)+ supν∈R（βQ+Qh）ν- aνh（T，`）=-αQ，（5.8），其中函数sba和bλ±在方程（4.4）中定义。

此PDE表示此问题的反馈控制应为ν？（t，Z）=2a（βQ+Qh（t，`（Z）））。（5.9）换句话说，PDE（5.8）的第二行在ν？如上所述。5.3. 解决上面提供的DPEThe ansatz允许我们确实找到PDE（5.7）的解决方案，该解决方案在下面的命题中提出。提案5.1（候选解决方案）。PDE（5.7）允许经典解HH（t，Z）=X+Q（F+β（Q- N） ）+h（t，χ（Z））+Q h（t，χ（Z））+Qh（t），其中χ（Z）=（F，N，λ，λ）。设，Et，χ[···]表示以初始条件（Ft）为条件的期望-, Nt公司-, λt-, ∧t-) = χ、 并确定常数γ=pφ/a和ζ=α-β+αγ-β-γ。如果α-β 6=√aφ，thenh（t）=-aγζeγ（T-t） +e-γ（T-t） ζeγ（t-t）- e-γ（T-t）+β（5.10a）h（t，χ）=ZTtEt，χhbAu+b（bλ+u-bλ-u） 我ζeγ（T-u）- e-γ（T-u） ζeγ（T-t）- e-γ（T-t）du（5.10b）h（t，χ）=4aEt，χZTt（h（u，χu））du. （5.10c）（ii）如果α-β =√aφ，thenh（t）=-aγ+β（5.11a）h（t，χ）=ZTtEt，χhbAu+b（bλ+u-bλ-u） ie-γ（u-t） du（5.11b）h（t，χ）=4aEt，χZTt（h（u，χu））du, （5.11c），其中χt=χ（Zt）。证据见附录C.1。在本文的其余部分，我们将关注α-β >√aφ，因为在大多数应用中，交易者希望在交易期限结束时完全清算，因此α 1，而√aφ相对较小。上述命题和方程式（5.9）表明，投资者应采用的最佳交易速度是ν？t=2a（2小时（t）+β）Qν？t+2ah（t，χt）。（5.12）该最优交易策略是两个条件的组合（i）以2a（2h（t）+β）Qν为代表的经典AlmgrenChriss（AC）清算策略？t；和（ii）一个术语，该术语根据预期的未来中等价格变动调整策略，用2ah（t，χt）表示。根据hin（5.10b）（或（5.11b））的表示，后一项是资产中期价格预期未来漂移的加权平均值。

因此，如果根据其当前信息，交易员认为资产中间价漂移将在交易期的剩余时间内保持极大的正值，她将购买更多与AC策略相关的资产。这是合理的，因为她知道，一旦资产价格上涨，她将能够以更高的价格出售资产。当她预计资产价格漂移在交易期的剩余时间内基本保持负值时，情况恰恰相反。（5.12）中的结果说明了投资者如何使用过滤器πt来预测当前潜在状态的后验概率，从而根据其对资产中价未来路径的预测不断更新其策略。此外，这里的解决方案与Cartea和Jaimungal（2016）得出的结果非常相似，但它明确地包含了潜在信息和资产价格的跳跃。直接计算hd中出现的期望值并不容易。然而，这一期望有一种替代性的表现。对于任何u≥ t、 we havet，χhbAu+b（bλ+u-bλ-u） i=Xj∈JπJ（λ）Et，χ，θJAu+b（λ+u- λ-u）, （5.13）式中，Et，χ，θj[····]表示初始条件下的期望条件（Ft-, Nt公司-, λt-, ∧t-) =χ和Θt=θj。上述rhs中的替代形式几乎总是更容易计算lhs的直接计算。接下来，我们提供了一个验证定理，证明命题5.1中的候选解与方程（5.5）中定义的值函数H完全相等。定理5.2（验证定理）。假设h是PDE（5.8）的解，α-β6=aγ。LetbH（t，Z）=X+Q（F+β（Q- N） ）+h（t，`（Z）），其中`（Z）=（F，N，Q，λ，∧）。bh等于（5.5）中定义的值函数H。此外，控制ν？t=2a（2小时（t）+β）Qν？t+2ah（t，`（Zt））（5.14）是最优的，并且满足（t，Z）=Hν？（t，Z）。（5.15）证明。

见附录C.2。上述定理保证上述控制确实解决了第2.3节中提出的优化问题。回顾过去，对于具有部分信息的雷达优化问题的最优控制是马尔可夫控制。关键步骤是为过程F的动力学引入可预测的表示，并扩展原始状态过程，以包括潜在状态Θ的非正规后验分布∧。5.4. 零终端库存一种有用的限制情况是，交易者被迫在时间T之前消除其市场敞口。这对应于取极限α→ ∞ 得到的最优控制简化为tolimα→∞ν?t=- γcoth（γ（T- t） ）Qν？t+2aXj∈JπJ（λt）ZTtEt，χt，θJAu+b（λ+u- λ-u）sinh（γ（T- u） ）sinh（γ（T- t） （）杜。（5.16）第二个有趣的情况是，额外采取不连续库存惩罚的限制，在这种情况下，最优策略的结果是limφ→0limα→∞ν?t=-T- tQν？t+2aJXj=1πj（λt）ZTtEt，χt，θjAu+b（λ+u- λ-u）T- 美国犹他州- t型杜。（5.17）该策略对应于时间加权平均价格（TWAP）策略加上对资产中期价格加权预期未来漂移的调整。对于各种模型，上述最优控制的所有表达式都可以以闭合形式计算。在下一节中，我们将提供两个明确且有用的示例，通过数值实验来说明策略的动态行为。6、数值示例在本节中，我们将进行一些数值实验，以测试第5节中开发的最佳交易算法的性能。示例显示了使用两个模型设置的情况下，最优交易是如何执行的。6.1. 均值回复差异本节调查交易员希望在某个特定时间T之前清算其库存的情况。

资产价格被假定为一个完全不同的OrnsteinUhlenbeck过程——或者，我们可以将此中间价视为成对交易策略中的长短仓位数量。交易者知道均价回归的波动性和速度，但不知道价格恢复到什么水平。在此示例中，平均回归水平将在交易期间保持不变【0，T】。更具体地说，我们假设以美元为单位的资产中间价具有动态dft=κ（Θ）- Ft）dt+σdWt，（6.1），其中Θ是取集合{θj}j中值的随机变量∈概率{πj}j的j∈J、 它随时间保持不变，但其价值对交易者是隐藏的。该模型不包含任何跳跃，因此我们可以忽略变量N和λ。如第3节所述，当Θ时间常数时，过滤器存在一个精确的闭合形式。对于（6.1）中的区域切换OU模型，非归一化滤波器的精确解为∧jt=πjexpnσ-2.Rtκ（θj- Fu）dFu-vRtκ（θj- Fu）duo、，j∈ J、 （6.2）因为在实践中，F只被离散观察到，所以上面的积分是用适当的黎曼和来近似的。交易者观察F的频率越高，过滤器就越准确。α时最优控制的解→ ∞ 可以精确计算为ν？（t，F，Q，∧）=- γcoth（γ（T- t） ）Q+JXj=1πj（λ）κ（F- θj）ZTte-κ（u-t） sinh（γ（t- u） ）sinh（γ（T- t） ）du。对于模拟，这里，我们假设资产价格均值返回两个可能的值，因此J=2，我们设置θ=4.85美元和θ=5.15美元。

此外，我们假设投资者在这两种可能性上具有同等的优先权，因此π=π=0.5。表1.0 0.2 0.4 0.6 0.8Time-1.6-1.4-1.2-1-0.8-0.6交易速度（8美元）#1040.010.020.030.040.050.060.07-20-10 0 10 20 30每股超额收益（基点）00.020.040.060.080.1概率P（损益>0）=74%4.9 5.1 5.2 5.3每股清算价值（00.020.040美元）0.06概率图1：模拟结果与Ornstein-Uhlenbeck过程n=10，F=5美元，σ=0.15，β=10美元-3，κ=2，a=10美元-5, φ = 2 × 10-表1：OU模型中的参数。所有时间敏感参数均以小时为单位确定。在模拟样本路径时，我们使用Θ=5.15美元生成路径。交易员需要在观察价格路径时检测该值。图1显示了模拟的结果。右上方的面板包含两个模型后验概率的热图。它表明，随着时间的推移，平均交易者将检测到平均回归的真实速率θ=5.15美元。此外，到交易期结束时，她平均至少97%的人认为模型2是管理资产价格的真实模型。图1中左上角的图表显示了投资者交易速度的热图，其中虚线表示经典的AC策略。虚线和虚线代表交易员策略的中位数。