微观结构极限订单模型中的算法交易

让我们检查命题3.2中定义的b是否满足定义3.1中的四个断言定义3.1的断言1和断言2在（HrewardsBis）下有效首先请注意，ra和rb的边界为√\'MK（我们记得K是订单簿每侧的限额数量，\'M是做市商允许在市场上发送的最大限额订单数量）。第二，pa∈ B（pa，K），pb∈ B（pb，K），其中B（x，r）是以x为中心的球，半径r>0，因为在我们的LOB模型中引入了极限条件。最后，我们可以看到| a |≤ |a |+a∞K、 这三个边界是线性的w.r.t.z，因此断言3成立φα（z）=zα仅通过其na、nb和ra、rb成分与z不同。但是|不|≤√\'M|a |+(R)M和| nb |≤√\'M|b |+(R)米以（a，b）的线性函数为界，| ra |和| rb |也以普适常数为界√(R)MK，因此定义3.1中的断言4成立。让我们定义∧：=（4K+2）sup（λM±| a |+| b |，λL±| a |+| b |，λC±| a（z）+b（z）|），这在（哈里瓦尔）下定义得很好。命题3.3如果b是（Zt）的边界函数，则b（t，z）：=b（z）eγ（z）（t-t） ，其中γ（z）=γ（4K+2）∧1+| a+| b|γ>0是MDP的一个边界函数，即对于所有t∈ [0，T]，z∈ E、 a∈ Az，我们有：| r（t，z，a）|≤ cgb（t，z），Zb（s，z）Q（ds，dz | t，z，a）≤ cφcQeC（T-t） 1+γb（t，z），其中C=γ∧K（4K+2）|a|∞+ |b类|∞.证据让z=x、 y、a、b、na、nb、ra、rb是发生exogenousjump之后的订单簿状态，前提是它在跳转之前处于状态z。自| a |起≤ |a |+a∞K和| b |≤ |b |+b∞,其中a∞和b∞定义为订单的边界条件，我们有：γ（z）≤ γ（z）+C，（3.12），其中C=γ∧K（4K+2）（a∞+ b∞).

然后，我们得到：Zb（s，z）Q（ds，dz | t，φα（z），α）=λ（z）ZT-te公司-λ（z）sZb（t+s，z）Qdz |φαs（z），αds=λ（z）ZT-te公司-λ（z）sZb（z）eγ（z）（T-（t+s））Qdz |φαs（z），αds公司≤ λ（z）ZT-te公司-λ（z）sZb（z）e（γ（z）+C）（T-（t+s））Qdz |φαs（z），αds公司≤ λ（z）ZT-te公司-λ（z）se（γ（z）+C）（T-（t+s）Zb（z）Qdz |φαs（z），αds公司≤ λ（z）ZT-te公司-λ（z）se（γ（z）+C）（T-（t+s））cQcφb（z）ds≤λ（z）cQcφλ（z）+γ（z）+Ce（γ（z）+C）（T-t）1.- e-（T-t） （λ（z）+γ（z）+C）b（z）≤ cQcφλ（z）λ（z）+γ（z）+CeC（T-t）1.- e-（T-t） （λ（z）+γ（z）+C）b（t，z），我们在第三行应用（3.12）。需要注意的是λ（z）λ（z）+γ（z）+C=λ（z）λ（z）1+γ+ γ∧（| a |+| b |）- λ（z）|{z}≥0≤1+γ，完成命题的证明。让我们用k.kb表示加权上确界范数，这样对于所有可测函数v:E→ R、 kvkb：=sup（t，z）∈E | v（t，z）| b（t，z），并定义集合：Bb：=nv:E→ R | v可测量，kvkb<∞o、 此外，让我们定义αb：=sup（t，z，α）∈E×RRb（s，z）Q（ds，dz | t，φα（z），α）b（t，z）。根据前面的估计，我们可以将αbas绑定如下：αb≤ cQcφ1+γeCT，因此，通过取：γ=cQcφeCT，我们得到：αb<1。在续集中，我们假设w.l.o.g.αb<1。回想一下，MDP的最大回报映射被定义为：tV:（T，z）7→ 苏帕∈亚利桑那州r（t，z，a）+λ（z）ZT-te公司-λ（z）sZv（t+s，z）Qdz |φa（z），ads公司很容易看出：kT v- T wkb≤ αbkv- wkb，（3.13），这意味着T正在收缩，因为αb<1。设M是Bb中所有连续函数的集合。因为b是连续的，（M，k.kb）是Banachspace。T发送M到M。实际上，对于Bb中的所有连续函数v，（T，z，a）7→ r（t，z，a）+λ（z）RT-te公司-λ（z）sRv（t+s，z）Qdz |φa（z），ads在[0，T]×EC上是连续的。Azis有限，因此我们得到了应用程序的连续性：T v：（T，z）7→ 苏帕∈亚利桑那州r（t，z，a）+λ（z）ZT-te公司-λ（z）sZv（t+s，z）Qdz |φa（z），ads公司.命题3.4存在T的最大化子，即。

让v∈ M、 然后存在一个borelian函数f:[0，T]×E→ A使得所有（t，z）∈ E： 电视t、 z，ft、 z= 苏帕∈A.r（t，z，a）+λ（z）ZT-te公司-λ（z）sZv（t+s，z）Qdz |φa（z），ads公司证据D*（t，z）=不适用∈ A.Tav（t，z）=t v（t，z）ois fite，因此它是紧凑的。So（t，z）7→ D*（t，z）是一个紧值映射。自应用以来（t，z，a）7→ Ta（t，z）- T（T，z）是连续的，我们得到D*=n（t，z，a）∈ E0CTav（t，z）=t v（t，z）ois borelian。应用可测选择定理得到最大化子的存在性。（见B¨auerle and Rieder（2011）p.352）引理3.2以下成立：supα∈AEαt，z“∞Xk=n | r（Tk，Zk）|#≤αnb1- αbb（t，z），特别是，我们有：limn→∞supα∈AEαt，z“∞Xk=nrtk，Zk#= 0.证明。通过条件作用我们得到Eαt，zhr（Tk，Zk）我≤ k的cgαbkb（t，z）∈ N、 对于所有α∈ A、 它需要求这个不等式的和来完成引理3.2的证明。我们现在可以证明定理3.1。证据我们将定理3.1的证明分为四个步骤。步骤1：不等式（3.13）和命题3.3意味着T是定义在Banach空间M上的一个稳定的收缩算子。Banach的不动点定理指出T承认一个不动点，即存在一个函数v∈ 这样v=T v，而且我们有v=limn→∞Tn0。请注意，Tn0与以下Bellman方程递归定义的vde一致：vN=0vn=T vN+1对于n=n- 1.0。（3.14）Bellman方程的解总是大于相关MDP的值函数（参见B¨auerle和Rieder（2011）中的定理2.3.7 p.22）。那么我们有：Tn0≥sup（fk）E（fk）nPn编号-1k=0r（tk，Xk）=: Jn，其中Jn是MDP的值函数，具有有限的地平线n和终端奖励0，与（3.14）相关。此外，根据B¨auerle andRieder（2011）中的引理7.1.4 p.197，我们知道Jn公司n收敛为n→ ∞ 达到我们用J表示的极限。

通过前面不等式中的极限，我们得到：limn→∞Tn0≥ J、 i.e.v≥ J、 （3.15）步骤2：让我们确定策略α∈ A、 然后取n∈ N、 我们表示Jn（α）：=E（αk）Pn编号-1k=0r（tk，Xk）,与离散有限时间范围{0，…，n}上的控制α相关的奖励函数。根据定义，我们有Jn（α）≤ Jn。我们通过让n→ ∞: 画→+∞Jn（α）=：J∞（α）≤ J、 在所有可接受的策略上取上确界最终导致：V∞≤ J、 （3.16）步骤3：让我们用f表示与v相关的T的最大化子，如命题3.4所述，它是存在的。v是T的固定点，因此v=Tnf（v），对于n∈ N、 此外，v≤ δ，其中δ：=supα∈AEhP公司∞k=0r+（Zk，αk）i，因此Tnf（v）≤ Tnf0+Tnoδ，其中Tnoδ=supαEαnhP∞k=nr+（tk，Zk）i.Lemma 3.2表示Tnoδ→ 0作为n→ ∞. 因此，我们得到：v≤ Jf。（3.17）步骤4：结论。自JF起≤ 五、∞（3.18）成立，我们通过组合（3.15），（3.16），（3.17）和（3.18）得到：V∞≤ J≤ v≤ Jf公司≤ 五、∞. （3.19）（3.19）中的所有不等式都是等式，这就完成了定理3.1.4的证明。做市商控制问题的数值解决在本节中，我们首先介绍一种算法，以数值解决一类具有有限视界的离散时间控制问题，然后将其应用于交易问题（3.1）。4.1。FrameworkLet我们考虑了一个有限水平N上的一般离散时间随机控制问题∈ N \\{0}。受控状态过程的动力学Zα=（Zαn）在RDI中的值由Zαn+1=F（Zαn，αn，εn+1），n=0，N- 1，Zα=Z∈ Rd，（4.1）和（εn）nis为i.i.d.序列。

在某些Borel空间（E，B（E））中取值，并在某些概率空间中定义的随机变量(Ohm, F、 P）配备由噪声（εn）n（平凡σ-代数）生成的过滤F=（Fn），控制α=（αn）是一个F适应的过程值 Rq，F是从Rd×Rq×E到Rd的可测量函数。给定Rd×Rq上定义的运行成本函数F，Rd上定义的终端成本函数g，与控制过程相关的成本函数αisJ（α）=E“N-1Xn=0f（Zαn，αn）+g（Zαn）#。容许控制集A是一组满足某些可积条件的控制过程α，确保成本函数J（α）定义明确。控制问题，也称为马尔可夫决策过程（MDP），用asV（x）：=supα表示∈AJ（α），（4.2），目标是找到最优控制α*∈ A、 即，达到最佳值：V（z）=J（α*).请注意，问题（4.1）-（4.2）也可以被视为连续时间到仓促控制问题的时间离散化，在这种情况下，F通常是受控微分过程的Euler格式。问题（4.2）采用动态规划方法解决。对于n=n，0时，时间n处的值函数VN表示为以下反向（Bellman）方程的解：（VN（z）=g（z）VN（z）=supa∈A.f（z，a）+Ean，z[Vn+1（Zn+1）], z∈ Rd，（4.3）此外，当DP公式中的最大值在任何时间n通过*n（z），我们得到反馈形式的非最优控制：α*= （a）*n（Z*n） ）n此处Z*= Zα*马尔可夫过程是否由z定义*n+1=F（Z*n、 a*n（Z*n） ，εn+1），n=0，N- 1，Z*= z、 文献中研究了两种常用的数值求解方法（4.3）：一种方法是使用局部回归方法，依赖于。

在量化方面，k-近邻或核函数通过容积法逼近条件期望；另一种方法是依靠onMC regression now或更高版本的方法，在n=0时，在时间n回归值函数Vn+1，N-1基函数或神经网络。参见例如Kharroubi et al.（2014）了解使用基函数的算法的回归后期方法，参见Balata和Palczewski（2017），参见例如Hur'e et al.（2018）了解基于回归后期技术的神经网络回归。4.2。Qknn算法的介绍和收敛速度在本节中，我们提出了一种基于k-nn估计的算法，用于值函数的局部非参数回归，以及用于量化外部噪声的最佳量化，以便数值求解（4.3）。让我们首先介绍量化近似的一些成分：o我们用ε表示E值随机变量εn+1的K量化器~ ε、 这是网格上的离散随机变量，Γ={e，…，eK} ek定义为ε=项目ε：=KX`=1elε∈Ci（Γ），其中C（Γ）。，CK（Γ）是Γ的Voronoi细分，即满足C`（Γ）的欧氏空间（e，|.|）的Borel划分e∈ E：| E- e ` |=minj=1，。。。，K | e- ej公司|.^ε的离散定律的特征是^p`:=p[^ε=e`]=p[ε∈ C`（Γ）]，`=1，K、 使L量化误差Kε最小的网格点（e `）- εklead是所谓的定时L量化器，可以通过随机梯度下降法、knownas Kohonen算法或竞争学习矢量量化（CLVQ）算法获得，该算法还提供了相关权重（^p`）的估计作为副产品。我们参考Pag\'eset al。

（2004）对算法的描述，并提到对于正态分布，Voronoi细分的最佳网格和权重是预先计算的，可在网站上获得http://www.quantize.maths-fi.como回顾动力学（4.1），条件期望算子等于toP^aMn（z）W（x）=EW（Z^aMnn+1）| Zn=x= EW（F（z，^aMn（z），ε））, z∈,我们将通过量化来近似分析：PV^aMn（z）W（z）：=EW（F（z，^aMn（z），^ε））=KX`=1^p`W（F（z，^aMn（z），e`））。其次，让我们介绍一下训练分布的概念，它将用于构建时间n时的值函数的估值器，对于n=0，N- 1、让我们考虑状态空间E上的度量值u。我们在续集中将其称为训练度量值。让我们取一个大整数M，对于n=0，N、 引入ΓN=nZ（1），Z（M）否，其中Z（m）nMm=1是R的i.i.d.序列。v、 遵循法律u。Γn应视为一个训练样本，以估计值函数Vnattime n。建议的算法如下：^VQN（z）=g（z），对于z∈ ΓN，^Qn（z，a）=PK`=1p` hf（z，a）+^VQn+1Projn+1Fz、 e`，ai、 ^VQn（z）=supa∈A^Qn（z，A），代表z∈ Γn，n=0，N- 1.（4.4）其中，对于n=0，N、 Projn（z）代表z的最近邻居∈ E在网格Γn中，即操作员z 7→ Projn（z）实际上是网格Γn上的欧几里德投影。在后半部分中，我们将（4.4）称为Qknn算法。我们将对（Zn）0的转移概率作出以下假设≤n≤N、 保证Qknn算法的收敛性。（Htrans）假设转移概率P（Zn+1∈ A.Zn=z，a）由Zn=z调节，当在时间n遵循控制a时，允许密度r w.r.t。训练度量u是一致有界的，lipschitz w.r.t是状态变量z，即。

存在krk∞> 0，这样对于所有z∈ E和控制u在时间n时取：| r（y；n，x，a）|≤ krk公司∞和| r（y；n，x，a）- r（y；n，x，a）|≤ [r] L | x- x |和r定义如下：P（Zn+1∈ OZn=z，u）=ZOr（y；n，x，a）du（y）。其中，我们用[r]l表示r w.r.t.x的Lipschitz常数。用Supp（u）表示u的支撑。我们将假定u和F上的平滑条件，以提供投影误差的界限。（Hu）我们假设Supp（u）有界，并用kuk表示∞最小实数，如SUPP（u） B（0，kuk∞). 此外，我们假设x∈ E 7→ uB（x，η）成为Lipschitz，uniformlyw。r、 t.η，我们用[u]Lits-Lipschitz常数表示。（HF）对于x∈ E和a∈ A、 假设F为L-Lipschitz w.r.t.噪声分量ε，即存在[F]L>0，因此对于所有x∈ E和a∈ A、 对于所有r.v.ε和ε，我们有：EF（x，a，ε）- F（x，a，ε）≤ [女]乐ε- ε现在，我们陈述本节的主要结果，其证明在附录A中推迟。定理4.1采用K=M2+dpoints对外部噪声εn，n=1，…，进行最佳量化，N存在常数[^VQn]L>0，仅取决于Lipschitz系数off、g和F，因此，在（Htrans）下，它适用于n=0。。。，N- 1，作为M→ +∞:k^VQn（Xn）- Vn（Xn）k≤NXk=n+1KKN-k∞h^VQkiLεprojk+[F]LεQk+ OM1/天, （4.5）式中εQk：=k^εk- εkk表示量化误差，εprojn：=supa∈AkProjn+1（F（Xn，a，εn））- F（Xn，a，^εn）k表示在时间n作出决定a时的投影误差。备注4.1（A8）中定义了常数[^VQn]L>0。从定理4.1中，我们可以推导出一致性，并提供估计量^VQn，n=0，…，的收敛速度，N-1，在状态空间上的一些相当严格但通常的紧性条件下。推论4.1在（Hu）和（HF）下，Qknn估计量^VQnis在n=0时一致。

N-1、量化取Md+1分时；此外，对于n=0。。。，N- 1，asM→ +∞:k^VQn（Xn）- Vn（Xn）k=OM1/天.证据我们将定理4.1的证明推迟到附录A.4.3。Qknn算法应用于订单控制问题（3.1）我们回顾了时间连续受控订单过程ZT的表达式=Xt、Yt、at、bt、nat、nbt、pat、pbt、rat、rbt如第3.2节所示，接受作为MDP的陈述。在第3.3节中，我们证明了与MDP相关的值函数的特征是极限为N→ ∞ 贝尔曼方程（3.14）。本节介绍了Qknn算法的一些实现细节，以便数值求解（3.14）。训练集设计受Fiorin等人（2018）的启发，我们使用乘积量化方法和随机化技术构建了我们预测的位于[0，T]×E上的训练集（Tn，Zn），其中Tn和Zn代表Z的第n次跳跃，以及时间Tn时Z的状态，即Zn=ZTn，代表n≥ 控制随机化的这一基本原则是在Z的动力学中用外源控制（ITn）n替代内源性控制≥0，如Kharroubi等人（2014）所述。为了减少这些符号，我们在时间Tn的控制中表示为n≥ 0.初始化。集合：ΓE={z}和ΓT={0}。将对照组随机化，例如在每个时间步上使用A上的均匀分布，然后模拟随机化过程以生成（Tkn，Zkn）N，Dn=0，k=1。对于所有n=1，N，setΓTn={Tkn，1≤ k≤ D} ，表示与n次跳跃时间Tn的量化相关的网格，并设置ΓEn={Zkn，1≤ k≤ D} 它代表与时间Tn时Z的状态Znof的量化相关的网格。备注4.2在强化学习文献中，我们选择训练集的方式通常被称为探索策略。

当然，如果一个人有想法或很好地猜测到哪里可以最佳地推动受控过程，那么她不应该遵循探索式策略来构建培训集，而应该使用猜测来构建培训集，这在强化学习和随机强盗文献中被称为利用策略。我们参考Balata等人（2019），了解探索策略的其他几个应用，以构建培训集。请注意，这是所有基于Q学习的算法的根源。有关Q学习的更多详情，请参见Sutton和Barto（2018）。设F和G为Borelian函数，使得Zn=F锌-1，dn，英寸和Tn=G田纳西州-1.n、 在中,哪里n~ E（1）表示时间噪声，Dn表示状态噪声，表示n≥ 0、让我们≥ 1并考虑TVn，ZVnNn=0，按尺寸投影Tn、Zn在网格上Nn=0ΓTn×ΓEn，n=0，N，即TV=0，ZV=z，和TVn=项目GTVn公司-1.n、 在中, ΓTn,ZVn=项目FZVn公司-1，dn，英寸, ΓEn, 对于n=1，NTVn、ZVn、Inn∈{0，N}是一个马尔可夫链。然后确定TVQn，ZVQnNn=0as时间噪声量化版本TVn、ZVn、InNn=0。注意，我们不需要量化空间噪声，因为这种噪声已经具有一定数量的状态。设εnbe与n、 过程TVQn，ZVQnNn=0定义如下：ZVQ=z，TVQ=0和1.≤ n≤ 编号：TVQn=项目G^tn-1，εn，In, ΓTn,ZVQn=项目FZVn公司-1，dn，英寸, ΓEn.表示为VVQ，（N，D）NNn=0 Bellman方程的解与TVQn，ZVQnNn=0：（BVQN，D）：VVQ，（N，D）N=0VVQ，（N，D）N（t，z）=r（t，z，a）+supa∈AnEat，zhVVQ，（N，D）N+1TVQn+1，ZVQn+1io，对于n=0。