微观结构极限订单模型中的算法交易

，D，ODE的基本理论提供了（5.7）解的存在性和唯一性，由λms=λm给出+λm- λme-Dβ（s-t） ，对于s∈ [t，t]，且m=1，D、 自g级s=fs+PDm=1dλmsdsfλm，然后g（t，z）=g（z）-RTtF（s，z，λs）ds，最终导致T（F）的以下表达式：T（F）=F（T，z，λ）=G（z）-ZTtF公司s、 z，λsds。（5.8）将（5.8）中的F替换为T（F），我们得到F是T的固定点o Tif且仅当：f（t，λ，z）+DXm=1ZTtλmsfs、 z，λsds=G（z）-DXm=1ZTtλmssupa∈Azf公司s、 eam（z），λs+αmds。注意f（s，λs，z）e-PDj=1Rstλjudus=-DXm=1λmse-PDj=1Rstλjuduspa∈Azf公司s、 eam（z），λs+αm,因此：f（t，λ，z）=G（z）e-PDm=1RTtλmsds+DXm=1ZTtλmse-Rstλudusupa∈Azf公司s、 eam（z），λs+αmds=G（z）e-PDm=1RTtλmsds+supa∈AzEat，λ，zfT、 Z，λT+αm, （5.9）其中，t是大于t的N的第一次跳跃时间，我们表示Z=ZT。方程（5.9）显示了T的固定点o它的特征是：T（f）=G（z）e为任何足够光滑的函数f定义的算子T的固定点-PDm=1RTtλmsds+supa∈AzEat，λ，zhfT、 Z，λT+αmi、 式中，Eat，λ，z[.]表示由事件λt=λ和Zt=z条件下的期望，当在时间t作出决定a时。我们在这里认识到（5.6）中定义的价值函数的最大回报运算符。PDMDP的基本理论表明，最大报酬算子T允许V为一个固定点，从而完成了步骤2。结论在本文中，我们通过将问题改写为具有有限视野的马尔可夫决策过程，从理论和数值上解决了订单簿不同微观结构模型的一般做市问题。这种新的表示方法为做市商的最优策略提供了一个简洁的描述，这种策略可以通过本文提出的一些量化和控制随机化思想来实现。其他算法，如基于强化学习的算法（参见。

Sutton和Barto（2018）第6.5章介绍了（深度）Q-learning，和/或Gu’eant和Manziuk（2019）介绍了其在做市中的应用，看起来特别适合使用MDP表示来解决做市问题，尤其是在高维度的背景下。所提出的方法可适用于解决与一般受控点过程相关的理论和数字控制问题。致谢我们要感谢匿名推荐人对第一版论文的宝贵意见。参考Abergel，F.，Anane。，A、 ，Chakraborti，A.、Jedidi，A.和Muni Toke，I.，《限制订单书》，2016年，剑桥大学出版社。Avellaneda，M.和Stoikov，S.在限额订单簿中进行高频交易。量化金融，2007,8217–224。Balata，A.、Hur\'e，C.、Lauri\'ere，M.、Pham，H.和Pimentel，I.，一类有限维数值可解的McKean-Vlasov控制问题。ESAIM会议记录和调查，2019，65。Balata，A.和Palczewski，J.对马尔可夫过程的最优控制进行了蒙特卡罗回归。eprintarXiv:1712.097052017。Baradel，N.、Bouchard，B.、Evangelista，D.和Mounjid，O.，《最优库存管理和订单账簿建模》。arXiv:1802.08135，2018年。B–auerle，N.和Rieder，U.，《马尔可夫决策过程及其在金融中的应用》，2011，Springer。Cartea，A.和Jaimungal，S.，为算法和高频交易建模资产价格。AppliedMathematical Finance，2010，20（6），512–547。Cartea，A.和Jaimungal，S.，风险度量和高频交易策略的微调。。数学金融，2013，25（3），576–611。Cartea，A.、Jaimungal，S.和Ricci，J.，《低买高卖：高频交易视角》。《金融数学杂志》（SIAMJournal on Financial Mathematics），2014年，第415-444页。Cartea，A.，Penalva，J。

和Jaimungal，S.，算法和高频交易，2015年，剑桥大学出版社。Cont，R.、Stoikov，S.和Talreja，R.，订单动态的随机模型。运筹学，2007，58549–563。El Aoud，S.和Abergel，F.，期权做市的随机控制方法。。世界科学出版公司，2015年，1（1）。Fiorin，L.、Pag\'es，G.和Sagna，A.，《应用于金融的差异过程的产品马尔可夫量化》。《应用概率的方法和计算》，2018年，第1-32页。Fodra，P.和Pham，H.，马尔可夫更新模型中小风险规避的高频交易和渐近性。《暹罗金融数学杂志》，2015a，6（1），656–684。Fodra，P.和Pham，H.，市场微观结构的半马尔可夫模型。《应用数学金融》，2015b，22（3），261–295。Graf，S.和Luschgy，H.，《概率分布量化基础》，第1730卷，2000年，柏林海德堡斯普林格出版社。Gu’eant，O.，《市场流动性的金融数学：从最优执行到做市》，2016年，查普曼和霍尔/CRC。Gu’eant，O.、Lahalle，C.A.和Fernandez Tapia，J.，处理库存风险。数学与金融经济学，2012，7477–507。Gu’eant，O.和Manziuk，I.，《公司债券做市深度强化学习：击败维度诅咒》。arXiv预印本arXiv:1910.132052019。Guilbaud，F.和Pham，H.，具有限额和市场订单的最佳高频交易。QuantitativeFinance，2013，13（1），79–94。Gyor fi，L.、Kohler，M.、Krzyzak，A.和Walk，H.，非参数回归的无分布理论，2002年，Springer。Hawkes，A.G.，一些自激和互激点过程的光谱。Biometrika，1971年，第58,83–90页。Ho，T.和Stoll，H.，交易和回报不确定性下的最优经销商定价。

《金融经济学杂志》，1979年，第9期，第47-73页。Huang，W.、Lehalle，C.A.和Rosenbaum，M.，模拟和分析订单数据：队列反应模型。《美国统计协会杂志》，2015年，110（509），107-122。Hur\'e，C.、Pham，H.、Bachouch，A.和Langren\'e，N.，《有限时域上随机控制问题的深层神经网络算法：收敛性分析》。arXiv:1812.043002018年。Jacquier，A.和Liu，H.，大型股票一级限额指令簿中的最优清算。SIFIN，2018，9（1），875–906。Kharroubi，I.，Langren\'e，N.和Pham，H.，全非线性HJB方程的数值算法：控制随机化方法。蒙特卡罗方法与应用，2014，20，145–165。Lehalle，C.A.、Othmane，M.和Rosenbaum，M.，《基于流动性的最佳交易策略》。arXiv:1803.056902018。Massouli\'e，L.，一类一般交互点过程动力学和应用的稳定性结果。随机过程及其应用，1998，75（1），1–30。Muja，M.和Lowe，D.，使用自动算法配置快速近似最近邻。计算机视觉理论与应用国际会议（VISAPP），2009年。Pag\'es，G.、Pham，H.和Printems，J.，《最佳量化方法和数值金融问题的应用》。《金融数值方法手册》，S.T.Rachev和G.A.Anastassiou编辑，第7章，第253-2982004页（Birkhauser：波士顿）。Rosu，I.，限额订单簿的动态模型。《金融研究回顾》，2008年，第22期，第4601–4641页。Sutton，R.S.和Barto，A.G.《强化学习：导论》，2018年第二期，麻省理工学院出版社。附录A：定理4.1和推论4.1的证明我们将定理4.1和推论4.1的证明分为以下引理。引理A.1旨在限制投影误差。它依赖于Gyor fi等人。

（2002），见第93页，以及为完整起见，B节中所述的Zador定理。引理A.1假设d≥ 取K=Md+2点作为εn的最佳量子化，然后它在（Hu）和（HF）下保持不变，作为M→ +∞,εprojn=OM1/天, （A1）其中我们提醒εprojn：=supa∈AkProjn+1（F（Xn，a，εn））-F（Xn，a，^εn）k表示平均投影误差。证据让我们取η>0，并观察pProjn+1F（Xn，a，εn+1）- F（Xn，a，εn+1）> η= E“MYm=1E”| Xt，（m）n+1-F（Xn，a，εn+1）|>√ηXn，εn+1##=E1.- uBF（Xn，a，εn+1），√ηM,所有x的位置∈ E和η>0，B（x，η）表示中心x和半径η的球。自x 7起→ （1）-x） Mis M-Lipschitz，我们通过应用Zador定理得到：Projn+1F（Xn，a，εn+1）- F（Xn，a，εn+1）> η≤ M【F】L【u】Lk^εn+1- εn+1k+E1.- uBF（Xn，a，εn+1），√ηM=M【F】L【u】LK1/d+E1.- uBF（Xn，a，εn+1），√ηM+ OMK1/天,随着外部噪声量化的点数K变为+∞, 其中，Ms表示网格的大小Γn。让我们引入一个。。。，AN（η），Supp（u）的三次分区，其界限在（Hu）之下，例如对于所有j=1，N（η），aj具有直径η。此外，请注意，存在c>0，这仅依赖于Supp（u），例如n（η）≤cηd.（A2）如果x∈ Aj，然后Aj B（x，η），因此：Eh（1- u（B（Xn，η）））Mi=N（η）Xj=1ZAj1.- u（B（x，η））Mu（dx）≤N（η）Xj=1ZAj1.- u（Aj）Mu（dx）。（A3）还要注意：N（η）Xj=1u（Aj）1.- u（Aj）M≤N（η）Xj=1maxzz（1- z） M级≤e-1N（η）M.（A4）组合（A3）和（A4）导致H（1- u（B（Xn，η）））Mi≤e-1N（η）M.（A5）设L=2kuk∞表示支架的直径u。

然后我们得到，作为M→ +∞,EProjn+1F（Xn，a，εn+1）- F（Xn，a，εn+1）=Z∞PProjn+1F（Xn，a，εn+1）- F（Xn，a，εn+1）> ηdη≤ZLM[F]L[u]LK2/d+P|Projn+1F（Xn，a，εn+1）- F（Xn，a，n+1）|>√ηdη=ZLmin1，e-1N(√η） M级dη+OMK1/天=ZLmin1，cη-下午2点！dη+OMK1/天=Z（c/（eM））（2/d）1dη+ZL（c/（eM））（2/d）cη-d/2eMdη+OMK1/天=~cM2/d+OMK1/天, （A6）式中，c定义为c：=qdd-2.ce公司1/d，我们使用（A5）和（A2）从第二行到第三行。对于外生噪声的最佳量化，仍然需要取K=Md+1分，然后取等式的平方根（A6），以便导出（A1）。引理A.2假设d≥ 3，取K=Md+2点作为εn的最佳量化，和letx∈ E、 然后它在（Hu）和（HF）下保持不变，如M→ +∞:εprojn（x）=OM1/天,式中，εprojn（x），定义为εprojn（x）：=supa∈AkProjn+1（F（x，a，εn））- F（x，a，^εn）k，表示状态x证明下的后期投影误差。按照与证明引理A.1相同的步骤，我们证明：PProjn+1F（x，a，εn+1）- F（x，a，εn+1）> η=M【F】L【u】LK1/d+E1.- uBF（x，a，εn+1），√ηM+ OMK1/天,作为K→ +∞, 此外，E1.- uBF（x，a，εn+1），√ηM≤e-1N（η）M，成立，这足以完成引理A.2的证明。引理A.3在（HF）下，对于n=0，N存在康斯坦斯^VQniL>0，因此对于x，x∈ E、 它保持为M→ ∞:^VQn（x）-^VQn（x）≤h^VQniLx个- x个+ OM1/天. （A7）此外，对于n=0，…，下列界限保持在h^VQniL上，编号：h^VQNiL≤ [g] Lh^VQniL≤ 当n=0时。。。，N- 1.（A8）证明。让我们通过归纳法证明^VQNis-Lipschitz。首先，注意（A7）在终端时间n=n时成立，如果一个defineh^VQNiLash^VQNiL=[g]L。让我们取x，x∈ E、 假设^VQn+1（x）-^VQn+1（x）≤h^VQn+1iL | x- x |+OM1/天对于某些n=0，N- 让我们看看^VQn（x）-^VQn（x）≤h^VQniLx个- x个+ OM1/天,其中，H^VQniLis定义于（A8）。

注意，根据动态规划原理和三角不等式，它成立：| VQn（x）-^VQn（x）|≤ [女]Lx个- x个+ 苏帕安^VQn+1Projn+1（F（x，a，εn+1））-^VQn+1Projn+1F（x，a，εn+1）我≤ [女]Lx个- x个+h^VQn+1伊苏佩Projn+1（F（x，a，εn+1））- F（x，a，εn+1）+ OM1/天≤[f] L+h^VQn+1iL[f]Lx个- x个+ OM1/天≤h^VQniLx个- x个+ OM1/天,这就完成了（A7）的证明。我们现在开始定理4.1的证明。证据（定理4.1的）组合不等式| u+u+u|≤ 3.|u |+| u |+| u|这对所有人都适用∈ 带不等式的Rsupi公司∈Iai公司- supi公司∈Ibi公司≤ supi公司∈I | ai-bi |适用于所有家庭（ai）i∈土地（bi）i∈Iof reals，and all set I，我们有：k^VQn（Xn）- Vn（Xn）k≤ 3 E“supa∈AEn，Xn^VQn+1Projn+1（F（Xn，a，εn+1））-^VQn+1（F（Xn，a，^εn+1））+ 苏帕∈AEn，Xn^VQn+1（F（Xn，a，^εn+1））-^VQn+1（F（Xn，a，εn+1））+ 苏帕∈AEn，Xn^VQn+1（F（Xn，a，εn+1））- Vn+1（F（Xn，a，εn+1））#式中，En，xn表示由状态Xnat时间n条件下的期望值。它保持为M→ +∞,使用引理A.3：k^VQn（Xn）- Vn（Xn）k≤ 3h^VQniLE“苏帕恩，Xn|Projn+1（F（Xn，a，εn+1））- F（Xn，a，εn+1）|+ supaEn，Xn|F（Xn，a，εn+1）- F（Xn，a，εn+1）|#+ 3韩元∞Eh |^VQn+1（Xn+1））- Vn+1（Xn+1））| i+OM1/天（A9）在（HF）下，（A9）可以重写为：k^VQn（Xn）- Vn（Xn）k≤ 3h^VQniL[女]L(Qn）+(projn）+ 3公里∞k^VQn+1（Xn+1）- Vn+1（Xn+1）k+OM1/天.（4.5）然后是归纳法，这完成了定理4.1的证明。证据（关于推论4.1）推论4.1通过插入Lemma提供的投影误差的界而简单明了。1和Zador定理提供的量化误差之一转化为（4.5）。附录B:Zador定理定理B.1（Zador定理）让我们取n=0，N，并用K表示外部噪声εN量化的点数。假设E|εn | 2+η< +∞ 对于某些η>0。

然后，存在一个普适常数C>0，例如：limM→+∞Mdk^εn- εnk= CProof公司。关于定理B.1的证明，我们参考Graf和Luschgy（2000）。