风险敏感的紧凑型决策树在

RL执行代理通过决策树β表示，通过离散化表示学习的表格执行代理。Xvariable和X、X、X是环境状态变量。根据经验，我们将状态变量离散为follow-150-100-50 0 50 100 150风险敏感RL策略执行收益率0.0000.0050.0100.0150.0200.0250.0300.0350.040概率密度β=0，所有被动β=0.25β=0.5β=0.75β=1，在β学习的政策下执行收益率的所有积极分布。垃圾箱：X∈[0；A]∪ （A）+∞)十、∈(-∞; B]∪ （B）+∞)十、∈(-∞; C]∪ （C；C）∪ （C）+∞)十、∈(-∞; D]∪ （D；D）∪ （D；D）∪ （D）+∞),ABCCDDD公司∈ Rsame订单。图4显示了表格策略的片段，该片段随后通过将其行输入经典的Hunt算法（Hunt等人，1966）处理到图5中给出的决策树中，该算法确定了决策树的确切拓扑结构。状态变量1状态变量2状态变量3状态变量4操作………0≤ X1≤ A X2≤ B X3>C2X4>D3PassiveX1>A X2≤ B X3>C2X4>D3PassiveX1>A X2>B X3>C2X4>D3PassiveX1>A X2>B X3>C2D2<X4≤ D3攻击性EX1>A X2>B X3>C2D1<X4≤ D2攻击性EX1>A X2>B X3>C2X4≤ D1攻击性……………图4。表格优化执行策略的片段。4.3.

在模拟市场响应1x2xPassivePassivex1存在的情况下，与用于自主执行的基准ψ风险敏感紧凑决策树的比较≤ AX1>AX2≤ BX2>BC1≤ X3级≤ C2X3X3>C2X4>D2X4≤ D2Passivex4x4x4x4≤ D3PassiveX4>D3X4X3<C1X4≤ D1PassiveX4>D1X4AggressiveAggressiveFigure 5。决策树给出的执行代理的结构。图4给出了与突出显示的actionnodes相对应的表格策略行。给定参数β和一组给定的状态决策树执行代理的环境可实现32%的执行成本节约，但代价是成本的标准偏差增加27%-150-100-50 0 50 100 150风险敏感RL策略执行收益0.0000.0050.0100.0150.0200.0250.030概率密度历史基准IM基准RL策略与历史非RL基准策略相比。结论和未来工作，能够从历史数据中综合市场对攻击性交易的反应，以及风险敏感的Q-学习程序，该程序可以通过决策树生成紧凑的执行代理。市场参与者（Macal&North，2010）。我们还将学习（2）和（3）中给出的用于交易执行的综合数据的模型，作为在线RL培训的强化影响（Ruiz et al.，2019）。作为一种从丰富的特征集中捕获复杂依赖关系（尤其是时间依赖关系）的方法，并探索神经网络架构的简化，toHinton，2017年）。使用深度神经网络进行值函数逼近是最近开发的用于玩Atari和Go游戏的设计代理的关键思想（Mnih等人，2013；Silver等人，2016）。它在非线性基础价格动态方面取得了令人印象深刻的成果。

除其他外，adeep Q交易系统在（Wang et al.，2016）中介绍。递归神经网络（尤其是LSTM），以便更好地了解每种网络的优点。感谢Sauthors感谢Mark Rubery对手稿的有益评论。风险敏感的紧凑决策树，用于在存在模拟市场响应引用（Market ResponseReferencestransactions）的情况下自主执行。《风险杂志》，1999年。Bertsekas，D.P.《动态规划与最优控制》，第1卷。Athena Scientic Belmont，马萨诸塞州，1995年。Bouchaud，J.P.价格影响。arXiv:0903.2428v1，2017年。模型。《定量金融》，第251–256页，2002年。Buehler，H.、Gonon，L.、Teichman，J.和Wood，B.DeepHedgeting。arXiv:1802.030422018.12912015.1987。运筹学，14（1）：147–1611989年。软决策树。arXiv:1711.097842017年11月。Geist，M.、Scherrer，B.、Lazaric，A.和Ghavamzadeh，M.dantzig选择器时间差异学习方法。第29届机器学习国际会议记录，英国苏格兰爱丁堡，2012年。亨特，E.、马林，J.和斯通，P.归纳实验。学术出版社，1966年。《第16届国际情报不确定性会议记录》，第326-3342000页。在最小二乘时间差分学习中。加拿大蒙特利尔，2009年。《机器学习研究杂志》，第1107-11492003页。Liu，D.R.，Li，H.L.，和Wang，D.《特征选择和fealearning：一项调查》。《国际自动化与计算杂志》，12（3）：229–242，2015年。Lu，D.使用递归强化学习和lstm神经网络的代理启发交易。arXiv:1707.073382017。Macal，C.和North，M.基于agent的建模与仿真教程。模拟杂志，2010年。arXiv:1104.56012011。Mihatsch，O.和Neuneier，R.风险敏感强化学习。

机器学习，49:267–2902002。Antonoglou，I.、Wierstra，D.和Riedmiller，M.PlayingarXiv：1312.56022013.12（4）：875–8892001。系统10（NIPS 1997），1997年。学习优化交易执行。第23届机器学习国际会议记录，宾夕法尼亚州匹兹堡，2006年。系列，第80页，2000年。《决策树的归纳》。机器学习，1（1）：81–1061986。Ritter，G.《用于交易的机器学习》。风险，30（10）：84–892017。模拟2019年，路易斯安那州新奥尔良，国际学习表征会议纪要。Rummery，G.A.和Niranjan，M.使用1994年在线Q-learning。Safavian，S.R.和Landgrebe，D.《决策树人和控制论的调查》，21（3）：660–6741991年。Silver，D.、Huang，A.、Maddison，C.J.、Guez，A.、Sifre，L.、van den Driessche，G.、Schrittwieser，J.、Antonoglou，I.，D.、Nham，J.、Kalchbrenner，N.、Sutskever，I.、Lillicrap，T.、风险敏感紧凑型决策树，用于在模拟市场响应的情况下自主执行2016年。内政部：10.1038/nature16961。第17届自主智能体和多智能体系统国际会议ings，第434-442页，瑞典斯德哥尔摩，2018年。学习1985年，Sutton，R.S.学习通过时间差分方法进行预测。机器学习，3（1）：9–441988年。《地层处理系统》，第1057–10632000.98页，威斯康星州麦迪逊，1998年。Wang，Y.，Wang，D.，Zhang，S.，Feng，Y.，Li，S.，和Zhou，Q.深度Q交易。2016年，Watkins，C.J.和Dayan，P.Q-learning。机器学习，8（3-4）：279–2921992。连接主义强化学习的rithms。机器学习，8（3-4）：229–256，1992年。