使用异步流的实时群集配置

因此，正百分比表示算法决策在交易日创造了价值。为了测试我们算法的有效性，我们将其性能与随机代理和买入持有代理进行了比较。随机代理在每个决策点随机选择动作，即不使用学习的Q矩阵。这将允许我们测试我们的算法是否至少比随机选择动作更好。买入并持有代理不采取交易行为，而是在交易日的持续时间内持有初始库存。这将使我们能够测试一个习得的交易政策是否比什么都不做更好。该表显示了三种药物的日终PnL分布的最小值、下四分位数（LQ）、平均值、中位数、上四分位数（UQ）、最大值和标准偏差。表3。总结了算法测试的结果。LO Wealth Maximiser代理与Randomagent（在每个交易机会中随机选择操作）和Buy and Hold代理进行比较，前者不进行交易，后者保留当天的初始库存。算法从每个交易日09:05开始，到16:30结束。这些结果总结了调查期间（2012年10月1日至2012年11月30日）每天记录的日终（16:30）PnL的分布。AGL PnL（作为初始投资组合价值的百分比）模型最小LQ平均UQ最大标准DevLO财富最大化-2.16-0.38 0.12 0.18 0.53 2.77 0.98随机-2.62-1.10-0.61-0.48-0.24 1.30 0.87买入并持有-3.87-0.83-0.01-0.22 0.65 3.19 1.39基于表3中的结果，我们发现，在本次调查期间，LO wealth maximiser代理比random代理和buy-10 2017年5月4日预印˙002和hold代理产生的平均值和中位日终PnL显著更好。

事实上，LO wealthmaximiser的整个分布更为正偏，这表明，总体而言，该代理生成了一个适度但为正的每日PnL。这是非常重要的，因为在经过5段时间的初始化以重新确定转换概率矩阵后，在没有事先培训的情况下，代理能够足够快地学习有用的策略，以便在交易日结束时生成正的PnL。虽然需要进行更多的测试，改变表2中的参数，并考虑更长（和不同）的调查期，但这些结果表明，本章中建议的方法可能是一个有效的框架，用于部署有目的的交易代理，这些代理能够在流化市场数据源时识别可利用的结构，并足够快地学习政策。图2至图6展示了在线算法在交易日不同阶段的典型运行，显示了识别状态（左上角）、主要转移概率矩阵（右上角）、投资组合PnL、股票中间价、最佳出价和最佳出价水平（左下角）以及当前Q矩阵值（右下角）。对于转移概率矩阵和Q矩阵值，绿色表示其正值（越深越高），红色/橙色表示较低的值（越深越低），灰色表示未初始化的状态转移/状态动作对。

在当前的PnL图中，绿点表示购买决定，红点表示出售决定，点的大小与数量成正比。2017年5月4日预印本˙00210-10月9日5时23分确定了AGLJ的暂时状态。J从2012年开始-10-10 09:05至2012-10-10 16:59估计周期=5min，重采样周期=min，阈值=0.05状态时间当前转移概率矩阵状态（t）状态（t+1）1 2 3123当前质量矩阵状态1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 19 20 21123121 2 3 4 6 701000 2000当前PnL（行动：购买0股）（库存：839现金：90084.25投资组合回报：0.53%）PnLTime1 2 3 5 7252254256股票中间价图2。09:35的状态。演示仅长期财富最大化算法，从10万兰特现金和800 AGL股份开始。左上图显示了自交易程序启动（09:05）以来的识别状态，其中同一行中的块表示相同的状态。右上角的图显示了当前基于已识别状态的经验一步转移概率矩阵。左下角的图表以绿色（右Y轴）和蓝色（左Y轴）显示股票中间价、最佳出价和最佳出价。投资组合PnL由当前投资组合价值（以当前中间价标记为市价的存货+现金）与初始投资组合价值之间的差异决定。绿色圆点表示购买行为，红色圆点表示出售行为，圆点的大小与购买/出售的数量成正比。

右下角的图显示了当前的Q矩阵值，说明了每个状态动作对的预期累计折扣奖励。2017年5月4日12日预印本˙00210-10月9日5时23分确定了AGLJ的暂时状态。J从2012年开始-10-10 09:05至2012-10-10 16:59估计周期=5min，重采样周期=min，阈值=0.05状态时间当前转移概率矩阵状态（t）状态（t+1）1 2 3123当前质量矩阵状态1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 19 20 211231231 2 3 4 5 6 6 7 8 9010002000当前PnL（行动：购买35股）（库存：874现金：81180.6投资组合回报：0.42%）PnLTime1 2 4 6 7 9252254256股票中间价图3。09:45的状态。演示仅长期财富最大化算法，从10万兰特现金和800 AGL股份开始。左上图显示了自交易程序启动（09:05）以来的识别状态，其中同一行中的块表示相同的状态。右上角的图显示了当前基于已识别状态的经验一步转移概率矩阵。左下角的图表以绿色（右Y轴）和蓝色（左Y轴）显示股票中间价、最佳出价和最佳出价。投资组合PnL由当前投资组合价值（以当前中间价标记为市价的存货+现金）与初始投资组合价值之间的差异决定。绿色圆点表示购买行为，红色圆点表示出售行为，圆点的大小与购买/出售的数量成正比。

右下角的图显示了当前的Q矩阵值，说明了每个状态动作对的预期累计折扣奖励。2017年5月4日预印本˙00210-10月09:05 10-10月9日：49123确定了AGLJ的暂时状态。J从2012年开始-10-10 09:05至2012-10-10 16:59估计周期=5min，重采样周期=min，阈值=0.05状态时间当前转移概率矩阵状态（t）状态（t+1）1 2 3123当前质量矩阵状态1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 17 19 20 21 1230 2 2 4 8 10 12 14 1802000 4000当前PnL（行动：购买15股）（库存：1052现金：35666.11投资组合回报：0.96%）PnLTime0 2 6 8 10 12 16 18250255260股票中间价图4。10:30的状态。演示仅长期财富最大化算法，从10万兰特现金和800 AGL股份开始。左上图显示了自交易程序启动（09:05）以来的识别状态，其中同一行中的块表示相同的状态。右上角的图显示了当前基于已识别状态的经验一步转移概率矩阵。左下角的图表以绿色（右Y轴）和蓝色（左Y轴）显示股票中间价、最佳出价和最佳出价。投资组合PnL由当前投资组合价值（以当前中间价标记为市价的存货+现金）与初始投资组合价值之间的差异决定。绿色圆点表示购买行为，红色圆点表示出售行为，圆点的大小与购买/出售的数量成正比。

右下角的图显示了当前的Q矩阵值，说明了每个状态动作对的预期累计折扣奖励。2017年5月4日预印本˙00210-10月09:0510-10月9日：4910-10月10日：3410-10月11日：1910-10月12:0410-10月12日：491234567确定了AGLJ的暂时状态。J从2012年开始-10-10 09:05至2012-10-10 16:59估计周期=5min，重采样周期=min，阈值=0.05状态时间当前转移概率矩阵状态（t）状态（t+1）1 2 3 4 5 6 71234567当前质量矩阵状态12 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 19 20 21 23 45 670 10 30 40 50 0 2 000 4000当前PnL（行动：购买0股）（库存：1072现金：30662.85投资组合回报：1.3%）PnLTime0 10 20 40 50252260股票中间价图5。12点45分。演示仅长期财富最大化算法，从10万兰特现金和800 AGL股份开始。左上图显示了自交易程序启动（09:05）以来的识别状态，其中同一行中的块表示相同的状态。右上角的图显示了当前基于已识别状态的经验一步转移概率矩阵。左下角的图表以绿色（右Y轴）和蓝色（左Y轴）显示股票中间价、最佳出价和最佳出价。投资组合PnL由当前投资组合价值（以当前中间价标记为市价的存货+现金）与初始投资组合价值之间的差异决定。绿色圆点表示购买行为，红色圆点表示出售行为，圆点的大小与购买/出售的数量成正比。

右下角的图显示了当前的Q矩阵值，说明了每个状态动作对的预期累计折扣奖励。2015年5月4日预印本˙00210-10月09:0510-10月9日：4910-10月10日：3410-10月11日：1910-10月12:0410-10月12:4910-10月13日：341234567确定了AGLJ的暂时状态。J从2012年开始-10-10 09:05至2012-10-10 16:59估计周期=5min，重采样周期=min，阈值=0.05状态时间当前转移概率矩阵状态（t）状态（t+1）1 2 3 4 5 6 71234567当前质量矩阵状态12 3 4 5 6 7 8 9 10 11 12 13 14 15 16 18 19 20 21 23 45 670 10 30 40 50 60 200 000 4000当前PnL（行动：出售46股）（库存：418现金：198123.87投资组合回报：1%）PnLTime0 10 20 40 50 60250255260股票中间价图6。13:30的状态。演示仅长期财富最大化算法，从10万兰特现金和800 AGL股份开始。左上图显示了自交易程序启动（09:05）以来的识别状态，其中同一行中的块表示相同的状态。右上角的图显示了当前基于已识别状态的经验一步转移概率矩阵。左下角的图表以绿色（右Y轴）和蓝色（左Y轴）显示股票中间价、最佳出价和最佳出价。投资组合PnL由当前投资组合价值（以当前中间价标记为市价的存货+现金）与初始投资组合价值之间的差异决定。绿色圆点表示购买行为，红色圆点表示出售行为，圆点的大小与购买/出售的数量成正比。右下角的图显示了当前的Q矩阵值，说明了每个状态动作对的预期累计折扣奖励。2017年5月4日预印本˙0029。

结论在本文中，我们展示了一种在高频市场中进行在线、无监督状态发现、检测和学习的方案，该方案符合复杂自适应系统范式。通过将股票特征视为对象并应用Potts模型聚类方法，我们基本上找到了一种自旋玻璃结构（特征聚类），该结构允许在给定自旋相互作用项（特征相关性）的情况下形成亚稳态系统状态。结合候选状态判别技术，这允许我们在线枚举状态空间，允许有目的的代理在未知领域学习有用的策略，而不需要了解人类的预处理特征和状态。这里介绍的框架是概念性的，有许多领域需要改进，但我们证明，即使只需简单选择集群距离度量和最重要的bookLOB功能，财富最大化代理在所考虑的调查期间也可以系统地优于随机代理和买入并持有代理。特别是，在经过5个阶段的初始化以重新定义转移概率矩阵后，在没有事先培训的情况下，代理人能够足够快地学习有用的策略，以便在交易日结束时生成正的PnL。这对该技术来说是一个有希望的结果，并预示着进一步的研究。我们注意到，这种技术与市场无关，原则上可以应用于任何具有流式、多功能数据馈送的系统，其中底层系统是一个复杂的自适应系统。我们注意到，我们假设代理的行为不会影响系统状态的演化。这是一个与历史数据馈送交互的人工制品，在这里，代理行为的后果很难合并。

然而，总体方案是为实时交易代理提交实际市场订单而设计的，因此实时交易代理将影响其收到的数据反馈（通过交易吸收限额订单，影响LOB功能），从而影响其感知的状态空间。我们希望该算法的有效性能够转化为实时交易。谨慎的进一步调查将包括使用LOB的替代流媒体功能（如市场深度），在更长和更不同的调查期内测试算法的稳定性，测试对状态判别阈值参数的敏感性，使用事件时间估计窗口/决策频率以及替代行动和奖励函数。致谢本研究部分基于南非国家研究基金会（授权号89250）支持的研究。本文的结论是由于作者和NRF在这方面不承担任何责任。作者感谢Diane Wilcox和Tim Gebbie的评论和建议，感谢Fields数学科学研究所和多伦多大学在本文大部分工作完成时接待了他。参考文献阿尔姆格伦，R.，克里斯，N.，2000年。投资组合交易的最佳执行。风险杂志3，5-39。纽约州班吉奥、A.考维尔、P.文森特、。表征学习：回顾与新视角。关于模式分析和机器智能的IEEETransactions。Bertsimas，D.，Lo，A.，1998年。执行成本的最优控制。金融市场杂志1，1-50。布拉特，M.，怀斯曼，S.，东卡罗来纳州多曼尼，1996年。数据的超顺磁性聚类。菲斯。牧师。莱特。76,3251–3254.布拉特，M.，怀斯曼，S.，东卡罗来纳州多曼尼，1997年。使用模型颗粒磁铁进行数据聚类。神经计算91805-1842。布朗格·勒万多夫斯基，纽约州班吉奥，文森特，P.，2012年。

在高维序列中建模时间依赖性：在合成音乐生成和转录中的应用。2017年5月4日国际机器学习会议（ICML）预印本˙002Cartea，A.，Jaimungal，S.，Penalva，J.，2015。算法和高频交易。剑桥大学出版社，剑桥，英国。西雷桑，D.，梅尔，U.，马斯奇，J.，甘巴德拉，L.，施密杜伯，J.，2011年。用于图像分类的灵活、高性能进化神经网络。第二十二届国际艺术情报联席会议论文集。西雷桑，D.，美国梅尔，J.施密杜伯，2012年。用于图像分类的多列深度神经网络。工作文件网址：http://arxiv.org/abs/1202.2745.Dahl，G.，于德，邓，L.，阿塞罗，A.，2012年。用于大词汇量语音识别的上下文相关预训练深度神经网络。IEEE音频、语音和语言处理交易20,33–42。福赛斯，P.，2011年。最优交易执行的汉密尔顿-雅可比-贝尔曼方法。应用数值数学61241–265。Frei，C.，Westray，N.，2015年。VWAP订单的最优执行：一种随机控制方法。数学金融25612-639。吉亚达，L.，马西里，M.，2001年。数据聚类和相关矩阵的噪声去除。菲斯。牧师。E 63。吉亚达，L.，马西里，M.，2002年。最大似然数据聚类算法及其应用。Physica 315650–664。格洛特，X.，博尔德斯，A.，纽约州班吉奥，2011年。大规模情绪分类的领域适应：一种深度学习方法。国际机器学习会议论文集。戈德伯格，M.，海瓦诺维奇，M.，马格登·伊斯梅尔，M.，2010年。测量重叠簇集之间的相似性。社会计算国际会议论文集（SocialCom），303–308。格里芬，J.，奥门，R.，2011年。