使用异步流的实时群集配置

对于实现，我们结合使用矢量化和图形处理单元（GPU）编程技术，通过MATLAB中的并行化实现高效计算。在GPU上计算复指数系数并与对数价格差相乘，然后将GPU中的结果传回CPU，以最终计算共挥发性和相关性。有关实施的详细信息，请参见Wilcox等人（2016）。高速特征聚类大量作者已推广使用统计物理中的自旋玻璃模型来捕捉复杂金融系统的本质（Blatt等人（1996）、Giada和Marsili（2002）、Hendricks（2016））。在最近的一篇论文中，Hendricks et al.（2016b）为Blatt et al.（1996，1997）和Giada and Marsili（2001，2002）最初提出的一种技术提供了高效的计算解决方案，其中q态Potts模型的超顺磁排序用于聚类识别。在市场Potts模型中，每只股票可以呈现q种可能状态中的一种，而每种状态都可以由一组相似的股票表示。集群成员身份表明集群成员之间存在某种共同性。每个股票都有一个作为其所处状态函数的动力学分量，以及一个受股票特定噪声影响的动力学分量。此外，可能存在影响所有股票的全球耦合，即代表市场模式的外部领域。我们请读者参考Giada和Marsili（2001）、Hendricks等人（2016b，a）对该技术的全面解释和相关对数似然函数的推导。

推导过程中的一个关键假设是，一个对象的价格时间序列增量“xi”在Noh（2000）模型动力学下演化，其中属于同一集群的对象共享一个公共组件，即“xi=gsi”ηsi+q1- g2si“i、 （3）在哪里iis是一个向量，描述对象i与簇s特征的偏差，而“η”侧写簇特定特征。GSA是一个加载因子，用于编码聚类s中对象之间的相似性或差异。然后，对于n个对象的候选聚类配置，s={s1，…，sn}，C（s）=12Xs:ns>1给出了对数据中固有结构进行六分解释的对数可能性lognscs+（ns- 1） logn2s- nsn2s- 反恐精英, （4） 5 2017年5月4日预印本˙002ci，j=\'xi'xjpk'xi2kk'xj2k（5）是ITH和jthobjects之间的皮尔逊相关性，代表Potts类比中的短程距离相关铁磁相互作用项，ns=NXi=1δsi，s（6）是sthcluster中的对象数，cs=NXi=1NXj=1Ci，jδsi，sδsj，s（7）是簇内相关性。Hendricks等人（2016b）表明，等式4中规定的似然函数可以用作高速、可扩展的并行遗传算法（PGA）中的目标函数，在该算法中，候选聚类配置会被评估并不断改进，直到配置最好地解释了相关矩阵建议的固有结构。我们将利用他们的计算解决方案，因为它提供了我们提出的在线算法所需的近实时效率。值得注意的是，这种以股票特征为对象的方法与金融市场作为复杂适应系统的概念是一致的（Hendricks et al.（2016a），Wilcoxand Gebbie（2014））。本质上，如果我们考虑布拉特等人描述的自旋玻璃模型类比。

（1996年、1997年），我们发现了一种自旋玻璃结构（特征聚类），它允许在给定自旋相互作用项（特征相关性）的情况下，系统状态可调。这为我们提供了一种无监督的方法，使用适合复杂系统动力学的技术，在交互规模上确定最佳特征配置。5.集群配置相似性和状态区分在第3节和第4节中，我们展示了一种通过集成窗口从市场数据馈送的原始异步数据流确定特征集群配置的方案。考虑到这种状态表示的选择，剩下的就是提供一个可行的方案来区分状态，这样状态空间就可以在线枚举。这是一个更普遍问题的特例：测量一组固定对象的重叠群集配置之间的距离。考虑一组固定的n个对象的两个候选群集配置，C1={s1，s2，…，sn}和C2={s01，s02，…，s0n}，其中SKK和S0K是kthobject在每个配置中所属的群集条件。我们想要定义一个距离度量d（C1，C2），它量化配置差异，同时保留对称性、不可分辨性、非负性和次可加性的属性。Goldberg等人（2010年）考虑了这个问题，并提出了三个候选措施来量化集群结构差异。我们选择在他们的最佳匹配指标上实施一个变体，有效地计算将一种配置转换为另一种配置所需的移动次数。测量值定义为，d（C1，C2）=nn2- 1nXi=1minjd（si，s0j），（8）2017年5月4日预印本˙002d（s，s0）=1-|s∩s0 | | s∪s0 |和NN2-1是一个归一化常数，因此两个配置之间的最大距离为1（单簇与所有单态）。

例如，考虑以下两种候选群集配置：C1={1,2,3,3,4,4,4,5}C2={1,2,2,3,3,4,5}。然后，当考虑聚类指数2时，d（s2，s02）=1-|s2∩s02 | | s2∪s02 |=1-13= 0.67. 因此，我们有表1。计算两个重叠聚类结构聚类指数k | sk之间距离的最佳匹配度量演示∩ s0k | | sk∪ s0k | d（sk，s0k）1 1 0.002 1 3 0.673 0 4 1.004 1 3 0.675 1 1 0.00d（C1，C2）2.344.8=0.49考虑到集群配置之间的量化距离，我们需要指定一些距离阈值，以编码配置与被分类为相同状态的想法。该距离阈值的具体说明有些特殊，是主观输入的来源，但结合学习目标，我们可以迭代多个条件阈值，以确定一个优化目标的阈值。在第8节演示的用例中，我们考虑一个简单的Q-学习算法，其目的是通过决定何时购买/出售股票来实现财富最大化。从给定的现金金额和库存开始，我们向Learning agent提供一组固定的操作（购买/出售量），它可以根据当前状态在每个时期执行这些操作。每个候选距离阈值将为代理提供不同的镜头来区分国家，因此国家行动政策和代理的最终财富将受到影响。我们将选择一个最大化终端财富的阈值。最佳匹配指标易于计算、直观且有效，但Goldberg等人（2010）提出的替代指标应在进一步研究中探索，以评估对国家歧视的影响。6.

在线状态发现强化学习Reinforcement learning（RL）是一种在未知动态的受控马尔可夫系统中找到校准策略的技术，在给定目标的情况下，将系统状态映射到最优或接近最优的决策。学习可以是无模型的（Watkins（1989））或基于模型的（Sutton（1990）），但关键原则是，与系统交互的反馈可用于提供最佳规划决策的洞察力。我们让读者参考Kaelbling等人（1996）对RL技术的全面回顾。我们将考虑对RL代理使用第2至5节中描述的状态空间枚举技术，使在线规划决策能够通过自适应状态空间做出。我们所考虑的学习算法可以被视为Sutton（1990）、Sutton和Barto（1998）提出的Dyna Qarchitecture的一个具体实现，通过该算法，系统的反馈同时用于改进系统动力学模型（状态转换），以及学习目标的状态行动策略。反馈（或奖励）和预期状态转换都用于在线枚举所谓的Q矩阵，其中包含每个状态行动对的（当前）折扣预期奖励，假设最佳策略为2017年5月4日7日预印˙002在当前时间步后（Watkins（1989））。在学习算法的TTH步骤中，代理：o观察其当前状态St∈ S、 o在以下位置选择并执行操作：∈ A、 o根据当前的状态转换模型，估计后续状态St+1作为执行操作的结果，o收到即时奖励R，并o使用学习因子αt，该因子随时间逐渐减小。Q更新如下：Q（St，At）=Q（St，At）+αt[rt+γmaxbQ（St+1，b）- Q（St，At）]，（9）其中γ是控制未来奖励重要性的贴现率。

在通常的离散动作中，离散状态指定、状态空间S和允许动作A是固定的，并且在学习程序中保持固定。我们现在考虑的情况是，动作集是固定的，但状态空间S是动态的，即。在代理与系统交互时在线发现。每次使用第5节中的命题发现一个新的状态，状态空间就会增加。对于等式9中的Q-学习更新规则，下一个状态是使用失效经验转移概率矩阵asSt+1=arg maxSjPr（St，Sj）来确定的∈ 在第8节的调查中，我们假设代理人的行为不会影响系统状态的演变。这是一个与历史数据馈送交互的人工制品，代理行为的后果很难被纳入其中。然而，总体方案是为实时交易代理提交实际市场订单而设计的，因此实时交易代理将影响其接收的数据馈送（通过交易吸收限额订单，影响LOBfeatures），从而影响其感知的状态空间。我们希望第8节中展示的效率能够转化为实时交易。7.问题描述和算法7。1.财富最大化：Long Only为了测试本文提出的框架的有效性，我们构建了一个在高频金融市场中运行的财富最大化交易代理，能够买卖一定数量的股票。代理人从特定水平的现金和库存开始。在每个交易机会（我们假设定期5分钟，但这可以概括），代理人可以使用可用现金购买一定数量的股票，或根据库存水平出售一定数量的股票。我们假设代理受到一个仅长（LO）约束，即。

代理人不能卖空存货，也不允许使用杠杆。奖励计算为所选行动后的投资组合PnL，即当前投资组合价值（以当前中间价+现金标价的存货）与初始投资组合价值之间的差异。与所有买入行为相关的所有价格均为现行最佳卖出价格，而对于所有卖出行为，则为现行最佳买入价格。这样可以确保在交易时将差价作为交易成本。在确定状态、使用第5节中的命题并更新Q矩阵之前，代理使用在前一个5分钟窗口中观察到的异步滴答级别数据计算特征相关性和相关集群配置，如第3节和第4节所述。8 2017年5月4日预印本˙0027.2。AlgorithmAlgorithm1描述了在线状态发现学习算法的一般实现。我们首先初始化一个空的Q矩阵，因为没有发现任何状态。在第一个估计期结束后（本例中为5分钟），使用估计期窗口中的原始特征数据计算特征相关性，然后进行特征聚类配置。使用傅里叶估计器的并行实现进行的相关计算最耗时0.05秒（Wilcox等人（2016）），而聚类配置计算最耗时0.8秒（Hendricks等人（2016b））。这是算法中最昂贵的部分，因此实现的亚秒计算时间有利于在线应用。

我们使用了相当普通的硬件和游戏图形处理单元（GPU）（Core i7-3820、16GB DDR3RAM、Nvidia Titan X 12GB GDDR5），因此通过硬件扩展，计算时间还有进一步减少的空间。在集群配置计算之后，我们计算当前特征配置与状态空间中与当前状态相关的先前识别配置之间的距离。如果当前配置与之前确定的配置之间的距离小于规定阈值，我们将相关状态指数归因于当前配置。如果到所有之前识别的配置的距离大于阈值，则会创建一个新状态。主要的转移概率矩阵用新状态更新。然后我们使用-贪婪算法，根据当前的Q矩阵选择一项行动，将奖励记录为按市值计价的投资组合价值和初始投资组合价值之间的差异。

然后使用转移概率矩阵来识别下一个预期状态，并使用等式9更新与当前状态动作对相关联的Q值。算法1无监督状态检测和学习初始化Q矩阵当交易程序未完成时提取特征时间序列（原始、异步事件）用于集成窗口使用傅里叶估值器计算特征相关性使用PGA比较C计算特征聚类配置C与之前识别的配置Ci∈ 状态空间更新状态空间如果状态空间= 然后，如果距离（C，Ci），则生成新的stateelse≤ 任何Ci的阈值∈ 状态空间然后分配Cito CEL的状态指数生成新状态如果更新状态转移概率矩阵更新一步转移的经验概率给定所有识别的状态如果初始化期完成，然后使用Q矩阵记录奖励R作为当前MTM投资组合值和初始投资组合值之间的差异选择当前最佳买入/卖出行为如果更新Q矩阵确定下一个状态使用当前转换概率矩阵更新与状态动作对关联的Q值，给定记录的奖励，下一个状态和当前Q值结束8。数据和结果8。1.数据本研究的数据包括2012年10月1日至2012年11月30日期间约翰内斯堡证券交易所（JSE）一家候选股票的交易和账面报价。我们选择英美资源集团（AGL）作为JSE流动股票的一个例子，其典型交易量预计将支持（自动化）系统策略，如本文中的建议。该数据来源于汤森路透滴答历史（TRTH）数据库。2017年5月4日预印本˙002原始数据存储在MongoDB noSQL数据库中，并创建了适当的索引，以便高效检索和操作。

我们研究的特定领域是：交易价格、交易量、一级投标价格、一级投标量、一级要价、一级要价、一级要价。这些特征中的每一个都由基于事件发生的数据集中间隔不均的时间序列表示。存储的异步事件数据与来自实时市场数据源的同步事件流非常接近。我们将以最原始的形式对这些数据应用我们的学习算法，以避免数据预处理技术可能引入的任何主观偏见。表2显示了以下结果中使用的参数。使用为期一周的数据集（2012年10月1日至2012年10月5日），进行了许多具有不同状态判别阈值的实验。这些初步结果得出的值为0.05，最大化了这段时间内一天结束时的平均PnL。在进一步的研究中，我们将探索PnL对该阈值的全部敏感性，在这里，我们将使用0.05的有效阈值来证明该算法的有效性。表2。用于测试长期财富最大化算法的参数。股票交易价格/交易量，L1询问/出价/数量初始现金R100 000初始库存800股购买行动（现金比例）{0,0.1,0.2，…，0.9,1.0}出售行动（库存比例）{0.1,0.2,0.3，…，0.9,1.0}状态判别阈值0.05随机行动概率0.05开始时间09:05结束时间16:30估计周期/交易频率5分钟初始化周期5周期8。2.结果表3显示了我们分析的总结结果。我们在我们的数据集中（2012年10月1日至2012年11月30日）每天运行算法，构建一天结束时（16:30）PnL的分布，以初始投资组合价值的百分比表示。