基于时间聚类的日内金融市场状态检测

这是聚类算法唯一需要的输入。功能时间2012年11月1日09:00 2012年11月1日09:15 2012年11月1日09:30。。。2012年11月30日16:30 2012年11月30日16:45交易价格AGL交易价格返回0.35 0.60 0.85。。。0.39 0.22AMS交易价格返回0.94 0.71 0.73。。。0.63 0.78SBK交易价格回报0.70 0.38 0.58。。。0.38 0.81.....................WHL交易价格返回0.90 0.49 0.05。。。0.65 0.53SpreadAGL排列返回0.64 0.49 0.68。。。0.05 0.95AMS排列返回0.33 0.09 0.76。。。0.44 0.97SBK价差收益0.09 0.73 0.54。。。0.80 0.48.....................WHL价差收益率0.41 0.61 0.11。0.40 0.69交易量G交易量回报0.61 0.59 0.96。。。0.65 0.50AMS交易量回报0.16 0.09 0.47。。。0.86 0.57SBK交易量回报0.98 0.05 0.67。。。0.72 0.12.....................WHL交易量回报0.38 0.49 0.36。。。0.27 0.81容积平衡AGL容积imb返回0.01 0.45 0.78。。。0.69 0.77AMS卷imb返回0.54 0.17 0.87。。。0.47 0.44SBK卷imb返回0.20 0.42 0.91。。。0.88 0.58.....................WHL卷imb返回0.20 0.09 0.38。。。0.90 0.12表4：数据返回矩阵图，作为15分钟周期相关性估计的输入8.2。工作流程图2说明了用于进行临时聚类分析的流程工作流程和工具。a处的TRTH tick d存储在MongoDB noSQL数据库中，并具有优化的查询索引，以便高效检索数据。编写了一个定制的应用程序编程接口（API），将数据从MongoDB传输到我们的主要科学计算平台MATLAB。该数据用于在MATLAB中实例化高频时间序列（HFTS）对象，该对象允许对大规模不规则间隔的tick数据进行高效合并、重采样和聚合。

根据选定的时间尺度，在计算时间段相关矩阵之前，对数据进行聚合，提取特征并计算返回值。PGA是使用NVIDIA Nsight和Microsoft Visual Studio开发环境在CUDA-C中实现的。从MATLAB环境中调用编译好的PGA来运行时间聚类分析。将得到的聚类配置传输到MATLAB工作区，从中我们可以确定幂律函数、提取SSV、估计在线聚类和计算转移概率矩阵。使用库存、时间段、聚类图和相关数据，编写了一个MATLAB脚本，以生成一个XML文件，其中包含将无向图导入Gephi所需的节点和边元数据。

Gephi用于可视化集群配置i，如第8.3.10节2月24日所述，2017年预印本˙002˙compressedSTARTTrade/Quote数据库（MongoDB）高频时间序列对象（MATLAB）选择时间尺度的数据聚合（MATLAB）计算特征返回（MATLAB）计算时间周期相关矩阵（MATLAB）计算时间集群配置（CUDA-C）可视化集群？幂律拟合簇大小（MATLAB）使用 标准（MATLAB）计算状态特征向量（CFV）（MATLAB）计算状态分配的FV到CFV的欧氏距离（MATLAB）估计时间簇配置（MATLAB）计算一步转移概率（MATLAB）生成XML节点/边缘元数据（MATLAB）导入XML并生成簇可视化（Gephi）ENDTransition prob？在线群集？可视化群集？生成XML节点/边缘元数据（MATLAB）导入XML并生成群集可视化（Gephi）YesNoyesNoyesNoyesNoyesNoyesNoyesNoFigure 2.：流程图说明了从时间周期相关矩阵确定时间集群配置、识别持续状态、使用特征向量估计时间集群c配置以及确定状态转移概率的工作流程。进程按平台着色：MongoDB=黄色，MATLAB=绿色，CUDA-C=橙色，Ge p h i=紫色。8.3. 可视化对于集群配置可视化，我们使用了Gephi graph visualis at i on and Manipulation软件包（Bastian et al.（2009）），以及节点和边的自定义枚举和Fruchterman and Rein gold（1991）节点间距算法。节点间的边表示同一簇的成员身份，而边的厚度提供了对对象-对象相关性的视觉改善，从而提高了簇内的连通性。

对于接下来的可视化，我们选择按日内时间段为节点着色，以便在检测到的状态下显示任何日历时间影响。根据该方案，不同日期的sametime将获得相同的颜色。这些可视化如图3、5、7、9、12、13、14和15.8.4所示。结果讨论对于每组结果，我们考虑每天从09:00到17:00连续进行8小时的t r adi n g活动，持续一个月。图3显示了60分钟周期的时间集群配置。我们首先注意到，从基于微观结构的时间相关性中检测到的非平凡集群表明，日内动态可以简化为一组有限的时间状态。考虑到一天中的时间着色，我们注意到两个集群表现出与上午和下午时间一致的市场活动特征。深绿色集群指的是交易日的第一个小时（09:00至10:00），包括开幕式拍卖和后续活动。我们注意到，南非股市受到全球市场活动的强烈影响，部分原因是当地股票在英国、美国、欧洲和澳大利亚的多个交易所上市（JSE（2014））。在本分析所考虑的时间段内，英国市场开放时间为10:00 SAST，美国市场开放时间为15:30 SAST。英国市场公开赛于2017年2月24日进行了预印本压缩，对当地交易动态产生了重大影响，10:00至11:00时段分散在各个集群中，没有一天中的时间相关性。我们注意到，随着美国市场开始参与当地交易活动，15:00至16:00出现了一个连续的深橙色集群。

这种市场活动模式大体上证实了全球市场的这些外部市场效应。图4显示了从图3中选择的重要状态中提取的SSV。如第7节所述，我们使用X指数从幂律分布到集群大小的尾部分布来确定重要状态。在60分钟的时间段内，最显著的幂律分布是集群大小≥ 13，结果为6个重要状态。当考虑到特征值中每个平均变化的幅度和方向时，得到的SSV都是不同的。这确保了在线F V状态分配的更大确定性。图5显示了30分钟周期的时间集群配置。随着粒度的增加，我们看到越来越多的st at E出现，60分钟的状态根据粒度更细的市场活动进行剖析。深灰色和深橙色连续的上午和下午状态一直保持在这种规模，尽管内源性系统特征开始掩盖先前确定的早期特征。我们注意到，没有出现明确的层次结构，因为一组30分钟的集群无法组合成之前确定的60分钟集群，进一步突出了时间尺度特定的行为。图6显示了基于10个大小为≥ 图7显示了15分钟周期的时间集群配置。我们注意到，在每个已识别的集群中，一天中的时间多样性都在增加，这进一步突出了内源性系统活动。

红色连续簇与16:30至16:45的时间段相关，表明在16:50开始的收盘拍卖中，有一个特定的市场活动签名。在这种规模上，英国和美国相关的影响似乎较弱，交易所的具体影响更为显著。因此，我们在图8中看到了更多种类的SSV，其中一些在30分钟的模拟比赛中也看到了类似的结果，但更关注的是量级，而不仅仅是方向。图9显示了5分钟周期的时间集群结构。在这里，我们看到了系统行为的巨大差异。存在大量的单态现象，这可能归因于这种规模的数据中的噪声量，使得识别显著结构更加困难。我们注意到一天中的一个有趣的时间与检测到的集群相关，然而，大时段（上午、午餐、下午）似乎已根据国家特定市场划分为连续的区块。5分钟的时间校准开始捕捉自动化、基于规则的交易代理的影响，这些代理显示出不同的特征特征。这进一步突出了以您参与的规模研究市场行为的重要性。即使考虑到第10和第8节中的相关SSV，5分钟和15分钟的研究使用幂律标准显示出相同数量的显著状态，但是特征值的方向和大小组合是不同的。图11说明了幂律函数对每个时间尺度上集群规模经验分布的结果。

每个尾分布的Kolmogorov-Smirnov p值均大于0.1（假设幂律函数的零假设），这表明给定比例因子（α）和最小si z e（xmin）的幂律函数形式存在一系列变化（Clauset al.（2009））。此外，我们注意到，对于所考虑的每个时间尺度，α指数是不同的。在每个测量尺度下，这种具有统计意义的幂律函数与作为一个复杂适应系统的南ci市场的noti on一致，并且该系统在每个测量的时间尺度上都接近临界状态（Mastromatteo和Marsili（2011））。进一步的研究应验证这是否表明在不同的时间序列中存在不同的系统行为普适性类别，然而，se初步结果确实表明存在一些复杂的系统行为层次结构，这促使需要进行特定规模的时间分析。图12显示了同一时间段（2012年11月1日至2012年11月30日）估计的60分钟集群配置，但每个时段的FV与确定的SSV的差异被用作状态分配的标准。这是一个简单的样本测试，用于确定拟议的在线状态分配方案是否能够识别Direct2017年2月24日预印˙002˙压缩聚类算法应用程序所建议的str u ct u。通过比较图12和图3，我们注意到在线状态分配算法确实恢复了连续的上午和下午状态，但更广泛地直观地将时间分为：开放式拍卖和清晨交易状态、英国市场开放状态、两次午餐时间、美国市场开放状态和一天结束/结束状态。这完全抓住了外部市场效应，这是对该方法的有力验证。

表5显示了根据图12所示状态计算的经验一步转移概率矩阵，说明了该技术的一个潜在应用。1步跃迁显示出一种p-ar-t-ic-ul-ar偏好，表明交易代理可以利用某些可预测性。需要明确的是，仅将FV分配给一个状态意味着我们已经开发了一种机制来检测我们当前所处的状态，使用的是一组流行的SSV。过渡矩阵可以在线使用和更新，也可以用于域中的最优规划。图13至15和表6至8显示了使用特定时间尺度的SSV估计的集群配置和概率矩阵。当一个人接近5分钟尺度时，观察外生时间效应的减弱是很有趣的。图16显示了在线状态分配算法的样本外稳定性。鉴于在线FV的状态分配基于到预定SSV的最小欧几里德距离，我们计算样本中每个FV的最佳匹配距离，并使用Explot可视化经验分布。本文提出了用于在线状态检测的s-SVs的s-o-线估计。图12、13、14和15所示的在线集群配置使用了前期的FV，即用于估计SSV的同期。谨慎的做法是确定使用样本外（事后）FV的状态分配是否明显偏离样本内分配，并在需要重新估计之前衡量SSV的样本外有效性。考虑到第5节所示的计算时间，在实践中，可以估计每个交易日隔夜的SSV。

我们考虑了2012年11月1日至2012年11月30日期间估计的SSV，并将事前（2012年11月1日至2012年11月30日）的结果在线状态与事后（2012年12月3日至2012年12月7日，SSV估计后一周）的状态进行了比较。从这些结果来看，鉴于最佳匹配欧氏距离的范围更大，使用在线检测算法无法可靠地检测60分钟的测试数据。30分钟、15分钟和5分钟的nutetime量表均显示出可接受的事后最佳匹配距离，但少数异常值除外。从这些初步结果来看，该算法似乎可以可靠地确定SSV估计后相对较短时间内30分钟、15分钟和5分钟的状态。

更稳健的研究应该考虑SSV的精确半衰期，但考虑到离子时间的相对快速计算，这不可能是一个实际问题。2017年2月24日，预印本˙002˙压缩图3：2012年11月1日至2012年11月30日期间JSE TOP40 60分钟时间集群，代表184个不同的时段。每个节点代表一个交易日内的60分钟周期，彩色底纹表示一天的时间（上午=绿色，午餐=黄色，下午=红色），节点连通性表示集群成员。价差量VolImb-1012345集群5（21个成员，c5=35483.445）价差量VolImb-4.-3.5-3.-2.5-2.-1.5-1.-0.500.5集群6（15个成员，c6=7323.8035）价差量VolImb-0.15-0.1-0.0500.050.1集群7（16个成员，c7=542.8251）价差量VolImb-2.-1.5-1.-0.500.5集群12（14个成员，c12=982.9791）价差量VolImb00.050.10.150.20.25集群13（13个成员，c13=331.5971）价差量VolImb-0.6-0.5-0.4-0.3-0.2-0.100.10.2聚类15（13个成员，c15=579.9487）图4：2012年11月1日至2012年11月30日期间的JSE TOP40 60分钟群集状态签名向量。每个图说明了各成员期内交易价格、价差、交易量和报价量不平衡的平均变化，以及每个集群的股票大小≥ xminfrom the截断的幂律函数。