聚类金融时间序列：多长时间足够？

，T，be N个单变量随机变量观察T次。如果算法A恢复Pconverge中所有分区的概率在T时为1，则聚类算法A与分层相关块模型（HCBM）一致，HCBM定义了一组嵌套分区P→ ∞.如前一节所述，如果估计的相关矩阵符合一定的可分性条件，则可以确保正确的聚类。通过要求矩阵^rtt的每个条目上的误差小于对比度，即ρ，可以保证该条件-ρ、 关于理论矩阵R，有关于估计相关矩阵的浓度特性的经典结果，例如：定理1（估计相关矩阵的浓度特性[Liu等人，2012a]）。如果∑和∑分别是总体和经验斯皮尔曼相关矩阵，则概率至少为1-T、 为了N≥对数T+2，我们有k∑- ∑k∞≤ 24rlog Ntlog浓度界限意味着如果 log（N）则聚类将找到正确的分区，因为聚类将以高概率充分分离。在聚类的金融应用中，我们需要估计的相关矩阵的误差足够小，以适应相对较短的时间窗口。

然而，这些界限存在维度依赖性[Tropp，2015]，这使得它们在金融应用中对N和T的实际值不具信息性，但有希望利用HCBM相关矩阵的特殊结构来改善界限。4.1从一级HCBM到一般HCBM要从一级HCBM到一般情况，我们需要得到嵌套分区模型的可分性条件。对于空间守恒算法和Ward算法，这都是通过要求层次结构的每一层具有相应的可分离性条件来实现的。所有人1≤ K≤ h、 我们定义DK和DK，以便≤ i、 j≤ N，我们有dk≤ dij≤ 当C（k）（Xi）=C（k）（Xj）和C（k+1）（Xi）6=C（k+1）（Xj）时。注意dk=（1）- ρk）/2和dk=（1）- ρk）/2。提议5。[嵌套分区情况下空间守恒算法的可分性条件]可分性条件为：dh<dh-1< . . . < dk+1<dk<…<d、 通过要求矩阵^∑的每个条目的误差小于最低对比度，可以保证该条件。因此，我们在相关矩阵上的空间守恒算法的最大误差为isk∑-^∑k∞< 貂皮ρk+1- ρk.命题6。[嵌套分区情况下Ward算法的可分离条件]设NK为层次结构k级最大集群的大小。可分性条件如下：K∈ {1, . . .

，h}，nk（dk）- dh）<dk-1.- 因此，我们在相关矩阵上的空间守恒算法的最大误差为isk∑-^∑k∞< 水貂ρh- ρk-1.- nk（ρh）- ρk）1+2nk，其中nk是层次结构k级最大簇的大小。我们最终从之前的浓缩结果中获得了所提出算法与HCBM的一致性。5经验收敛率我们在前面的章节中已经表明，在层次相关块模型下，聚集相关随机变量是一致的。该模型得到了许多实证研究[Mantegna，1999]的支持，在这些研究中，作者仔细研究了几种资产类别的回报时间序列。然而，人们也注意到，相关结构并不完善，而且往往会随着时间的推移而演变。这就是为什么，除了保持一致性之外，该方法的收敛性还需要足够快，以使基础聚类准确。目前，理论界（如定理1中获得的界）对于N和T的实际值来说是不具信息性的。例如，对于N=265和T=2500（大约10年的历史日收益率），在d=0.2的聚类中，我们认为概率大于1-2Ne-T d/24≈ -2176表示聚类算法已恢复正确的聚类。这些界限最终将在速率OP下趋于0(√日志N/√T）。此外，收敛率还取决于许多因素，例如：。

聚类的数量、它们的相对大小、它们的分离、整体影响对于给定的聚类算法来说非常特殊，在理论分析中很难考虑。为了了解应用程序中应使用的最小数据量与聚类结果一致，我们建议设计真实的金融时间序列模拟，并确定聚类方法“始终”从中恢复基础模型的样本临界大小。我们将在下一节中说明这种实证研究。5.1模拟、实施和教程的金融时间序列模型可访问www.datagrapple。com/Tech，我们将考虑两种模型：o标准但有争议的定量金融模型，即高斯随机游走模型，其增量是N变量高斯：X的实现~ N（0，∑）。高斯模型不会产生重尾行为（资产价格的强烈意外变化），这可以在许多资产收益中找到[Cont，2001]，也不会产生尾部依赖性（多个资产的强变化往往同时发生）。这个过于简化的模型为聚类提供了一个经验收敛速度，在实际数据上不太可能超过这个速度增量是N变量学生t分布的实现，自由度ν=3:X~ tν（0，ν）-2νΣ).N变量学生的t分布（ν=3）既捕获了重尾行为（因为边缘是具有相同参数ν=3的单变量学生的t分布），也捕获了尾部依赖性。研究表明，与高斯分布相比，这种分布更接近真实收益[Hu和Kercheval，2010]。高斯分布和t分布由协方差矩阵∑参数化。我们定义∑，使基础相关矩阵具有图2所示的结构。

这种相关性结构的灵感来源于欧洲“投资”中信用违约掉期资产之间的真实相关性图2：用于模拟的相关性结构说明：欧洲资产（编号为0，…，214）细分为2个集群，每个集群本身细分为7个集群；日本资产（编号为215，…，264）与欧洲市场的相关性较弱：ρ=0.15与“投资级”资产、ρ=0.00与“高收益”资产、欧洲“高收益”和日本市场。更准确地说，该关联矩阵允许我们模拟N=265项资产的回报时间序列，这些资产被划分为一个由115项资产组成的“欧洲投资级”集群，再细分为7个行业特定集群，大小分别为10、20、20、5、30、15、15；这7个集群内部的成对相关性为0.7；o“欧洲高收益”集群由100项资产组成，细分为7个特定行业集群，规模分别为10、20、25、15、5、10、15；这7个集群内部的成对相关性为0.7；o由50个资产组成的“日本”集群，其成对相关性为0.6。然后我们可以从这两个模型中采样时间序列。5.2实验：恢复每个模型的初始聚类，对于从10到500的每一个T，我们从模型中抽取长度为N=265的时间序列的L=10个数据集。我们计算了聚类方法（这里是算法和相关系数的选择）能够恢复相关矩阵定义的基础聚类的次数。

在图3中，我们展示了使用单连锁获得的结果（在Mantegnaet al.的研究[Mantegna and Stanley，1999]中受到超度量空间假设和最小生成树给出的相关亚显性超度量的启发），平均连锁（用于减轻单个连锁的不平衡效应，但与单个连锁不同，它对距离dij的单调变换很敏感）和沃德方法，利用皮尔逊相关系数和斯皮尔曼相关系数。100 200 300 400 500样品尺寸0。00.20.40.60.81.0得分单链接的经验收敛率高斯-皮尔松高斯-斯皮尔曼学生-皮尔森学生-斯皮尔曼100 200 400 500样本大小0。00.20.40.60.81.0平均链接的经验收敛率高斯-皮尔松高斯-斯皮尔曼学生-皮尔森学生-斯皮尔曼100 200 400 500样本大小0。00.20.40.60.81.0 WardGaussian-PearsonGaussian-Spearmans Student-PearsonStudent-Spearmans的经验收敛率图3：单连锁（左）、平均连锁（中）、Ward方法（右）用于对模拟时间序列进行聚类；虚线表示使用皮尔逊系数时，正确聚类与试验次数的比率，实线表示斯皮尔曼试验；当基础模型为高斯分布时，使用洋红色线，t分布5使用蓝色线。3实证研究的结论如预期，当基础分布为高斯分布时，皮尔逊系数产生的结果最好，当基础分布为重尾分布时，皮尔逊系数产生的结果最差。对于这种线性分布，基于秩的相关估计更具相关性[Liu等人，2012b；Han和Liu，2013]。关于聚类算法的收敛速度，我们发现，对于T 南特。

人们还可以注意到，单链接和平均链接在500次实现（大约2年的每日回报）后尚未收敛，而沃德方法在250次实现（大约一年的每日回报）后收敛，这不是经济物理学文献中的主流。其方差也小得多。根据这项实证研究，从事N=265项资产工作的从业者，其基础相关矩阵可能与图2所示的类似，应在长度为T=250.6的滑动窗口上使用Ward+Spearman方法。在讨论这一贡献时，我们仅表明与基于经验证据的模型的一致性。所有的模型都是错误的，这一个也不例外：随机行走假设，真实的相关矩阵并不是那么“块状”。我们确定了未来的几个理论方向：o对于通常的N，T值，理论浓度边界不会变得尖锐。由于HCBM中相关矩阵的内在维度较低，可能会有一些可能的改进[Tropp，]“空间守恒”、“空间扩张”是一种粗略的分类，不允许区分具有不同行为的几种算法。

虽然单链接（几乎是“空间收缩”）和平均链接具有不同的收敛速度，如实证研究所示，但它们具有相同的理论界限。以及实验研究的方向：o研究光谱聚类技术将是一件有趣的事情，它比分层聚类更贪婪。图4：将正确聚类的比率编码为沃德+斯皮尔曼方法试验次数的热图，作为ρ和T的函数；基本模型是由2块一致ρ相关矩阵参数化的高斯分布；红色代表底层两个集群的完美和系统恢复，深蓝色表示正确的集群；请注意清晰的等量化算法。在[Tumminello et al.，2007]一文中，作者们指出，与分层聚类相比，它们在统计确定性方面不太稳定。稳定性越低可能意味着收敛速度越慢我们注意到，对于许多参数集，例如（N，T），（ρ，T），聚类精度是等量的。这些问题如图4所示。进一步的工作可能旨在描述这些曲线。我们也可以在图4中观察到ρ≤ 0.08，T的临界值爆炸。当ρ趋于0时，确定这种渐近性是很有趣的。最后，我们提供了一个指南，帮助从业者为给定的聚类方法设置临界窗口大小T。人们还可以研究哪种一致的方法最快地提供正确的聚类。然而，要理解聚类算法在金融时间序列上的收敛行为，还有很多工作要做。参考文献[Ao et al.，2005]萧永敖、叶凯文、吴敏嘉、张大伟、裴亦芳、伊恩·梅尔哈多和帕克森。Clustag：用于选择标记SNP的分层聚类和图形方法。

生物信息学，21（8）：1735-17362005。【巴拉克里希南等人，2011年】西瓦拉曼·巴拉克里希南、明旭、阿克谢·克里希纳穆尔蒂和阿尔蒂·辛格。Noisethresholds适用于光谱聚类。神经信息处理系统的进展，第954-962页，2011年。【Basalto等人，2007年】尼古拉斯·Basalto、罗伯托·贝洛蒂、弗朗切斯科·德卡洛、保罗·法基、埃斯特·潘塔里奥和萨维里奥·帕斯卡齐奥。金融时间序列的Hausdorff聚类。Physica A:统计力学及其应用，379（2）：635–6442007。[Bien and Tibshirani，2011]Jacob Bien and Robert Tibshirani。通过Minimax链接与原型进行分层聚类。《美国统计协会杂志》，106（495）：1075–10842011。[Borysov等人，2014]Petro Borysov、Jan Hannig和JS Marron。关于生长维度的层次聚类的渐近性。多变量分析杂志，124:465–4792014。[Chen and Van Ness，1996]陈振民和John WVan Ness。空间守恒凝聚算法。分类杂志，13（1）：157-168，1996年。[Cont，2001]Rama Cont.资产回报的经验性质：程式化事实和统计问题。2001。[韩和刘，2013]方韩和韩刘。经椭圆分布中潜在广义相关矩阵估计的最优收敛速度。arXiv预印本XIV:1305.69162013。[Hartigan，1981]John A Hartigan。高密度簇的单链一致性。《美国统计协会杂志》，76（374）：388-3941981。[Hu and Kercheval，2010]胡文波与亚历克N Kercheval。学生t和倾斜t回报的投资组合优化。数量金融，10（1）：91-1052010。[Katsavounidis等人，1994]Ioannis Katsavounidis，C-CJay Kuo和Zhen Zhang。一种新的广义Lloyd迭代初始化技术。

《信号处理快报》，IEEE，1（10）：144–146，1994年。[Khaleghi等人，2012]阿扎德·哈莱吉、丹尼尔·里亚布科、杰尔·埃米·玛丽和菲利普·普雷克斯。在线流程聚类。《国际艺术情报与统计会议》，第601-6092012页。[Kleinberg，2003]Jon Kleinberg。聚类的不可能性理论。神经信息处理系统的进展，第463-470页，2003年。[Krishnamurthy等人，2012]Akshay Krishnamurthy，Sivaraman Balakrishnan，Min Xu和Aarti Singh。有效的分层聚类主动算法。国际机器学习会议，2012年。[Liu et al.，2012a]刘涵，方涵，袁明，约翰拉夫蒂，拉里·沃瑟曼，等。高维半参数高斯copula图形模型。《统计年鉴》，40（4）：2293-23262012。[Liu等人，2012b]刘涵，方涵和张存辉。横光学图形模型。神经信息处理系统的进展，第809-817页，2012年。[Mantegna and Stanley，1999]Rosario N Mantegna and H Eugene Stanley。经济物理学导论：金融中的相关性和复杂性。剑桥大学出版社，1999年。[Mantegna，1999]Rosario N Mantegna。金融市场的等级结构。欧洲物理杂志B凝聚态物质和复杂系统，11（1）：193-1971999。[Marti等人，2015]戈蒂埃·马蒂、菲利普·弗利、菲利普·唐纳和弗兰克·尼尔森。提出了一个方法论框架和实验指南，以研究金融时间序列的稳定性。2015年12月9日至11日在美国佛罗里达州迈阿密举行的第14届IEEE2015国际机器学习与应用会议上，第32-37页。[Murtagh and Contreras，2012]Fionn Murtagh and Pedroconteras。分层聚类算法：概述。