基于波动变化点的动态时间序列聚类

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Dynamic time series clustering via volatility change-points》
---
作者：
Nick Whiteley
---
最新提交年份：
2019
---
英文摘要：
  This note outlines a method for clustering time series based on a statistical model in which volatility shifts at unobserved change-points. The model accommodates some classical stylized features of returns and its relation to GARCH is discussed. Clustering is performed using a probability metric evaluated between posterior distributions of the most recent change-point associated with each series. This implies series are grouped together at a given time if there is evidence the most recent shifts in their respective volatilities were coincident or closely timed. The clustering method is dynamic, in that groupings may be updated in an online manner as data arrive. Numerical results are given analyzing daily returns of constituents of the S&P 500.
---
中文摘要：
本说明概述了一种基于统计模型的时间序列聚类方法，其中波动率在未观察到的变化点发生变化。该模型考虑了一些经典的风格化收益特征，并讨论了其与GARCH的关系。使用与每个序列相关的最新变化点的后验分布之间评估的概率度量进行聚类。这意味着，如果有证据表明其各自波动率的最新变化是一致的或时间相近的，则序列在给定的时间组合在一起。聚类方法是动态的，因为分组可以在数据到达时在线更新。通过分析标准普尔500指数成分股的日收益率，给出了数值结果。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Methodology        方法论
分类描述：Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计，调查，模型选择，多重检验，多元方法，信号和图像处理，时间序列，平滑，空间统计，生存分析，非参数和半参数方法
--
一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--

---
PDF下载：
--> Dynamic_time_series_clustering_via_volatility_change-points.pdf (1.5 MB)

2022-6-24 05:52:50 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：动态时间 时间序列 Quantitative volatilities Multivariate

通过波动率变化点进行动态时间序列聚类布里斯托兰大学尼克·怀特利数学学院艾伦·图灵研究所June 26，2019年摘要本说明概述了一种基于统计模型的时间序列聚类方法，其中波动率在未观察到的变化点发生变化。模型包含了一些经典的回报风格化特征，并讨论了它与GARCH的关系。使用与每个序列相关的最新变化点的后验分布之间的概率度量进行聚类。这意味着，如果有证据表明，在其各自的波动率中，最近的变化是一致的或时间相近的，则序列在给定的时间组合在一起。聚类方法是动态的，因为分组可以在数据到达时在线更新。本文给出了分析标准普尔500.1指数成分股每日收益率的数值结果。本文的目的是概述、分析和演示一种使用变化点模型对时间序列进行聚类的方法。虽然第4节最后给出了一些可能的扩展和研究方向，但重点是传达该方法的思想，而不是深入的概括性。可以使用Jupyter笔记本形式的Python实现：https://github.com/nckwhiteley/volatility-change-points.1.1时间序列聚类时间序列聚类通常分为两步。第一步是指定序列间差异的成对度量。【Montero等人，2014年，第2节】概述了几种流行的方法。

仅举几个例子，这种差异可以从相当简单的统计学中推导出来，例如互相关；可能涉及解决优化问题，以在每对序列之间找到“最佳”匹配，例如使用弗雷切特距离或动态时间扭曲【Berndtand Clifford，1994年】；或者可能涉及为每个系列设置某种形式的模型，然后计算已设置参数值之间的距离【Corduas和Piccolo，2008，Otranto，2008】或预测分布【Alonso等人，2006，Vilar等人，2010】。第二步是将相异性度量传递给确定序列之间关联的算法。再次提及一些流行的技术，如凝聚聚类等分层方法，参见【Murphy，2012年，第25.5节】的概述，按顺序形成聚类。每个数据从其自己的簇中开始，并根据某种链接标准逐步合并簇对，该标准量化簇间差异如何从序列间差异中得出。基于质心的技术，如k-means[MacQueen，1967]或其对beyondEuclidean距离的推广，例如Bregman发散[Banerjee et al.，2005]或Wasserstein距离[Ye et al.，2017]，选择一组簇中心，以最小化簇内发散/距离之和。全局最小化的计算成本通常令人望而却步，因此在实施过程中，需要使用迭代法（如欧几里德距离的Lloyd算法【Lloyd，1982年）】获得局部最小值。更复杂的是，将聚类作为一个统计推断问题进行处理，将数据点和聚类之间的关联视为潜在变量，在概率模型下进行推断。

这使得集群、模型参数和模型结构的不确定性可以按原则进行量化和报告。支付的价格通常是增加的计算成本，例如通过EM算法、变分方法或蒙特卡罗抽样产生的成本。如何扩展这些方法以处理大型数据集是一个活跃的研究课题。有关并行化和多步骤过程的最新概述和想法，请参见【Ni等人，2018年】。我们提出了一种方法，可以将其视为时间序列聚类的全面统计处理和上述简单的两步方法之间的中间点。我们不会对关联进行概率建模，但我们会在每个系列的基础上进行概率建模，并使用它来定义相异性的概念。1.2金融时间序列聚类时间序列聚类可用于多种用途。在探索性数据分析中，人们可能只想发现分组或意外现象，然后对其进行总结或报告，以达到降维或解释的目的。聚类可能是更广泛的统计工作流程中的一个组成部分，在该流程中，根据发现的聚类采取行动或做出决策。根据Mantegna（1999）的一篇综述性论文，利用相关性得出的相异性度量对金融时间序列进行聚类，有助于对市场、风险管理、投资组合优化和交易进行基本理解。Marti et al.（2017）在arXiv上对机器学习、经济物理学、统计物理学、计量经济学和行为金融等领域对该主题的研究进行了全面概述。

当前版本包括400多个参考文献的参考书目，我们将不试图对其进行总结。时间序列聚类的另一种方法【Marti et al.，2017】中没有提到，它是通过将模型分别拟合到每个序列得到的参数向量之间的距离来确定差异性。Otranto【2008年】详细说明了这方面的相异性度量，并基于异方差特征，使用Wald检验和自回归度量来度量GARCH过程和thuscluster之间的距离。Otranto【2010年】将该技术扩展到基于动态条件相关模型之间距离的聚类，并在投资组合优化中部署结果协方差矩阵估计。正如Marti et al.（2016）和Marti et al.（2017，第4节）所讨论的，一个仍处于起步阶段的研究主题是如何通过识别可能随时间变化的集群来跟踪市场结构的变化。事实上，Marti等人（2017年，第4节）报告称，许多实证研究并没有实现这一点，但只是提供了基于给定时间段内所有可用数据的静态聚类。动态聚类的另一个重要步骤是在滑动窗口上应用静态聚类方法。例如，如果以这种方式应用Otranto[2008，2010]的聚类技术，那么窗口的长度将在时间局部性和噪声参数估计、hencenoisy相异性估计之间实现权衡。为了最好地处理时变集群，窗口应该有多长的问题通常不是一个容易回答的问题。下面介绍的方法不是从相关性或参数估计的角度来定义时间序列之间的差异，而是从波动率变化点时间的证据来定义。

作为一个序列，证明波动率在相同时间点附近发生变化的时间序列往往会聚集在一起。这一点很有意义，因为整个系列波动率变化点的同步性可能来自共同的基础市场因素或对不断变化的市场条件的类似反应，该方法可能有助于揭示这些因素。该方法的一个吸引人的特点是，它自然地适应了动态聚类，即当新数据到达时，可以在每个时间点重新评估聚类，但它避免了使用滑动窗口的需要：基本的变化点模型有效地适应了每个序列波动性变化的时间尺度。2变化点模型和相异性度量2.1单时间序列的通用变化点模型考虑一系列未观察到的、整数值和严格递增的变化点（Tn）n∈N、 Tis等于零，概率为1，增量（Tn- 田纳西州-1） n个≥1是i.i.d.，c.d.f.用G表示。对于t∈ N、 定义N（t）：=支持{N≥ 0:Tn<t}，τt：=Tn（t），观察（τt）t≥1是马尔可夫链，转移概率：p（τt+1=s |τt=u）=G（t-u）-G（t-1.-u） 1个-G（t-1.-u） ，s=t，1-G（t-u） 1个-G（t-1.-u） ，s=u∈ {0，…，t- 1} ，否则为0，（1）对应于是否发生了新的更改点。Let（yt）t∈Nbe观察到的收益，假设与（τt）t共同分布≥1对于每个t≥ 1，p（τ1:t，y0:t）=p（y）tYs=1p（τs |τs-1） p（ys |τs，y0:s-1） ，（2）具有约定p（τ|τ）≡ δ（τ），0处的Kroneckerδ，表示概率为1时为零。考虑概率质量函数序列（πt）t≥1，πt（s）：=p（τt=s | y0:t）。（3） 同样，由于概率为1时为零，我们得到π（0）=1。

结合（2）和（1）的条件依赖结构，初等边缘化和贝叶斯规则验证了以下递归，对于t≥ 1，πt+1（s）∝p（yt+1 |τt+1=t，y0:t）Pt-1u=0hG（t-u）-G（t-1.-u） 1个-G（t-1.-u） πt（u）i，s=t，p（yt+1 |τt+1=s，y0:t）1-G（t-s） 1个-G（t-1.-s） πt（s），s∈ {0，…，t- 1} ，否则为0。（4） 这种变化点模型和递归（4）直接受到肖邦（2007）、费恩黑德（Fearnhead）和刘（2007）以及亚当斯（Adams）和麦凯（MacKay）（2007）的启发。我们的模型比Farnhead和Liu【2007年】以及Adams和MacKay【2007年】的模型更一般，他们假设在一个变化点时间条件下，该时间之后的观测值独立于之前的观测值。注（2）并不意味着这种独立性。在第2.4节中，我们描述了上述变化点模型的一个实例，其中p（yt+1 |τt+1，y0:t）是通过分析积分共轭先验分布下与变化点相关的参数而产生的。这使得我们的设置比肖邦（2007）的设置更加严格，肖邦（2007）没有假设这种解析积分是可能的，而是以顺序蒙特卡罗算法的形式使用数值积分。2.2相异性度量值现在由m表示≥ 1系列返回{（yit）t∈∈N、 i=1，m} 。设πit如（3）所示，其中（yt）t∈∈n替换为（yit）t∈∈N、 我们建议在任意给定时间t对序列进行聚类，并将相异性作为分布{πit，i=1，…，m}之间的概率度量。因此，如果通过{πit，i=1，…，m}，序列在其各自最近变化点的时间上表现出类似的证据，则序列将在时间t聚集。选择哪个概率指标？考虑以下因素似乎是明智的：i）解释和ii）计算开销。

为了解决这两个标准中的第一个，考虑总变化距离：TV（π，π）=Xs∈N |π（s）- π（s）|。当π和π具有不相交的支撑时，总变化距离是最大的，并且等于1，这是一个限制性的相异性概念。例如，对于两个Kronecker delta的π=δtandπ=δt+s，TV（δt，δt+s）=1，如果| s | 6=0。（5） 对于描述变化点上的分布，这种对转换的不敏感似乎是不可取的——更吸引人的特性可能是距离严格地以| s |增加。Hellinger和Ldistances等备选方案涉及概率质量函数或其函数之间类似的逐点差异求和，因此具有相同的缺点。如果一个质量函数的支持度不包含在另一个质量函数的支持度中，则涉及概率质量函数比率（如χ或Kullback-Liebler）的发散度同样无法表示相异性。总变化距离可视为瓦瑟斯坦距离的一个实例：给定Nand p上的距离d（·，·）≥ 1，与d相关的p\'th Wasserstein距离为：Wp（π，π）：=infγ∈Γ（π，π）X（s，t）∈N×Nd（s，t）pγ（s，t）1/p，（6）式中，Γ是N×N上所有概率质量函数的集合，边缘为π和π。如果取d为离散距离d（s，t）=1{s6=t}，且p=1，则会产生总变化距离。相反，如果d是N上的通常距离，d（s，t）=| s- t |，我们有Wp（δt，δt+s）=s |，（7），更一般地，可以通过直接计算（6）中的最大值来显示：Wp（aδs+（1- a） δt，bδs+（1- b） δt）=a- b | 1/p | s- t |，（8）见【Bobkov和Ledoux，2016年，Ex 2.3】。

虽然（7）和（8）当然是相当具体的例子，但它们说明了瓦瑟斯坦距离与d（s，t）=s的关联方式-t |在翻译方面比总变化距离更具表现力，因此可以说更适合我们比较变化点时间分布的目的。转向计算开销的标准，在d（s，t）=s的情况下- t |在N上，Wasserstein距离以闭合形式方便可用：Wp（π，π）=Z | F-1（v）- F-1（v）| pdv1/此处为F-1i（v）=inf{t∈ N： Fi（t）≥ v} 是πi的广义逆c.d.f。从计算角度来看，更方便的是：W（π，π）=Xs∈N | F（s）- F（s）|，（9）背景见【Bobkov和Ledoux，2016】。考虑到这些因素，我们将确定（9）应用于每对πit，πJT作为我们的相异性测量时间t。注意，任何πit的支持总是包含在{0，1，…，t- 1}. 此外，如果应用第2.3节中建议的近似技术，每个近似分布^πit（稍后详细信息）将在t中具有多个一致上界的支撑点，因此评估W（^πit，^πjt）的成本在t中是一致上界的。选择相异性度量完成了第1节中描述的两个步骤中的第一步。第二步有哪些选项？在评估成对距离后，可以立即执行层次聚类，我们将通过数值实验来说明这种方法。对于k-means风格的基于质心的方法，需要引入Wassersteinbarycentre的概念，它是具有Wasserstein距离的概率分布空间中的Fréchet均值。

计算这些重心通常是一项非常重要的任务，数值方法见【Peyré和Cuturi，2019年】。2.3在线实现（4）中求和的项数明显随t线性增加。因此，从时间零点到某个时间t的递归计算成本在t中是二次的。一种简单的WARDSAN在线算法路线，即每个时间步的计算成本不随时间增加，是指引入一个近似值来表示每个πt，该近似值具有t中一致上界的多个支撑点。例如，考虑一个简单的修剪策略：x多个支撑点n≥ 1、对于t≤ n、 计算机πt实际使用递归（4）。对于t>n，假设已经有一个πt的近似值，称之为^πt，它在{0，…，t中有n个支撑点-1}. 然后，可以用πt代替（4）右侧的πtin，并保留与最高概率相关的n+1结果支撑点中的n，以给出πt+1到πt+1的近似值。在线实施（4）的另一个考虑因素是评估p的成本（yt+1 |τt+1，y0:t），这是否也会随着t的增加而增加？在第2.4节所述的变化点模型实例中，weshall表明，p（yt+1 |τt+1，y0:t）取决于y0:t，通过可以在数据到达时在线更新的统计数据，因此可以在固定成本的时间步长中按顺序评估t中的术语p（yt+1 |τt+1，y0:t）。2.4变更点模型（Tn）n的特定实例≥0按照第2.1节的规定分发。现在，我们引入一个特定的回报（yt）模型≥0，在分析边缘化某些参数后，将满足（2.1）和p的闭合表达式（yt+1 |τt+1，y0:t）。