使用以下方法识别金融市场崩溃的长期前兆

短时互相关帧中的噪声抑制。（a） ，（b）和（c）分别显示了截至2001年11月30日的M=20天和N=194只美国股票的短时相关矩阵的相关模式、特征值谱和MDS图。幂映射方法用于：（i）减少由短时间序列形成的奇异相关矩阵（M<N）的噪声，或（ii）打破零特征值的退化性。两个不同的噪声抑制参数值， = 0.01和 = 0.6，用于此目的。较小的值 = 0.01用于（d）、（e）和（f）。λmax和本征谱的变化清晰可见（插图中显示的“新兴谱”的高度和扩展）；在这个较小的值下，集群不会有太大变化。在（g）、（h）和（i）中，当 = 相关帧为0.6，出现频谱的形状以及MDS图发生了剧烈的变化。出现的频谱 = 0.6比 = 0.01. 在MDS图中，具有高相关性的股票彼此更接近，形成更紧密、更明显的聚类，相比之下 = 0和 = 0.01.2.4. 不同时期相关帧间相似矩阵中的噪声抑制返回矩阵C（τ）的噪声抑制互相关结构跨越不同时间τ=1。。。，n、 可以根据它们的相似性进行比较。如果因此确定长期前体8（a）（b）（c）（d）（e）（f）（g）（h），见图3。不同时间段相关帧间相似矩阵中的噪声抑制。（a） 和（e）显示相似矩阵（无噪声抑制 = 0和噪声抑制 = 805个相关帧中的0.6）；（b） 和（f）显示美国相应的MDS地图。

（c） 和（g）显示相似矩阵（无噪声抑制 = 0和噪声抑制 = 798个相关帧中的0.6）；（b） 和（f）显示JPN的相应MDS映射。相似性矩阵揭示了32年来股市的演变（19852016）。相似矩阵中的红黄色条带显示了各个市场的崩溃。噪声抑制效果在相似矩阵和MDS图上都清晰可见。是在不同时间段τ和τ的两个相关矩阵C（τ）和C（τ），每个都是在M天的短时间段内计算的，然后为了量化相关结构之间的相似性，相似性度量计算为：ζ（τ，τ）≡h | Cij（τ）- Cij（τ）| i，其中|…|表示绝对值和h。。。i表示所有矩阵元素{ij}的平均值[13]。然后，我们使用MDS映射来可视化包含在n×n相似矩阵中的信息，其中每个元素是ζ（τp，τq），其中p，q=1。。。n、 有趣的是，在短时间内应用于单个相关帧的噪声抑制在相似性矩阵中也有显著的效果。图3显示了噪声抑制对相似矩阵[13]和相应MDS图的影响。每个相关帧用N=194个美国股票计算；因此，对于1985-2016年期间长度为T=8060天的时间序列，有n=805个相关帧，这些帧由M=20天的短时间段和τ=10天（50%重叠时间段）。同样，我们有N=165支JPN股票；同一时期长度T=7990天的时间序列产生n=798个相关帧。相似矩阵的结构模式发生了明显的变化 = 0.6.

值得注意的是，图3（e）显示了识别长期前体9美国市场的区块结构，并揭示了以下事实：2002年之前，美国市场的行为相对平静，之后变得更加不稳定；红黄色条纹突出了皮疹期。同样，图3（g）显示，自1990年以来，日本国债市场变得更加波动；此外，与美国市场（USAmarket）相比，它经历了更为关键的时期。重要的是，MDS映射有噪声抑制参数 = 0.6更紧凑、更密集，从而更好地聚类和确定市场状态的最佳数量（另请参见补充图S2和S3）。2.5. 确定最佳市场状态数为了确定市场状态数，我们找到了可以将不同时期的噪声抑制互相关回报矩阵C（τ）组合在一起的聚类数τ=1。。。，n、 基于他们的相似性【13】。我们使用MDS映射来可视化包含在n×n相似矩阵中的信息，然后使用该MDSmap对n个对象进行k-means聚类。k-means聚类是一种启发式算法，其目的是将n个相关帧划分为k个簇或组，其中每个对象/帧都属于具有质心（最近的平均相关）的簇，作为簇的原型。在k-均值聚类中，可以通过不同的技术优化KC值【28，29】。在这里，我们提出了一种优化k的新方法。我们使用相当多（比如500）个不同初始条件的集合（选择k质心的随机坐标或n个对象的等效随机初始聚类）来测量簇内距离的平均值和标准差；每组初始条件可能会导致n个不同相关帧的聚类略有不同。

如果聚类是不同的（或远距坐标空间），则即使对于不同的初始条件，k均值聚类也会产生相同的结果，产生较小的簇内距离方差。当簇非常接近或重叠时，将帧分配到不同簇中的问题变得尖锐，因为初始条件会影响最终的簇。因此，簇内距离的方差较大。因此，特定数量的聚类的最小方差或标准差显示了聚类的稳健性。为了优化聚类的数量，我们建议寻找最大值k，它在不同初始条件下的聚类内距离具有最小方差或标准差。我们认为这比根据簇内距离与簇数曲线确定“拐点”更容易[29]。对于每个簇，计算属于该簇的所有点的点到质心距离的平均值/方差；簇内距离的平均值/方差是从每个k簇获得的k值的平均值/方差。接下来，我们使用500个不同的初始条件进行k-means聚类，每个初始条件都会产生略有不同的聚类结果。然后，计算500次跑步训练中平均簇内距离的平均值和方差（或标准偏差）。然后，将平均簇内距离图作为识别长期前体10（a）（b）的函数图4。

簇内距离随簇数变化的曲线图。（a）USA和（b）JPN的噪声抑制参数结果 = 0.6.对由805个美国噪声抑制相关帧和798个JPN噪声抑制相关帧生成的MDS图进行k均值聚类，k均值聚类中有500个初始条件。误差条是500个随机初始条件到初始聚类质心的集合所产生的簇内距离的标准偏差。曲线图显示了美国k=4和JPN k=5时的最小标准偏差，这表明了“最佳”聚类数。插图：所有500个随机初始条件下簇内距离与k的关系图。每条彩色线对应一个这样的初始条件。图4（a）和（b）分别显示了美国和日本的集群k数量。500个初始条件下测得的簇内距离的标准偏差显示为误差条。图4（a）和（b）的插图显示了500个初始条件的曲线图。如前所述，通过保持标准偏差最低和簇数最高来优化k值；请注意，对于k=1，标准偏差始终为零。我们发现，在美国，标准差一直很低，直到k=4，然后随着集群数量的增加而增长；因此，k=4是最佳簇数。对于比美国更复杂的JPN，k=1、2、3的标准差较低，k=4时标准差增大，然后fork=5时标准差急剧减小；除此之外，标准差也更高。因此，k=5是JPN的最佳簇数。因此，对k=4个簇（美国）和k=5个簇（JPN）进行相似性矩阵中相关帧的最终k均值聚类，分别如图5（a）和（b）所示。

我们确定每个集群中的点（不同颜色代表不同的集群）具有相似的相关模式和附近的平均相关，作为一个市场状态。基于k均值聚类，图5（c）显示了美国四种不同的市场状态S1、S2、S3和S4，其中S1对应于平静状态（低平均相关），S4对应于崩溃或临界状态（高平均相关）；图5（d）显示了识别长期前体11（a）（b）（c）（d）图5的五个市场状态S1、S2、S3、S4和S5。市场状态。（a） 将美国市场划分为四个市场州。（b） 将JPN市场划分为五个市场状态。在由噪声抑制构建的MDS图上执行k均值聚类( = 0.6）相似矩阵。MDS地图中指定的坐标是相应的correlationframes。对于美国，我们有805个时间段M=20天的相关帧，ashift为t=10天；对于JPN，我们有798个相同的相关帧。（c） 显示了美国市场S1、S2、S3和S4的四种不同状态，其中S1对应于平静状态（低平均相关），S4对应于崩溃或临界状态（高平均相关）。（d） 显示了JPN市场1、S2、S3、S4和S5的五种不同状态，其中S1对应平静状态，S5对应临界状态。识别长期前体12JPN，其中S1分别对应于平静状态和S5对应于临界状态。这些状态按平均相关的递增顺序排列。在这里，我们还可以看到相关矩阵在结构上的明显差异，例如，在美国的每个市场州，能源、金融和公用事业部门内部存在着很强的部门内相关性。还可以提到，噪声抑制参数的选择 = 0.6并非完全任意。

我们使用 范围从0.1到0.7（如补充图S2和S3所示）。比较的结果是 = 0.6产生最佳结果。2.6. 市场状态的共现概率和动态转换一旦将短时互相关框架分类为不同的市场状态，人们就可以随着不同市场状态的动态转换跟踪市场的演变。图6（a）和（c）显示了1985-2016年间美国和日本市场状态的演变动态。在美国，市场在S1、S2、S3和S4四个州之间波动。通常S1或S2状态（平均相关相对较低）倾向于长时间保持在同一状态；在其他时候，市场跳到更高的平均相关状态S3或S4。同样，对于JPN，五个市场状态S1、S2、S3、S4和S5之间的动态转换。美国和日本的市场状态动态概率图分别如图6（b）和（d）所示。任何市场状态的颜色长度是该状态在110天（10个重叠时期）内计算的概率。从概率图可以明显看出：（a）在美国，2002年之前，市场主要处于S1状态；2002年以后，市场变得更加不稳定，向其他州的过渡更加频繁，（b）在日本，市场从1990年起变得更加不稳定。

从平均相关的时间演变中也观察到了同样的行为（见补充图1）。图7（a）和（b）分别显示了美国和JPN市场状态同时出现的条形图；图7（c）和（d）分别显示了代表美国和日本的转移概率（成对市场状态的共现）的网络，表2和表3给出了相应的值。美国配对市场状态（S3、S4）共现的概率约为6%。如果我们忽略条形图的对角线条目，它显示了保持在相同状态的高概率，那么我们可以安全地推断，在显著的转移概率下，美国的S3状态就像S4状态（市场崩溃）的“先驱”；类似地，对于JPN，状态S4就像临界状态S5的“先驱”，显著转变概率约为8%。三维条形图对角线上方和下方的条目也相当高，这表明过渡主要发生在紧邻的状态之间，只有远程过渡的例外情况才能识别长期前体13（a）（b）（c）（d）图6。美国和日本市场状态的动态演变。（a） 1985-2016年期间美国在四个不同州（S1、S2、S3和S4）的时间动态。（b） 每种颜色长度的四种市场状态的概率图对应于这四种状态在110天内（10个重叠时期）的进化概率。（c） 和（d）显示了五种市场状态（S1、S2、S3、S4和S5）下JPN的类似结果。在1987年的黑色星期一崩盘等案例中，最后，让我们检验一个简单的假设，即系统是否随机地从状态状态跳到了概率较小的状态。

请注意，如果我们简单地看一下图7（c）和（d）中的曲线，就不明显情况确实如此。然而，如果我们做出这个假设，我们可以得到系统长期处于一种状态的概率表达式。这源于马尔可夫链的一般理论[30]，但为了保持论文的独立性，我们简要解释了以下细节。设Pi（n）为系统在n步（时间段）后处于状态i的概率。使用Wij的定义，以及向识别长期前体过渡的假设14（a）（b）（c）（d）图7。市场状态转移概率和临界状态长期前体的确定。（a） 和（b）美国和JPN配对市场状态（MS）共现频率的3D条形图。（c） 和（d）分别表示USA和JPN不同状态之间的转移概率网络。转移概率见表2）和表3。美国成对市场状态（S3、S4）共现的概率为6%，表明美国S3状态就像市场状态S4（崩溃）的前身；类似地，对于JPN，JPN成对临界市场状态（S4，S5）的共同发生概率约为8%，这表明JPN的S4状态就像临界状态S5（崩溃）的前身。仅取决于通过Wij的前一状态，而决不取决于前一历史，即weobtainPi（n+1）=XjWjiPj（n），（1），其中总和是所有可能状态j的总和。经过很长时间后，概率分布变得独立于n是合理的，事实上可以严格证明这一点；换言之，分布达到平衡状态P（0）i。后者满足方程sp（0）i=XjWjiP（0）j。（2）如果Wijis已知，这可以显式求解。

可以证明该解决方案始终能够识别15ndMS的长期前兆→stMS公司↓S1 S2 S3 S4S10.869 0.112 0.017 0.002S20.221 0.623 0.152 0.004S30.033 0.333 0.575 0.058S40 0 0.273 0.727表2。美国：四个市场状态（MS）的共现概率（第一个紧随第二个）。ndMS→stMS公司↓S1 S2 S3 S4 S5S10.809 0.155 0.023 0.009 0.005S20.150 0.634 0.179 0.033 0.004S30.014 0.234 0.603 0.120 0.029S40.011 0.075 0.330 0.511 0.075S50.036 0.107 0.393 0.464表3。JPN：五种市场状态的共现概率（MS）（第一种紧随第二种）。正的，并且总是可以归一化，使得xip（0）i=1，（3），这样数字P（0）确实可以被解释为一组概率。在表2（针对美国）或表3（针对JPN）给出Wij的情况下，计算平衡分布很简单：对于美国，一个结果是：P（0）=0.523 P（0）=0.288 P（0）=0.149 P（0）=0.040。（4） 另一方面，对于JPN：P（0）=0.274 P（0）=0.308 P（0）=0.263P（0）=0.119 P（0）=0.036。（5） 从图6（a）中获得的美国四个特征市场状态S1、S2、S3和S4的实际频率使我们能够计算概率：分别为0.523、0.287、0.149和0.041。同样，从图6（c）中获得的JPN的特征市场状态S1、S2、S3、S4和S5的实际频率使我们能够计算概率：分别为0.277、0.308、0.262、0.118和0.035。这些概率确实非常接近等式中的概率。所以我们的假设是正确的。确定长期前体163。