清理大型相关矩阵：来自随机矩阵理论的工具

此外，我们可以注意到，我们在真协方差C中添加的结构越多，经验分布就越宽，就像上面的情况一样，其中E的谱几乎包含所有的正实数线。回想一下，S是方程式（3.32）中定义的T×T当量。0 1 2 3 45 67λ00.511.5ρ（λ）信号样本35 36 37 38 39 40 41 42 43 441.2×10-51.6×10-52.0×10-52.4×10-52.8×10-5图3.4。当ρCis给定幂律密度，参数λ=0.3，有限观测比q=0.5，N=500时，Marˇcenko Pastur方程的分辨率。虚线对应C的LSD，而平线对应E的LSD。当我们从定义（3.3）计算EFR时，直方图是ESD。主图覆盖了大部分特征值，而插图放大了非常大的特征值区域。3.3. 边缘和异常值统计信息。正如我们在上文多次提到的，随机矩阵特征值谱的理论预测的实际有用性是：（i）其对基础随机变量分布的普遍性，以及（ii）谱中出现锐边，这意味着，存在的特征值位于允许的区域之外，这可能是对简单的“零假设”基准的一种指示。图3.5显示了对应于N=406和T=1300的相关矩阵的经验光谱密度，以说明最后一点，因此q≈ 0.31，与零假设情况下最简单的Marˇcentko Pastur谱C=in相比。虽然大致解释了大部分分布（但请参见第7.2节了解更好的尝试），但似乎存在一定数量的特征值，这些特征值位于Marˋcentko Pastur海外侧，可称为异常值或峰值。

然而，即使在C的光谱中没有这样的尖峰，我们也会看到，在玛尔岑科牧场上边缘以外的一些特征值。接下来的两小节首先讨论这些有限尺寸效应，然后讨论一个具有“真实”异常值的模型，该异常值存在于大N限值中。3.3.1. 特蕾西·维多姆地区。这种锐利边缘的存在界定了一个区域，在这个区域中，人们期望从一个应该没有特征值的区域中看到一个非零密度的特征值，这种情况只在渐近N，T中成立→ ∞, 并且在矩阵元素分布中没有“厚尾”（见[73112]）。另一方面，对于较大但有限的N，我们预计找到0 1 2 3 4λ0.00.51.0ρ（λ）经验数据的概率Marcenko Pastur图3.5。使用n=406和T=1300的美国股票数据对经验相关矩阵E的零假设进行检验。Marˇcentko Pastur海以外的特征值非常小但有限。过渡区的宽度和态密度的尾部在不久前就已经被研究过了【113】，Tracy和Widom在随机矩阵的最大特征值分布上得出了漂亮的结果【26】。特蕾西·维多姆的结果实际上是普遍现象的一个很好的体现，它描述了许多大维度系统中宏观可观测物的变化（见最近关于这个主题的论文【114】。Tracy-Widom分布的推导主要依赖于我们在本综述中不会讨论的正交多项式（参见[26115]），但也存在另一种方法[116]。这一极限定律与大样本协方差矩阵的最大特征值之间的联系已经受到了大量研究的影响，我们将不在这里尝试讨论（参见。

[25、50、51、117、118、119]以获取详细信息和参考）。Tracy-Widom结果精确地描述了E的最大特征值λ与我们用λ+表示的光谱上边缘之间的距离。这个结果可以（正式）表述如下：λ的重标度分布- λ+向Tracy-Widom分布收敛，通常表示为F，Pλ6λ++γN-2/3u= F（u），（3.51），其中γ是一个常数，取决于问题。对于各向同性Marˋcenko Pastur问题，λ+=（1+√q） 和γ=√qλ2/3+，而对于Wigner问题，λ+=2，γ=1。我们强调，这一结果适用于一大类N×N矩阵（例如，具有有限四阶矩IID元素的对称随机矩阵，见[112，73]）。关于Tracy Widom密度f（u）=f（u）的一切都是已知的，特别是它的左、右远尾：ln f（u）∝ -u3/2，（u→ +∞); ln f（u）∝ -|u |，（u→ -∞); （3.52）人们注意到，左尾要薄得多：将最大本征值推到允许带内意味着压缩排斥电荷的整个库仑气体，这很困难。利用这个类比，Tracy-Widom问题的大偏差区域（即λ-λ+=O（1））也可以得到[50]。注意，最小特征值λmina在下边缘λ周围的分布-除q=1的Marˇcenko Pastur矩阵的特殊情况外，它也是一个三态Widom。在这种情况下，λ-= 0是一个“硬边”，因为经验矩阵的所有特征值都必须是非负的。例如，在[120]中处理了这种特殊情况。3.3.2. 异常值统计。现在，即使在N→ ∞.例如，图3.5所示的经验数据确实表明存在真实的异常值，这些异常值对经济活动部门具有真实的财务解释。

因此，我们需要一个框架来描述同时包含一个大区域和一个有限数量的尖峰的相关矩阵。本节的目的是从RMT的角度研究这些特征值的统计信息。处理异常值的标准方法是“吹出”给定（无尖峰）相关矩阵C的有限个特征值，我们将其构造为：C=NXi=1uiviv*i、 式中，ui=（uif i 6 ruiif i>r+1。（3.53）我们选择C光谱中的特征值u，以便最初没有异常值。在这里，为了简单起见，我们fixu=ur+1，但在集合[ui]i>r+1中的任何其他选择都会做得同样好。然后，根据这个公式，我们可以将C重写为C的一个小阶扰动。实际上，由于每个离群值[ui]i6rare通过假设与整体很好地分离，我们可以用任意I6r的正实数di对每个峰值uib进行参数化，如下所示：ui=u（1+di）≡ ur+1（1+di），di>0，i 6 r.（3.54），因此，总体协方差矩阵C由以下公式给出：C=NXi=1uiviv*i、 式中，如果i 6 ruiif i>r+1，则ui=（u（1+di）。（3.55）更综合地说，可以将C写成：C=CIN+V（r）DV（r）*, （3.56），其中V（r）…=【v，…，vr】∈ RN×rand D…=diag（d，…，dr）是表征尖峰的对角矩阵。我们还将有效无峰样本协方差矩阵定义为E=C1/2XX*C1/2，用S=X表示*CX T×T“对偶”矩阵。如【38】所述，可以通过E的统计来研究E的异常值统计。为了简单起见，让我们考虑秩一r=1的情况（一般情况见【38】。那么，我们有了- E） =det（zIN- 十、*C（英寸+dvv*)十） =det（zIN- XX号*C（英寸+dvv*)).可转换为：det（zIN- E） =det（zIN- E） det（英寸- d（锌- E）-1vv*E） （3.57）我们可以得出结论，当且仅当第二行列式消失，即如果d（λin- E）-1vv*E的特征值等于1。

为了找到λ，我们注意到第二个行列式只是一个秩一更新，这意味着它只有一个由方程d给出的非平凡特征值λhv，GE（λ）vi-1.= 1，（3.58），其中GEI是E的预解式。（3.58）的困难部分是找到标量积hv，GEvi的（渐近）表达式。让我们假设C是高斯分布，这允许我们任意设置v=（1，0，…，0），而不损失一般性。那么我们要解的方程是：λGE（λ）=d-1+ 1. （3.59）正如我们将在下一节中看到的，GEA的条目实际上收敛到N的确定数量→ ∞ 使用公式（4.6）得出（另一种推导见（C.19））。结果（z）≈z-u(1 -q+qzgE（z））=z（1- ur+1gS（z）），其中我们使用了标识（3.33）和该u≡ ur+1，在最后一步中构造（3.56）。如果λ不是E的特征值，我们发现等式（3.59）在LDL1中变为-ur+1gS（λ）=d-1+1，（3.60），相当于：gS（λ）=ur+1（1+d）≡u，（3.61），其中我们在最后一步中使用了（3.54）。因此，如果λ满足大N，我们可以看到λ是一个异常值：λ=θ（u）…=学士学位u, （3.62）该结果非常普遍，可以推广到任何离群值λi和i∈ [[1，r]]。此外，我们可以看到N→ ∞, （随机）异常值λ收敛到u的确定函数。因此，函数（3.62）描述了异常值所处的“经典位置”，因此可以解释为异常值（3.40）的模拟值。然而，请注意（3.62）要求了解无刺基质S（或E）。在实践中，我们应该做出一些假设，以决定是否应将agiven经验特征值视为尖峰。结果（3.62）推广了Baik-Ben-Arous-P'ech'e对尖峰协方差矩阵模型的结果【118】。

事实上，让我们假设真协方差矩阵C的特征值是由非高斯项组成的。可以使用标准比较技术对非高斯项进行扩展，详情参见[111]。一个异常值和N- 1单位特征值。然后，我们可以简单地推断出，对于alli=1，…，ui=1，N这意味着E的光谱受Marˇcentko Pastur定律（2.42）管辖。事实上，在极限N→ ∞, E和E的频谱是等效的，因为扰动是有限秩的。因此，我们可以很容易地计算对偶矩阵S从（3.35）到fIndbs（x）=x+q1的蓝色变换-x、 （3.63）将该公式应用于方程（3.62），然后导致所谓的BBP相变（λ=u+qu-1如果u>1+√qλ= λ+= (1 +√q） 如果u6 1+√q、 （3.64），其中u=u（1+d）是C的最大特征值，假设为尖峰。注意，在极限u内→ ∞, 我们得到λ≈ u+q+O（u-1). 对于秩r扰动，所有特征值使得uk>1+√q、 1 6 k 6 r最终将在马ˇ岑科Pastur海上方隔离，其他所有在λ+以下消失。所有这些孤立特征值都具有T阶高斯函数-1/2[118]. T阶的典型函数-1/2也适用于任意C[38]，并且比大部分分布的不确定性小得多√q、 注意，将公式（3.9）简单应用于异常值会导致顶部特征值周围出现“迷你Wishart”分布，这是不正确的（分布为高斯分布），除非顶部特征值的简并度与N.4成正比。在前一章中，我们看到了特征向量的统计信息，RMT的工具允许我们推断E的（渐近）谱的许多性质，无论是对于谱的整体还是更局部化的区域（边缘和离群值）。这些结果使我们能够非常详细地描述大样本协方差矩阵特征值的统计特性。

特别是，很明显，在高维极限下，不推荐使用样本协方差矩阵，因为每个样本特征值[λi]i∈[[N]]收敛到非确定性值，但该值与相应的“真实”总体特征值【ui】i不同∈[[N]]。请注意，上述结果仅涵盖了关于该主题的大量文献中的一小部分，包括研究微观/局部统计（下至N-1刻度）[95、96、111、121]。另一方面，关于特征向量的结果相对较少。一个原因是，RMT中的大多数研究都集中在旋转不变的集合上，因此特征向量的统计特性在定义上是无特征的。尽管如此，这个问题对于样本协方差矩阵非常重要，因为在这种情况下，“总体”矩阵的特征向量的方向必须以某种方式留下痕迹。关于样本矩阵E的特征向量，至少有两个自然的问题：（i）样本特征向量有多相似∈还有真正的我∈[[N]]？（ii）通过观察两个独立的实现（例如E），我们可以了解关于总体协方差矩阵的哪些信息=√CW公司√C和E=√CW公司√C–通过C保持相关？本章的目的是介绍一些关于大样本协方差矩阵特征向量的最新结果，这将使我们能够回答这两个问题。更准确地说，我们将展示第2节中开发的工具如何帮助我们提取特征向量的统计特征∈[[1，N]]。

请注意，我们将讨论乘法噪声模型的这些问题（见上文（2.80）），但对于加法噪声也可以研究相同的问题，见[39、111、122、123、124]和附录D。表征两个任意向量（如ξ和ζ）之间相似性的自然量是考虑ξ和ζ的标量积。更正式地说，我们将“重叠”定义为hξ，ζi。由于实对称矩阵的特征向量仅定义为一个符号，因此我们实际上应考虑平方重叠hξ，ζi。在上面提到的第一个问题中，我们想了解总体矩阵的特征向量之间的关系∈[[N]]和样本矩阵的那些[ui]i∈[[N]]。平方重叠矩阵定义为hui，vji，它形成所谓的双随机矩阵（行和列上的和都等于单位的正元素）。为了研究这些重叠，本章的中心工具将是预解式（而不是前一节中的归一化跟踪）。事实上，如果我们选择v作为参考基础，我们会从（2.6）中发现：hv，GE（z）vi=NXi=1hv，uiiz-λi，（4.1）对于v，为RNof单位范数中的确定性向量。注意，我们可以将形式主义扩展到更一般的GE（z）条目，形式为：hv，GE（z）vi=NXi=1hv，uiihui，即-λi，（4.2）对于v和vtwo单位范数确定性向量，单位为RN。我们从方程中看到。（4.1）和（4.2）预解式的每个极点定义了对应样本特征向量上的投影。这表明我们需要应用的技术与上面用来研究态密度的技术非常相似。然而，我们应该立即强调，与特征值相反，任何给定i的每个特征向量ui在→ ∞,永远不会达到确定的极限。

因此，我们需要引入一些平均程序，以获得明确的结果。因此，我们将考虑以下数量，Φ（λi，uj）…=NE【hui，vji】，（4.3）其中，期望E可以被解释为随机性不同实现的平均值，或者，对于应用而言，更具意义的是，可以被解释为我们在1范围内选择的宽度为dλ=η的特征值的固定样本过小区间的平均值 η  N-1（假设η=N-1/2）使得区间dλ中有许多特征值，同时保持dλ足够小，以使光谱密度保持恒定。有趣的是，对于大型矩阵，这两个过程会产生相同的结果，即局部“平滑”量Φ（λ，u）是自平均的。我们强调，在本节中，我们认为总体特征向量是确定性的。只有样本特征向量是随机的。还应注意上述定义中的系数N，表示我们预计典型的方形重叠为1/N级，见下文。对于第二个问题，主要的关注量类似地是，两个独立的噪声特征向量Φ（λi，λj）之间的（均方）重叠=NE【hui，▄uji】，（4.4）式中[▄λi]i∈[[N]]和[~ui]i∈[[N]]是▄E的特征值和特征向量，即独立于E的另一个样本矩阵（但具有相同的基本总体矩阵C）。在介绍结束时，我们简短地评论了一些模糊的定义（4.3）和（4.4）。如上所述，我们通过特征值对特征向量进行索引，这允许我们考虑（4.3）的连续极限。然而，更精确的定义应该是Φ（λ，u）…=EN-1PNi，j=1hui，~bjiδ（λ-λi）δ（u-ui）但我们保留了符号（4.3），但有一点滥用符号，因为在离群值或大特征值之间分离分析会更方便。

我们强调，这句话也适用于重叠（4.4）。4.1. 存在噪声时的渐近特征向量变形。在本节中，我们考虑第一个问题，即：我们能否描述噪声对特征向量的影响？不同的是，样本特征向量如何偏离总体特征向量？为了回答这个问题，等式（4.3）似乎是一个很好的起点，因为它允许我们准确地提取样本特征向量到总体特征向量的投影。现在，我们将证明等式（4.3）在大N极限下收敛到确定性量；更准确地说，我们可以将本节的主要结果总结如下：（i）任何体样本特征向量在总体基础上是非定域的，即Φ（λi，uj）~ O（1）（而非O（N）），对于任何i∈ [[r+1，N]]和j∈ [[N]]；（ii）对于任何异常值（即i 6 r），Ui集中在一个圆锥体内，其轴平行于vi，但在与尖峰方向vi正交的任何方向上完全离域。回想一下，我们已经通过其相关特征值索引了特征向量。因此，从推理的角度来看，这些结果看起来相当令人失望。实际上，对于体特征向量，我们发现，对于大N，投影估计的特征向量及其相应的“真”方向几乎肯定收敛到零；i、 e.样本特征向量似乎包含很少关于真实特征向量的信息（在这一点上，请参见[40]）。尽管如此，正如我们将在下面看到的，平方重叠并不都等于1/N，但出现了一些有趣的调制，我们在下面通过将Marˇcenko Pastur方程扩展到完全预解式来计算这些调制。另一方面，对于异常值而言，全球情况则截然不同。