清理大型相关矩阵：来自随机矩阵理论的工具

请注意，GLS是GMM的一种特殊形式。（iii）分类【4】：假设我们想要在两个平均值u和u不同、先验值π和π不同但协方差矩阵C相同的高斯总体之间对变量y进行分类。线性判别分析规则将y分类为2类ifx*C-1(u- u) >(u+ u)*C-1(u- u) -log（π/π）（1.5）（iv）大型投资组合优化【5】：假设我们想要投资一组金融资产，从而在给定的绩效目标ν下，将投资组合的总体风险降至最低。根据马科维茨的理论，最优投资策略是权重的向量（w，…，wp）*这可以通过二次优化程序获得，在该程序中，我们最小化策略hw，Cwi的方差，受期望值hw，gi>u的约束，g是预测向量，u固定。（也可以实现其他约束）。最优策略readsw=νC-1克*C-1克。（1.6）正如我们将在第7章中看到的，在高维问题（如（i）和（iv））中，估计的“风险”的常用度量由TrE给出-1/TrC-1，结果非常接近，T足够大，可以容纳固定的N，即当q=N/T时→ 然而，当可观测数N也很大时，使得比率q不是很小，我们会发现低于该值-1=TrC-1/(1 -q） 适用于各种工艺。换句话说，样本外风险TrE-1可超出目前真正的最佳风险TrC-1当q>0时，甚至在q→ 1、注意，对于样本中风险价值最小化的类似情况，在[6]和[7]中得出了预期短缺。股票的典型数量是N=500，T=2500，对应于10年的每日数据，与股票的寿命或市场的预期结构演化时间相比，已经相当长了，但这对应于q=0.2。

形式宏观经济指标——比如说，20年的月度数据产生的T=240很小，而记录了通货膨胀的活动部门数量约为N=30，例如q=0.125。显然，q值非零值引起的影响在许多应用中都具有高度相关性。1.2. 历史调查。过去二十年，RMT（随机矩阵理论）的快速增长，既源于许多科学领域数据的复杂性不断增加（“大数据”现象），也源于许多挑战经典统计结果的新的突破性数学结果。特别是，RMT允许对大样本协方差矩阵进行非常精确的研究，也允许设计与上述大维限（LDL）一致的估计器。这篇综述的目的是向读者介绍不同的受MT启发的技术，这些技术允许人们以估计大型协方差矩阵为主线来研究高维统计问题。协方差矩阵的估计是多元统计中一个非常古老的问题，最有影响力的工作之一可以追溯到1928年，John Wishart[8]研究了i.i.d高斯实现y，y，…，情况下样本协方差矩阵E的分布，年初至今。

特别是，Wishart获得了给定C的E分布的以下显式表达式[8]：PW（E | C）=TNT/2NT/2ΓN（T/2）det（E）T-N-1ET（C）T/2e-TTrC公司-1E，（1.7），其中ΓN（·）是参数为N的多元伽马函数。在统计学中，有人说Efollows a Wishart（N，T，C/T）分布，这通常被称为RMT中的第一个结果。注意，对于有限的N和T，特征值的边际概率密度分布已知[9]：ρN（λ）=NN-1Xk=0k！T- N+k书信电报-Nk（λ）λT-氖-λ、 （1.8）其中我们假设T>N和llkar是拉盖尔多项式。尽管Wishart分布为我们提供了许多关于E的重要性质，但随着1956年Charles Stein的开创性工作，人们对样本估计量作为N函数的行为的理解要晚得多[10]。Stein最重要的贡献可以总结如下：当变量数N>3时，存在比单独处理变量的任何方法更精确的均方误差组合估计器（见[11]）。这种现象被称为斯坦因悖论，特别是建立在样本矩阵E随着系统维数的增加而变得越来越不准确的基础上。对于高斯向量的平均值，“组合”估计器的思想已通过James Stein估计器[12]变得精确，该估计器在N>3时优于传统方法，如最大似然法或最小二乘法。为了实现这一点，作者使用了贝叶斯观点，即通过对我们旨在估计的参数假设一些先验概率分布。

对于样本协方差矩阵，N>3时也会出现Stein悖论，如使用ΓN（u）=πN（N）所示-1） /4QNj=1Γ（u+（1- j） /2）。Llk（λ）=eλk！λldkdλk（e-λλk+l）。Wishart分布的性质和所谓的共轭先验技术（见第5章）。这是首次显示精度矩阵C-1在[13，14]中，然后对于协方差矩阵Cin[15]，得出著名的线性收缩估计量Ξ=αsE+（1- αs）IN，（1.9），其中Ξ表示C和αs的估计量∈ （0，1）是收缩强度参数。在【15】中，Haff建议使用观察矩阵Y的边际概率分布来估计α，正如所谓的经验Bayes框架所主张的那样。我们看到，该收缩估计量在经验“原始”矩阵E（无收缩，αs=1）和中的零假设（极端收缩，αs=0）之间插值。该示例说明了组合式估计器的思想，该估计器不仅基于数据本身，而且在系统维数增加时会提供更好的性能。使用简单估计量（1.9）而非样本协方差矩阵E所做的改进在2004年晚些时候被精确量化为渐近状态N→ ∞, 通过对收缩强度αs的显式和可观察估计量进行总结，贝叶斯方法成为估计高维方差矩阵的基石，将在第5节中进行更详细的讨论。有趣的是，关于LDL样本协方差矩阵行为的第一个结果并非来自统计界。这是由于Marˋcentko和Pastur在1967年的开创性工作【17】中，他们获得了一个自洽的方程，即当N趋于完整时，给定C的谱。特别是，质量比q的影响精确地显示出来。

事实上，它显示在经典极限T中→ ∞ Anderson在1963年指出，样本特征值收敛于总体特征值[18]，这一结果确实由q=0的Marˇcenko Pastur公式恢复。然而，当q=O（1）时，相同的公式表明，无论T有多大，所有样本特征值都成为“真”（总体）特征值的噪声估计量。这也被称为维度的游标。更准确地说，随着q变大，与“真实”频谱相比，E频谱的失真变得越来越严重（见图1.1）。这种现象背后的启发如下。当样本量T非常大时，可以估计方差矩阵C的每个单独系数，误差可以忽略不计（前提是可以假设C本身确实随时间变化，即观察到的过程是平稳的）。但是，如果N也很大，并且是T的阶数，就像在许多情况下经常发生的那样，样本估计量E变得“不可接受”。更具体地说，大量同时存在的噪声变量在计算矩阵的特征值时会产生重要的系统误差。Marˇcentko Pastur的结果对理解“维度诅咒”产生了巨大影响。首先，1995年人们认识到，当N→ ∞ q=O（1），就像维格纳半圆定律是普遍的一样：马伦科牧场方程适用于非常广泛的随机测量过程和一般的总体协方差矩阵C【19，20，21】。这个属性实际上是RMT的核心，这使得这个理论特别有吸引力。同时，在【22，23】中，使用非高斯的金融数据集提供了样本协方差矩阵结果相关性的一些经验证据【24】。

更准确地说，这些研究表明，财务相关矩阵的大多数特征值（大部分）与零假设C=I的第一近似值一致，而有限数量的“尖峰”（离群值）位于部分之外。这一观察结果是尖峰协方差矩阵模型的本质，该模型以2001年Johnstone的著名论文命名，在主成分分析（PCA）中有许多应用【25】。事实上，作者展示了RMT普遍性质的另一种表现形式，即尖峰协方差矩阵中顶部本体特征值的Tracy-Widom分布【26，25】。该结果表明，0.0 0.5 1.0 1.5 2.0 2.5 3.0λ0.00.20.40.60.81.0ρ（λ）q=0 q=0.25q=0.5图1.1。在N=500的完全假设下，绘制样本特征值和相应样本特征值密度。蓝线（q=0）对应于人口特征值的完美估计。观测比q越大，样品密度越宽。我们发现，即使forT=4N，与总体特征值的偏差也是显著的。大量特征值的边是非常刚性的，因为边的位置具有T阶的非常小的函数-2/3. 这提供了一个非常简单的方法来区分有意义的特征值（边缘以外）和有噪声的特征值（内部）[27，23]。这种方法被称为“特征值剪裁”：马伦科牧场光谱大部分中的所有特征值都被视为噪声，因此被常数值代替，而大部分以外的主成分（尖峰）保持不变。

这种非常简单的方法提供了强大的样本外性能[28]，并强调了正则化或清理的概念在高维中非常重要。即使尖峰协方差矩阵模型在许多不同的上下文中提供了非常令人满意的结果【28】，人们可能希望在没有对C的结构进行此类假设的情况下使用theMarˇcenko Pastur方程以数值方式重建C的谱【29】。然而，这在实践中尤其困难，因为马申科·帕斯托尔方程很容易在另一个方向上求解，即知道C的谱，我们很容易得到e的谱。在这方面，自2008年以来出现了许多试图“反转”马申科·帕斯托尔方程的研究【28、30、31、32】。第一种方法是找到一个参数化的“真实”光谱密度，以匹配数据【28】。[30]中的方法，在[31]中进一步改进，是完全不同的。在假设C的谱由有限个特征值组成的情况下，给出了每个种群特征值的精确分析估计。然而，这种方法需要对C的谱结构进行一些非常有力的假设。最后一种方法可以被视为非参数方法，似乎很有吸引力。事实上，El Karoui提出了一个“一致”的数值方案，用观测到的样本特征值来转换Marˇcentko Pastur方程【32】。尽管如此，虽然该方法信息量很大，但事实证明，该算法还需要关于真实特征值位置的先验知识，这使得在实践中很难实现。因此，这些反演方案原则上允许检索C的频谱，但就估计高维协方差矩阵而言，仅用估计的“真”特征值替换样本特征值并不能给出我们问题的满意答案。

事实上，theMarˋcenko Pastur方程只描述了大样本协方差矩阵的特征值谱，但没有给出关于E的特征向量的任何信息。事实上，除了Jack Silverstein在1990年左右的一些工作[33，34]，关于样本协方差矩阵的大多数RMT结果都集中在特征值上，如上所述。在尖峰协方差矩阵模型的特殊情况下，在[35]中获得了关于E的特征向量的第一个基本结果，但对于推理而言，这是多么令人失望。事实上，Paul注意到，相对于真实特征向量，离群值的特征向量服从锥形集中现象，而所有其他特征向量保留的信息非常少【35】。不同的是，在高维框架下，E的特征向量不是C的特征向量的一致估计。几年后，这些观察结果被推广到一般人口协方差矩阵C[36，37，38，39，40]。在处理C的估计时，在推理问题中必须考虑有关特征向量的信息。显然，上述“特征值替换”方法无法纠正，因为它建议在未知的特征基中对C的特征值进行最佳估计。因此，最近出现了一类不同的估计量，我们将其称为旋转不变估计量（RIE）[36，37，38]。在这类特殊的估计量中，主要假设是C的任何估计量Ξ必须与E本身共享相同的特征向量。这个假设在实践中有一个非常直观的解释，因为它相当于假设人们对C的结构没有优先权，即对C的特征向量所指向的特定方向没有优先权。

很容易看出，线性收缩估计量（1.9）属于这类估计量。与上述基于RMT的方法相比，RIE显式地使用了E的特征向量信息，尤其是它们与真实特征向量的平均重叠。事实证明，对于任何一般的总体协方差矩阵C，实际上可以获得LDL中C的最优估计量[38]。请注意，最优估计量与Stein悖论完全一致，也就是说，最佳清洗配方考虑了所有特征向量的信息和E的所有特征值。因此，得出的结论是，与现代“大数据”时代单独处理参数的任何方法相比，将所有信息结合起来，总是能提供更准确的预测。我们总结了上述关于大样本协方差矩阵估计的漫长历程，如图1.2所示，这可以看作是本综述的缩略图。请注意，最近的一项工作[40]试图将真实组件的先验信息结合起来。虽然目前尚不清楚如何使用该框架来估计相关性，但这可能允许构造“最优”非旋转不变估计量。我们将在本次审查结束时解决这一问题。1.3. 概述我们的目的是回顾几个随机矩阵理论（RMT）的结果，这些结果利用问题的高维性来一致地估计协方差矩阵，涵盖了近五十年的研究，从Marˋcentko和Pastur[17]的结果到最近一般总体协方差矩阵的“局部”最优RIE[38]。

我们强调，这篇综述的目的不是提供详细的证明（从数学意义上），但我们将尽可能多地为那些可能感兴趣的人提供这些数学文献的参考。在第2章中，我们首先详细介绍了RMT和一些可用于研究渐近中大型随机矩阵行为的分析方法，这些方法有时被称为旋转等变估计量0 1 2 3 4 5λ0 12345ξ裁剪线性图1.2。（联机上色）。三个收缩变换：y轴上的“清洁”特征值作为样本特征值的函数（更多详细信息，请参见第8章）。该图快速总结了收缩估计量的演变，从线性方法（绿色）开始，然后是启发式特征值分离方法（红色）到最优RIE（蓝色）。政体事实上，第2章中的大多数计算将在非常一般的随机矩阵模型下进行，并将在下文中使用。第一种方法可以说是物理学文献中最常用的库仑气体类比法。这对于处理不变系综特别有用，从而产生类似玻耳兹曼的权重，使人们能够很容易地恢复众所周知的结果，如维格纳半圆定律[42]或马伦科帕斯密度[17]。这是第2.2节的主要目的。第二种方法是Voiculescu的自由概率理论，该理论最初于1985年提出，旨在通过自由度的概念来理解一类特殊的vonNeumann代数[43]。粗略地说，如果两个矩阵A和B的特征基通过随机旋转相互关联，或者如果A和B的特征向量几乎肯定是正交的，那么这两个矩阵A和B是相互自由的。