清理大型相关矩阵：来自随机矩阵理论的工具

Voiculescu在1991年[44]发现，一些随机矩阵确实渐近满足自由度关系，这对RMT有很大影响。我们在第2.3节中给出了自由度概念的精确定义，然后为计算一大类随机矩阵的谱密度提供了一些应用。在第2.4节中，我们介绍了一种更正式的工具，称为无序系统统计物理中的复制方法【45，46】。虽然不太严格，但这种方法对于计算大型复杂系统的平均行为非常有效（最近的一篇评论见[47]）。在我们的例子中，我们将看到这种方法如何允许我们计算一大类随机矩阵的预解，这对于处理特征向量的统计信息特别有用。在第3章和第4章中，我们详细研究了大样本协方差矩阵的不同性质。第3章致力于E特征值的统计，特别是我们利用自由概率理论的工具对Marˇcentko Pastur方程进行了一个非常简单的推导。然后，我们回顾了我们可以通过E了解到的关于C的不同性质，例如动量生成函数，或E的谱密度的支持边。我们讨论了有限N的分布边的性质以及异常值。在第4章中，我们重点讨论了关于一般C的E的特征向量的最新结果。我们区分了两种不同的情况。第一个是真实特征向量和估计特征向量之间的角度，我们将看到[35]的初始结果适用于一般C。

第二种情况是两个独立样本特征向量之间的角度，这一结果允许我们推断出有关ofC结构的有趣特性。在这三个相对技术性的部分之后，我们接着讨论本综述的主题，即大样本协方差矩阵的估计。在第五章中，我们将协方差矩阵的贝叶斯方法形式化。我们提出了一类共轭先验，从中我们重新获得了由Haff【15】最初得出的线性收缩率（1.9）。接下来，我们考虑一类Boltzmann型旋转不变先验分布。然后，我们将Bayes最优估计与C的最小平方最优oracle估计联系起来。所谓的oracle估计是下面第6章的主要关注量。特别地，我们利用第4章获得的特征向量结果，证明了该估计在大维极限下收敛到一个极限且显著的完全可观测函数。因此，在RIEs类中存在一个仅依赖于E的大总体协方差C的最优估计。第6章的其余部分致力于最优RIE的一些理论和数值应用。第7章讨论了最优RIE在Markowitz最优投资组合中的应用。特别是，在一些技术假设下，我们明确描述了在大规模和样本外框架中使用样本协方差矩阵E的危险性。如上所述，我们应该看到，如果E没有精确的零模式（即，当q=N/T<1时），与“天真”估计器相关的已实现风险高估了因子（1）的真实风险- q）-此外，我们将看到，为了最小化样本外风险，我们所能做的最好的事情实际上是由第6章的最优RIE给出的。

该章还回顾了先前工作中提出的几种替代清洁“配方”。最后，第8章包含使用真实金融数据集的实证结果。我们进一步证明，在现实生活中强烈建议使用C的正确正则化估计量。此外，我们还讨论了在存在有限尺寸效应的情况下，即当N较大但有限时，最优RIE的实现。附录包含文中提到的辅助结果。第一个附录涉及所谓的Harish Chandra–Itzykson-Zuber（HCIZ）积分，该积分通常出现在涉及自由随机矩阵和或乘积的计算中。HCIZ是正交矩阵组上的一个积分，其显式和分析结果很少。第二个附录是对线性代数的一些结果的提醒，这些结果对于特征向量的研究特别有用。第三个附录是RMT中的另一个分析工具，用于为大型随机矩阵的预解式（或Stieltjes变换）建立自洽方程。这项技术在处理独立项时非常方便，并且为随机矩阵的中心极限定理提供了一个很好的说明。然而，形式主义并不像第2章中提供的方法那样综合，而是现在RMT文献中的标准方法，这就是为什么我们将其介绍放在附录中。最后，我们对矩阵中的噪声是加性的而不是相关矩阵中的乘性的情况提供了一个完整的附录。虽然与本综述中讨论的主要问题不直接相关，但加性噪声模型本身很有趣，在不同的科学领域有许多应用。2、随机矩阵理论：概述和分析工具2.1。简而言之，RMT。2.1.1. 大维随机矩阵。

正如导言中所宣布的，我们将在本文中回顾的主要分析工具是随机矩阵理论（RMT）。为了尽可能独立，我们在本节中回顾了RMT的一些基本结果和技术。对随机矩阵的研究始于1928年Wishart的工作，他对所谓的经验（或样本）协方差矩阵的分布感兴趣，这最终导致1967年的Marˇcentko Pastur分布。RMT也是由Wigner在1950年引入的，作为重核能级的统计模型，并导致著名的Wigner半圆分布，以及Dyson的布朗运动（参见e.g.【48】、【49】中的综合观点）。RMT从这些早期的物理和统计应用发展而来，已经成为自己的一个研究领域，在过去几十年中取得了许多漂亮的结果，其中最令人震惊的是发现了极端特征值的Tracy-Widom分布，这与统计力学和概率论中的大量主题有关[50，51]。在这里，我们将只考虑与统计推断相关的RMT结果，并留下一个简单的主题-参见[49]、[52]、[53]、[54]、[55]或[56]，以获得更详细和严格的RMT介绍。我们还将局限于平方对称相关矩阵，尽管矩形相关矩阵（测量M个输入变量和N个输出变量之间的相关性）的更一般问题也非常有趣。这个问题导致了所谓的标准分量分析[57]，可以用奇异值分解来处理，可以得到部分结果，例如[58，59]。我们从“大型”随机矩阵的正式定义开始。

RMTis中的一个常见假设是，受审查的矩阵大小有限。然而，对于实际问题来说，这显然不是一个现实的假设，因为实际问题需要处理大型但有限的N维矩阵。尽管如此，我们将看到在N→ ∞ 极限导致了对大型但有限矩阵性质的非常精确的近似。更准确地说，众所周知，在大尺寸的限制下，描述宏观可观察物的波动的概率分布通常收敛到极限定律。因此，我们预计，当维度N趋于完整时，维度N的随机矩阵M的统计特性（如IgenValue的分布）在一定程度上显示出确定性或自平均行为。只要矩阵足够大，这些确定性特征可用于描述受审查的矩阵。这就是我们考虑极限N的原因→ ∞ 从现在开始“大型”随机矩阵的极限行为实际上是RMT的核心，它预测在有限维矩阵中，无论是在宏观层面还是微观层面，都会显示出普遍的特征。更准确地说，我们定义了一个具有一定概率测度Pβ（M）的N×N随机矩阵，其中β是Dyson的三重指数，并规定了系综的对称性（β=1表示正交，β=2表示酉，β=4表示辛）。如果一个属性不依赖于特定的概率度量Pβ（M），则称其为通用属性。一个广为人知的普适性示例涉及两个连续特征值之间距离的分布（扩展讨论见[60]）。与我们的目的最相关的集合是正交集合，它处理实对称矩阵。在这种情况下，如果概率i，则称矩阵M是旋转不变的。e

独立于矩阵的具体实现，其本身的黑体字母将在本文中指代矩阵。在变换M下不变→ OhmMOhm+对于任何矩阵Ohm 属于正交群O（N），即Pβ（M）=Pβ(OhmMOhm+), Ohm ∈ O（N）。物理学文献中不变量测度的一个典型例子是Pβ（M）是玻耳兹曼分布的形式：Pβ（M）DM∝ e-βNTrV（M）DM（2.1），V为所谓的势函数，DM=QNi=1dMiiQNi<jdMijdenotes为（Lebesgue）fl度量。旋转不变性很明显，因为上述参数化只涉及M的幂的轨迹。在这个阶段，有趣的是，可以根据M的特征值和特征向量来重写分布（2.1）：Pβ（M）DM∝ e-βNPNi=1V（νi）NYi<j |νi- νj |βNYi=1dνidOhm, （2.2）其中Vandermonde行列式（Q |νi- νj |β）来自变量的变化（从m到νiOhmij）。这种表示法非常有用，如下所示。什么样的普适性在实践中可能是有意义的？让我们考虑多元统计中的一个标准问题。假设我们有一个包含相关变量的非常大的数据集。处理这一大型数据集的一种常见技术是使用主成分分析（PCA）等方法降低问题的维数，PCA是通过对不同变量的协方差矩阵进行对角化获得的。但人们可能想知道获得的特征值νi及其相关特征向量是否可靠（在统计意义上）。因此，特征值（和特征向量）的表征是人们希望先验了解的特征的一个例子。

在这方面，RMT提供了（并将继续提供）关于属于特定不变集合（酉、正交和辛）的矩阵的特征值和特征向量的许多开创性结果。本征值的分布{νi}：i={1，…，N}}可以通过经验光谱分布（ESD）（也称为“本征值分布”）来表征：ρNM（x）=NNXi=1δ（x-νi）（2.3），δ为狄拉克δ函数。请注意，所考虑矩阵的对称性确保了M的特征值在实线上定义（复特征值超出了本综述的范围，但更多信息请参见[55、56、61]）。大型随机矩阵最重要的特性之一是，人们期望ESD收敛（在许多情况下几乎可以肯定）到一个唯一且确定的极限ρNM→ ρMas N→ ∞. 注意，通常将此确定性密度函数ρMas称为极限谱密度（LSD），或矩阵的“特征值谱”。RMT的一个吸引人的特点是LSD的预测自平均（有时称为遍历浓度）特性：当维数N变得非常大时，单个样本M跨越整个特征值密度函数，与M的具体实现无关。这种自平均特性的结果是，我们可以根据M的概率度量（例如，超过度量（2.1））：ρM（x）=limN，用平均值代替特定M的ESD（2.3）计算→∞ρNM（x），其中ρNM（x）=*NNXi=1δ（x-νi）+M.（2.4）对于实际数据集，区分ρmf谱内的特征值和与ρmf谱完全分离的特征值通常是有用的。我们将第一类称为大量的IGenvalue，其中有轻微的符号滥用。我们将第二类特征值称为离群值或尖峰值。

在整个研究过程中，我们假设描述ρmt体积的LSD是一个非负连续函数，定义在一个唯一的紧凑支撑上，表示为supp[ρM]——这意味着supp[ρM]由单个“体积”组件组成（通常称为单切假设）。此外，我们允许存在一个有限数r N个异常值，这些异常值在许多领域都至关重要。在本章中，我们将用ν表示≥ ν≥ ··· ≥ νn M.Wefurthermore的特征值通过w，w，…，定义相关特征向量，wN。对于精确的N，通常可以方便地通过其相应的特征值对特征向量进行索引，即wi≡ wνiforany整数1≤ 我≤ N，这是我们今后要采用的惯例。2.1.2. 各种RMT转换。本节结束时，我们将概述RMT文献中出现的不同转换。这些变换对于研究大维极限下随机矩阵的谱性质，以及处理随机矩阵的和和与积，特别有用。预解和Stieltjes变换。我们从M的预解式开始，它被定义为asGM（z）：=（zIN- M）-1，（2.5）带z..=x个- iη∈ C-, 其中C-= {z∈ C:Im（z）<0}。我们据此定义C+={z∈ C:Im（z）>0}。该数量显示了几个有趣的属性，使其成为要操纵的相关对象。首先，它是z的一个连续函数，易于区分（与直接在ESD上工作相比），为数学分析提供了一个定义良好的工具。此外，它包含关于特征值{νi}和特征向量{wi}的完整信息，因为它可以重写为：GM（z）=NXi=1wiw*iz公司-νi.（2.6）很容易看出预解式的奇点数等于M的特征数。

假设z→ νi对于任何i∈ [[N]]，则极点的剩余定义了一个到与特征值νi相关的特征空间的投影算子。我们将在第4章中展示如何使用该性质来研究特征向量的统计信息。虽然特征向量的统计本身是一个有趣且不平凡的主题，但我们现在关注的是通过ESD（2.4）对特征值的统计。为此，我们定义了公式（2.5）asgNM（z）：=NTr[GM（z）]，（2.7）的归一化轨迹，一旦我们处理的矩阵没有混淆，我们将跳过索引。在大尺寸限制下，一个hasgN（z）~N→∞g（z），g（z）=Zρ（u）Z-udu。（2.8）请注意，在数学和统计文献中，预解式与我们的不同之处在于减号。这被称为ρ的Stieltjes（或Cauchy）变换。Stieltjes变换具有许多外观特性。例如，如果密度函数ρ不包含Dirac质量，那么这就是所谓的Riemann-Hilbert问题的唯一解，即：（i）g（z）在C+中是解析的，除了它在supp[ρM]内的实轴上的分支切割；（ii）lim | z|→∞zg（z）=1；（iii）g（z）是z的实数∈ R\\supp【ρM】；（iv）当靠近分支切口时，g（z）可能有两个不同的值，这取决于切口是从上方接近还是从下方接近，即limη→0+g（x±iη）=h（x） iπρ（x），x∈ supp[ρ]和ρ（x）∈ R+，（2.9），其中函数h表示由h（x）定义的ρ的希尔伯特变换-Zsupp[ρ]ρ（u）x-udu（2.10）带-Rdenoting Cauchy的主值。现在可以立即看到，如果知道复平面上的g（z），那么密度ρ可以通过反转黎曼-希尔伯特问题的最后一个性质来得到：ρ（x）≡πlimη→0+Im（g（x-iη），x∈ supp[ρ]。

（2.11）因此，大N限值中g（z）的连续限值允许研究体积分量中的IGenv值分布。另一个有趣的性质是研究g（z）在z大（且在Supp[ρ]之外）时的渐近展开。用z的幂展开g（z）-1收益率：g（z）=z→∞zZρ（u）∞Xk=0乌兹kdu。根据前导顺序，我们得到，与上述属性（ii）一致：g（z）~zZρ（u）du≡z、 最后一个等式来自于ESD被规范化为统一的事实。扩张的其他条款也特别令人感兴趣。实际上，我们看到g（z）=z→∞z+N∞Xk=1TrMkzk+1≡z+∞Xk=1Д（Mk）zk+1，（2.12），其中，我们将ESD的第k个力矩定义为Д（Mk）：=N-1万亿人民币。我们看到，Stieltjes变换与随机矩阵M的矩母函数有关。这再次说明了Stieltjes变换包含关于奇异值密度的完整信息。相反，如果可以测量特征值分布的矩，就有可能重建一个与经验数据相匹配的参数特征值密度函数。该性质是用于统计推断的Stieltjes变换的一个重要特性。注意，我们有时会缩写为Д（Mk）≡ 当我们正在研究的矩阵没有混淆时。最后但并非最不重要的一点是，很容易检查以下缩放特性Gam（z）=agMza公司, （2.13）对于任何a∈ R \\{0}。此外，假设M是可逆的，那么使用（2.7）我们也有zgM（z）+zgM-1z！=1，（2.14），因此我们能够计算M的Stieltjes变换-1给出M.Blue函数的Stieltjes变换和R变换。还有许多其他有用的RMT变换，其中一些在下一章中将非常重要。我们从自由累积量生成函数开始，该函数在文献中称为R变换[62、54、63]。