清理大型相关矩阵：来自随机矩阵理论的工具

我们用q=0.5（纯蓝色曲线）的逆Wishart矩阵进行实验。在统计学中，逆Wishart分布的推导略有不同。设M是N×N实对称矩阵，我们假设它是可逆的，并且假设M-1福洛萨·维斯哈特（N、T、C-1） C是一个N×N实对称正定“参考”矩阵，t>N- 1、在这种情况下，M的PDF也是显式的。更准确地说，我们说M是根据逆Wishart（N，T，C）分布的，其PDF由[9]给出：Piw（M-1 | C）=NT/2ΓN（T/2）det（C）T/2 et（M）（T+N+1）/2）e-Tr CM-（2.58）为了得到这种分布，我们应该注意到，变换的雅可比矩阵M→ M-1等于（det M）-N-1，可通过使用测量值的特征值/特征向量表示得出，见等式（2.2）。变量变化的详细推导可参见【77，公式（15.15）】。逆Wishart分布的一个重要特性是以下期望值的闭合公式：MPiw=CT- N- 1.（2.59）该结果的推导可使用[78]的不同恒等式获得。我们现在可以解释这个因素（1-q） 在上述变量的变化中。如果我们考虑C=IN/T，我们可以从（2.59）中推断出MPiw=TT- N- 1英寸~LDL1-秦。（2.60）以获得归一化光谱密度，即N-1TrM=1，我们发现需要应用▄M=（1- q） M，使hMi=IN。这正是变量u=（（1）变化的目的-q） ν）-式（2.53）中。我们在本节结束时指出，可以通过势函数完全刻画一大类随机矩阵M的特征值密度函数。这使得我们可以通过充分选择凸约束势来产生各种各样的经验光谱密度。2.3. 自由概率。

我们在前两个例子中看到，可以从势函数中得出一些关于ESD的分析结果，这些结果对于统计曲线（例如逆Wishart密度）非常有趣。然而，库仑气体方法不允许oneto研究受某些噪声源干扰的矩阵的频谱。这是统计学中的一个经典问题，人们通常对从噪声观测中提取“真实”信号感兴趣。统计学中的标准模型要么处理加性噪声，要么处理乘性噪声（就像经验相关矩阵一样）。除非人们能够准确地写出受损矩阵的PDF（这种情况很少发生），否则库仑气体类比就没有直接的用处。本节致力于简要介绍自由概率理论，这是研究一些大维随机矩阵渐近行为的另一种方法。更准确地说，自由概率为研究具有特定对称性的随机矩阵的和或积的LSD提供了一种稳健的方法。在这里，我们将只给出应用于对称实随机矩阵的自由概率的基本概念，我们参考例如[63]或[65]以获得更详尽的介绍。2.3.1. 自由。自由概率理论是由Dan Voiculescu于1985年提出的，目的是通过建立基于自由度概念的非交换算子的微积分规则来理解冯·诺依曼代数的特殊类[43]，下文定义了矩阵的特殊情况。几年后，Voiculescu【62】和Speicher【79】发现旋转不变随机矩阵渐近满足自由度标准，这对RMT产生了巨大影响。粗略地说，如果两个矩阵A和B的特征基通过随机旋转相互关联，即。

当它们的特征向量几乎肯定是正交的。对于随机矩阵，我们使用“渐近”自由度的概念。精确的表述如下【62】：设A和B是两个大小为N的独立自伴矩阵。如果每个矩阵的谱密度几乎肯定在大N极限内收敛，如果B在旋转下不变，那么A和B是渐近自由的。这种说法也可以在[79]中不同的上下文中找到。随机矩阵的自由度概念与随机变量的独立性相对应。事实上，回想一下，归一化跟踪运算符，定义为Д（M）：=NTrM，（2.61）等于ρM的第一个时刻。然后，假设Д（A）=Д（B）=0，我们说，如果满足所谓的自由度特性，则A和Bare free，也就是说：Д（AnBmAnBm…AnkBmk）=Д（An）Д（Bm）Д（An）Д（Bm）（Bm）。ν（Ank）Д（Bmk），（2.62）对于任何整数n，NK和m，MK带k∈ N+。请注意，如果Д（A）6=0且Д（B）6=0，则需要考虑居中矩阵A-^1（A）和B-^1（B）英寸。让我们在最简单的情况下探索（2.62）。对于上述定义的任何自由矩阵A和B，onehas^1（（A- ^1（A））（B-Д（B））=0，（2.63），由此我们推断出Д（AB）=Д（A）Д（B）。因此，如果将迹算子（2.61）视为非交换随机变量期望值的分析，则自由度性质类似于矩因式分解性质。更一般地，自由度允许根据A和B的矩的知识计算矩阵乘积的混合矩，类似于概率论中的经典独立性。例如，从Д（（A- ^1（A））（B-^1（B））（A- Д（A））=0，（2.64）我们可以推断出Д（ABA）=Д（AB）=Д（A）Д（B）。（2.65）自由矩阵对的一个典型示例是当A是固定矩阵，而B是属于旋转不变系综的arandom矩阵时，即。

B=OhmBdiag公司Ohm*, 其中Bdiag为对角线，且Ohm 根据正交组上的Haar（fl at）测量值分布，在N非常大的限制范围内。这种渐近自由度的概念也与消失非平面图的概念有关[80]。正如我们将在第7章中看到的，混合矩的计算将用于推导一些有用的关系，用于估计统计图像问题的过度拟合。2.3.2. 自由矩阵的和。除了计算公式（2.64）等混合矩外，自由概率理论还允许我们计算不变随机矩阵的和和和积的LSD，正如我们现在讨论的那样。让我们先看看加法情况。假设我们观察到一个矩阵M，该矩阵由固定的“信号”矩阵a和噪声（或随机）矩阵B相加而成，我们假设该矩阵在旋转时是可变的，即M=a+OhmBOhm*,对于任意N×N矩阵Ohm 属于正交群O（N）的。一个典型的问题是评估M的LSD，并根据信号特征值的修改来估计噪声对信号的影响。假设A和B的ESD收敛到一个明确的极限，可以使用非交换算子的加法定律计算M的谱密度，即Voiculescu的自由加法Rm（ω）=RA（ω）+RB（ω）。（2.66）所以，我们可以将R变换（2.16）解释为标准加性卷积的傅里叶变换对数的RMT模拟。可以将公式（2.66）重写为M的Stieltjes变换的函数，该变换包含了关于M的光谱密度的所有信息。公式（2.66）等效于toBM（ω）=BA（ω）+RB（ω）。接下来，我们引入ω=gM（z），yieldsBA（gM（z））=z- RB（gM（z））。现在需要在两侧应用函数GAO，以获得GM（z）=gA（z-RB（gM（z）））。

（2.67）最后一个关系确定了来自矩阵B的加性噪声对A的“信号”（或真实）特征值的影响。为了更深入地了解这个结果，让我们假设噪声矩阵B是一个简单的GOE矩阵，其中心元素为方差σ/N。我们从式（2.37）中知道RB（z）=σBz。因此，样本矩阵M的谱由以下定点方程表征：gM（z）=gA（z-σBgM（z））。（2.68）这是变形GOE矩阵的Stieltjes变换，GOE矩阵是一种著名的无序系统不稳定物理模型。事实上，该模型可以被视为一个哈密顿量，由受外部加性扰动B影响的固定源组成【82】。以A为例，我们发现M是方差σA+σB的GOE，正如预期的那样。在推理理论的上下文中，该模型可能有助于描述我们试图推断的信号被加性噪声破坏的一般线性模型。另一个有趣的应用是当矩阵B具有低秩时，通常称为factormodel。在股票市场的例子中，这个模型可以转化为一个事实，即所有股票几乎不存在共同因素，例如全球经济新闻。为了简单起见，我们考虑秩-1的情况，但以下论点可以很容易地推广到一个有限的秩r N、 让我们将B的唯一非平凡特征值表示为β>0，并且askourselves表示添加（随机定向）秩-1矩阵a如何影响M的频谱。这个问题可以使用LDL中的自由矩阵工具显式解决。实际上，正如我们下面所示，只要存在z，最大的本征值就会从A的光谱中弹出∈ R\\supp[ρA]使Ga（z）=β。

（2.69）例如，如果A是方差σ>0的维格纳矩阵，可以很容易地从（2.69）和（2.37）中检查M的最大特征值ν是由ν=（β+σ/β，如果β>σ2σ，否则）给出的。（2.70）当β>σ时，我们说ν是一个异常值，即它位于ρA的谱之外。因此，我们发现自由概率允许我们找到异常值可能存在的简单标准。该方程也可以解释为Burgers方程的解，该方程出现在同一问题的DysonBrownian运动解释中–有关更多信息，请参见附录D。这一结果可以推广到变形维格纳矩阵类，即噪声由（2.34）给出，但不一定是高斯的，参见例如[81]。现在我们来推导标准（2.69）。首先，我们需要计算秩一矩阵B的R变换，以便使用（2.66）。从（2.8）中，我们很容易发现GB（u）=Nu- β+1 -Nu=u“1+Nβ1- u-1β#. （2.71）利用微扰理论，我们可以反转最后一个方程来找到Blue变换，这个yieldsat前导阶，BB（ω）=ω+βN（1- ωβ）+O（N-2). （2.72）因此，我们可以从（2.16）得出结论，Rb（ω）=βN（1- βω）+O（N-2). （2.73）因此，我们通过应用（2.66）和（2.16）得出bm（ω）=BA（ω）+βN（1- βω）+O（N-2). （2.74）接下来，我们设置ω=gM（z），使后一个方程成为ω=BA（gM（z））+βN（1- βgM（z））+O（N-2). （2.75）根据该方程，我们期望ρMto的Stieltjes变换的形式为gm（z）=g（z）+g（z）N+O（N-2). （2.76）通过将此ansatz插入（2.75），我们可以看到g（z）和g（z）满意度z=BA（g（z））g（z）=-βBA（g（z））（1- g（z）β）。（2.77）很容易发现g（z）=gA（z）与预期一致。现在我们关注1/N校正项，利用BA（gA（z））=1/gA（z），我们得出g（z）=-βgA（z）1- gA（z）β。

（2.78）最后，我们得到了thatgM（z）≈ gA（z）-NβgA（z）1- gA（z）β，（2.79），我们看到，如果gA（z）=β，校正项仅在大N极限下存在-1有一个非常重要的解决方案。不同的是，如果存在z，z是M的特征值，而不是A的特征值∈ R\\supp[ρA]这样的gA（z）=β-1这导致了标准（2.69）。2.3.3. 自由矩阵的乘积。自由乘法卷积也有类似的结果。在说明如何获得自由矩阵乘积的LSD之前，我们首先强调必须仔细定义自由矩阵的乘积。实际上，自由加法的简单类比是定义M=AB。然而，当A和b是自伴但不是交换时，乘积AB通常不是自伴的。在A为正定义的情况下，我们可以看到产品A1/2BA1/2比产品AB有意义并共享相同的力矩。因此，我们通过m定义自由矩阵的产品：=√AB公司√A、 （2.80）注意，在这种情况下，B不一定是正定义，但必须有一个与零不同的轨迹（见下面的泰勒展开式）。出于技术原因，我们需要明确B的LSD。在此假设下，随机矩阵的自由乘法卷积规则由m（ω）=SA（ω）SB（ω）给出。（2.81）这就是所谓的自由乘法，Voiclescu【62】和Voiclescu【83】首先在物理形式主义中获得了自由乘法。同样，如果有人对M的极限光谱密度感兴趣，那么可以将其Stieltjes变换写成（2.81）interms。利用S变换的定义，我们重写了（2.81）asT-1M（ω）=SB（ω）T-1A（ω）。技巧与上述相同，因此我们将ω=TM（z）设置为findt-1A（TM（z））=zSB（TM（z））。

（2.82）现在立即得到乘法情况下的（2.67）的类似物TM（z）=TA（zSB（TM（z）），（2.83），根据Stieltjes变换zgm（z）=z（z）gA（z（z）），z（z）…=zSB（zgM（z）- 1). （2.84）这当然是RMT对统计推断最重要的结果之一。它允许我们将样本协方差矩阵的Marˇcenko Pastur定律推广到任意总体协方差矩阵C（见下一节），并获得关于特征向量的结果。我们强调，关于自由积的文献可以适用于非厄米矩阵，有关随机矩阵乘法的最新综述，请参见[65]或[84]。2.4. 副本分析。2.4.1. 解决方案和副本技巧。正如我们在上文中所注意到的（等式2.6），可以通过预解式研究特征向量的相关信息。然而，库仑气体类比和自由概率工具都对特征向量的结构视而不见，因为它们只给出预解式的归一化轨迹的信息。为了研究预解矩阵，我们需要引入其他工具，例如从统计物理中借用的一种称为复制方法的工具。简而言之，复制方法允许重写对数的期望值，以动量表示，表示为初始系统的多个副本（称为副本）的期望值。这种方法在各种情况下都非常成功，包括RMT和无序系统，参见[46，45]或[47]以获取最近的综述。我们强调，即使这种方法被证明是一种非常强大的启发式方法，但从数学上讲并不严格（见下文）。因此，必须使用其他方法（例如数值模拟）验证从复制方法获得的结果。

请注意，处理预解式的一种严格但更困难的方法是使用线性代数结果的递归技术，如附录C所述。其他可用的技术包括费曼图[66，85]。作为热身练习，我们将简要介绍Stieltjes变换的方法，然后解释如何将其扩展到完全预解的研究。我们注意到，任何Stieltjes变换都可以表示为g（z）=NXi=1z-νi=兹洛尼=1（z-νi）=zlog det（zI- M） 。（2.85）然后，使用det（zI）的高斯表示- M）-1/2，我们有z（z）≡ （det（zI- M） （）-1/2=Zexp“-NXi，j=1ηi（zI- M） ijηj#NYj=1dηj√2π!. （2.86）将最后一个方程代入（2.85）并假设Stieltjes变换是自平均的，我们看到我们需要计算Z（Z）的对数的平均值：g（Z）=-2.zE log Z（Z），（2.87），其中平均值取概率分布PM。然而，计算力矩EZn（z）比计算E log z（z）更容易，这正是复制技巧的目的，复制技巧最初被表述为以下等式z=limn→0Zn- 1n，（2.88），所以一个形式上有g（z）=limn→0泽锌- 1n。（2.89）因此，我们将问题（2.87）转化为计算Zn（z）中涉及的系统的n个副本。该方法的不严格部分在现阶段非常明显。虽然Z的积分矩确实可以表示为复制系统的平均值，但恒等式（2.88）需要非常小的实值n。通常，我们使用整数n，然后在取极限n之前，对结果进行分析延拓，直到实值n→ 0（事实证明，在将矩阵N的大小发送到in finity之后！）。因此，该方法的主要关注点是，我们假设解析延拓不存在任何问题，但情况未必如此。

在某些情况下，正是这最后一步可能导致不受控制的近似值[86]，这就是为什么数字（或其他）检查是强制性的。尽管如此，Replicatrick提供了一个简单的启发式方法来计算Stieltjes变换g（z），如下所示，它与本综述中考虑的量是正确的。出于我们的目的，我们需要将上述副本形式主义扩展到整个预解式，而不仅仅是它的规范化跟踪。在这种情况下，我们将需要一个略有不同的副本标识，扩展（2.88），现在我们将展示它。起点是使用逆矩阵（zIN）的高斯积分表示重写预解矩阵g（z）的条目- M）-1ij=RQNk=1dηkηiηjexpn-PNk，l=1ηk（zδkl- Mkl）ηloRQNk=1dηkexpn公司-PNk，l=1ηk（zδkl- Mkl）ηlo。（2.90）如附录C所述，由于中心极限定理，我们预计（2.90）是LDL的自平均值，因此：（zIN- M）-1ij=*ZZNYk=1dηk！ηiηjexp-NXk，l=1ηk（zδkl- Mkl）ηl+PM，（2.91），其中Z等于配分函数，即等式（2.90）中的分母。预解式的副本标识由gij（z）=limn给出→0*Zn-1ZNYk=1dηk！ηiηjexp-NXk，l=1ηk（zδkl- Mkl）ηl+PM=limn→0ZNYk=1nYα=1dηαk！ηiηj*nYα=1exp-NXk，l=1ηαk（zδkl- Mkl）ηαl+下午。（2.92）同样，我们设法将初始问题（2.91）重写为n个副本的计算。Weemphasis表示（2.92）对任何随机矩阵M都有效，如果我们能够计算概率密度PM的平均值，那么它是有用的。标识（2.92）是本节的中心工具。特别是，它允许我们研究预解项的渐近行为，它包含了关于M的谱分解的更多信息，而不仅仅是归一化trace（normalizedtrace）[37]。如下文所述，我们考虑一个受自由概率理论启发的随机矩阵模型，即。