清理大型相关矩阵：来自随机矩阵理论的工具

最近，在更一般的框架中考虑了该oracle估计器[37]（包括加性噪声模型的情况，见附录D），其结论是，只要能够确定等式（4.3）中定义的均方重叠Φ（λi，uj）的收敛性，即可轻松计算oracle估计器。更准确地说，让我们x i>r+1，我们期望在大维度的极限下，对于任何j=1，…，平方的verlaps hui，vji，N将显示渐近独立性，以便应用大数定律，从而得出ξora的确定性结果。i、 因此，对于大N，对于任何i>r，ξora，我们都有。i=NXj=1ujΦ（λi，uj）≈NπρE（λi）limη→0+即时消息NXj=1uj（ziIN- E）-1jj, （6.4）其中，我们使用了结果等式（4.9），其中zi=λi- iη。使用Marˇcenko Pasturrelation（3.11）并在简单的代数运算后得出ξora。我~qπρE（λi）limη→0+即时消息1.-1.-q+qzigE（zi）,这可以进一步简化为oracle估计器的最终Ledoit-P'ech'e公式[ξora.i]i∈[[r，N]]：ξora。我~^ξ（λi）与^ξ（λ）=λ1.-q+qλlimη→0+gE（λ-iη）, （6.5）其中|·|表示复模量。我们注意到，最后一个方程的RHS不再涉及矩阵C，只依赖于确定性量。这就是我们上面提到的大N极限的“奇迹”：先验的不可观测oracle估计器收敛到一个可以直接从数据估计的确定量。6.2.2. 异常值。通常，导出异常特征值的oracle估计器的极限值所需的参数，即ξora。对于i 6 r，与上面用于体特征值的有点不同。事实上，后者明确要求%E（λi）的密度不为零（例如，假设最大r特征值为异常值。N→ ∞) 正如我们从第3章所知道的，这不是异常值的情况。

因此，【36】和【37】的方法不再有效。但令人惊讶的是，最终结果恰好与等式（6.5）相同！这是最近在[38]中建立的，该方法的出发点是将oracle解决方案写入ξora。i=rXj=1ujhvj，uii+NXj=r+1ujhvj，uii，（6.6），从中，我们还使用第4节的结果得出结论，如果r是有限的，则上述两个项对i 6 r都有非消失贡献。粗略地说，第一个和将对j=i贡献inO（1），第二个和给出O阶项（（N- r） ×1/N）~ O（1）。我们从方程式（6.6）RHS中的第一个简单术语开始。事实上，回想一下。（4.14）任何离群特征向量Ui集中在轴线平行于过孔的圆锥上，且在与Vjj正交的任何方向上完全离域∈ [[1，N]]，j 6=固定。因此，唯一有助于主导订单的是hvi，uii，因此我们得出结论，Rxj=1ujhvj，uii~ uiθ（ui）θ（ui）（6.7），其中我们在最后一步中使用了公式（3.62）。公式（6.6）中的第二项更难处理。由于r是有限的，因此比N小得多，我们可以假设第二个和将集中在其平均值附近，即NXj=r+1ujhvj，uii~NXj=r+1ujEhvj，uii。第4节评估了RHS中j>r+1和i 6 r的均方重叠，结果见等式（4.16），为方便起见，我们在此回顾：E[hui，vji]=uiθ（ui）ujT（ui- uj），i 6 r，j>r+1。因此，我们发现r N【38】NXj=r+1ujhvj，uii~uiθ（ui）TNXj=1uj（ui- uj），（6.8），其中注意到RHS之和从j=1到N。我们可以使用Marˇcentko Pastur方程（3.35）简化最后一个方程中RHS的和。实际上，通过设置z=θ（ui），i 6 r和θ在公式（3.62）中定义，公式。

（3.35），变为θ（ui）=ui+TNXj=1u-1j- u-1i（6.9），通过取ui的导数，该屈服强度nxj=1uj（ui- uj）=1-θ（ui），（6.10）对于任何i 6 r。通过将此恒等式插入等式（6.8），我们得到nxj=r+1ujhvj，uii~uiθ（ui）1.-θ（ui）, （6.11）对于任何i 6 r。总之，我们可以通过插入式方程式看到。（6.7）和（6.11）转化为等式（6.6），最终得到ξora。我~uiθ（ui），（6.12），即异常值的oracle估计值也收敛到一个非常简单的确定值，但取决于不可观测的总体特征值。然而，使用公式（3.62），我们可以将公式（6.12）的RHS重写为样本特征值的函数。首先，注意θ（ui）=λifor N→ ∞ 根据公式（3.62）。此外，我们还可以将公式（3.62）倒置以找到ui~gS（λi）=λi1-q+qλigE（λi），对于任何i 6 r，我们在最后一步中使用关系式（3.33）。因此，我们推断，在高维极限下，我们可以将公式（6.12）改写为ξora。我~λi1.-q+qλigE（λi）. （6.13）我们发现，结果与整体特征值的结果相似，但对于异常值，我们需要无尖峰、有效样本协方差矩阵E的Stieltjes变换。但考虑到极限N→ ∞, 我们很容易使用Weyl的交错不等式[126]推断，我们可以用E的Stieltjes变换来代替它，这样我们最终得出结论，对于任何异常值i 6 r，ξora。我~^ξ（λi），（6.14），其中（6.5）中定义了最佳收缩函数^ξ。我们看到，oracle估计器的离群值也收敛到一个确定性函数，该函数与大N→ ∞.综上所述，我们发现oracle估计收敛到一个极限函数，该极限函数不需要明确的C知识，并且与前一章中获得的Bayes MMSE估计相同。

此外，该函数是“通用”的，因为清除大量特征值和异常值所需的最佳非线性收缩由限制N中的同一函数给出→ ∞, 这对于实际应用非常有吸引力。该函数在等式中定义。（6.5）或（6.14），只需要了解E的Stieltjes变换，这是可以观察到的-见下文。6.3. “清洁”特征值的一些性质。尽管最优非线性收缩函数（6.26）似乎相对简单，但尚不清楚转换λi会产生什么影响→^ξ（λi）。在本节中，我们给出了最优估计量Ξora的一些定量性质。了解最佳非线性收缩函数^ξ（λ）的影响。首先让我们考虑Ξora谱的矩。。从式（6.3）中，我们立即得出：TrΞora=Xj=1ujv*jXi=1IU*我！vj=TrC，（6.15），这意味着清洁操作保留了人口矩阵C的痕迹，正如它应该的那样。对于oracle估计量的阶数2，我们有：Tr（Ξora.）=NXj，k=1ujukXi=1hui，vjihui，vki。现在，如果我们将矩阵P定义为j，k=1，N的{Pi=1hui，vjihui，vki}，则不难看出它是一个具有非负项的平方矩阵，其行总和为单位。因此，matrixP是一个（双）随机矩阵，Perron-Frobenius定理告诉我们，它的最大特征值等于1。因此，我们推导出以下一般不等式nxj，k=1Pj，kujuk≤NXj=1uj，这意味着Tr（Ξora.）6 TrC6 TrE，（6.16），其中最后一个不等式来自等式（3.17）。换句话说，这个结果表明Ξora的光谱。比C的谱更窄，C的谱本身也比E的谱更窄。因此，最优RIE告诉我们，我们最好更加“谨慎”，而不是简单地将样本特征值带回其估计的“真实”位置。

这是因为我们只有关于C的真本征基的部分信息。特别是，与它们的“真”位置uIforAnyi相比，应该始终向下（或向上）收缩顶部（或较小）的本征值∈ [[1，N]]，除了微不足道的情况C=IN。因此，估计总体特征值【ui】i∈[[1，N]]并不是在只有部分特征向量信息的情况下，获得C的最优估计量所应该做的。我们在图6.1中提供了一个示例，其中我们认为C是参数κ=1的逆Wishart矩阵。接下来，我们考虑oracle估计量的渐近行为，我们从Eqs中回忆了该估计量。（6.5）和（6.14）ξora。我~^ξi，带^ξi=λi | 1-q+qλilimη↓0gE（λi- iη）|。在下文中，假设suppρean下界左侧有一个异常值，并假设q<1，因此E没有精确的零模。从第6.2.2节开始，我们知道估值器（6.5）适用于异常值。此外，我们还有limλ→0+gE（λ）是实的和解析的，因此我们从公式（3.23）中得出λgE（λ）=O（λ）表示λ→ 0+. 这允许我们从公式（6.5）得出结论，对于非常小的异常值，limλ→0+^ξ(λ) =λ(1 -q） +O（λ），（6.17），这与公式（6.16）一致：q的小特征值增强∈ (0, 1).回想一下，为了简单起见，我们假设C为正定义。0 1 2 3 45λ0123ρ（λ）信号密度样品密度清洁密度图6.1。当先验值是参数κ=1的逆Wishart时，评估q=0.5的信号、样本和清洁密度的特征值密度。我们看到，清洁后的密度是最窄的石头，而样品是最宽的，正如预期的那样。另一个渐近极限λ→ ∞ 也很有用，因为它为我们提供了大型异常值的非线性收缩函数^ξ的行为。在这种情况下，我们从Eq。

（3.16）limλ↑∞λgE（λ）~1 + λ-1Д（E），其中Д表示归一化跟踪运算符（2.61）。因此，我们得出结论LIMλ→∞^ξ(λ) ≈λ1+qλ-1Д（E）+O（λ-2)~ λ - 2qД（E）+O（λ-1） ，（6.18）如果我们使用Tr E=Tr C=N，我们只得到limλ→∞^ξ(λ) ≈ λ - 2q+O（λ-1). （6.19）有趣的是，将其与著名的“Baik Ben Arous-P'ech'e”（BBP）结果进行比较，该结果仅适用于较大的异常值【118】，其读数为（见等式（3.64））λ≈ λ的u+q→ ∞. 因此，我们从eq推导。（6.19）^ξ（λ）≈ u - 因此，对于孤立的大特征值λ和q>0，我们发现以下排序关系^ξ（λ）<u<λ，（6.20）。同样，该结果与公式（6.16）一致：对于任何q>0的情况，大特征值应减少，甚至低于异常值u的“真”值。更一般地，非线性收缩函数^ξ在λ/（1）之间平滑插值-q） 对于小λ到λ- 2q表示大λ。尽管我们没有设法证明它，但我们认为这是极限最优非线性收缩函数（6.5）相对于样本特征值是单调的这一事实的另一个表现。6.4. 一些分析示例。在某些完全可以解决的情况下，oracle收缩过程的上述一般属性可以得到更多的体现。在本节中，我们提供了两个简单的玩具模型，其中函数^ξ（λ）可以在转向数字插图之前明确表征。6.4.1. 无效假设。第一个是无效假设C=在这里我们将看到，一个预期的ξora。（λi）=1，对于大部分分布中的任何特征值[λi]i>r+1。在光谱之外，我们观察到类似于BBP转变的“相变”现象【118】，这导致了一个非平凡的收缩公式。我们从E的异常值开始。

根据我们模型的假设，所有的异常值都有N阶贡献-1在极限N内→ ∞, gEis real and analytic for anyλi with i 6 r。因此，通过将Stieltjes变换（2.41）插入公式（6.5）中，可以很容易地获得估算值，结果如图6.2所示。对于体特征值，可以更明确地进行计算。首先，使用公式（2.41），一个结果1-q+qzgE（z）=（z+1- q） ±p（z+q- 1)- 4zq。对于z=λ-带λ的iη∈(1 -√q） ，（1+√q）, 我们知道后一个方程中的平方根对于η是虚数→ 0+. 因此，如果我们取平方模量，则得到一个很小的η→01.-q+qλgE（λ-iη）=（z+1- q）+4λq-（λ+q-1),我们很容易从中得出η→01.-q+qλgE（λ-iη）= λ、 这就给出了期望的答案^ξ（λ）=1，λ∈(1 -√q） ，（1+√q）. （6.21）我们在图6.2中提供了该相变的图示，其中C=in，对应于矩阵E，使用q=0.5的各向同性Wishart矩阵生成。它还验证了大型孤立特征值方程（6.19）的渐近预测。6.4.2. 重新审视线性收缩。在第5章中，我们看到线性收缩（朝向一致性矩阵）等价于假设C本身属于具有某些参数κ的逆Wishart集合。我们希望在本章的框架内重新审视这一结果，我们将看到，在存在额外尖峰的情况下，最佳收缩函数（6.5）再次显示了相变现象，因此不同于E谱之外的线性估计量公式（5.19）的IgenValue。对于上述零假设情况，对于异常值没有特殊的简化，可以立即从公式（6.5）和（3.41）中获得数值结果。对于体积分量，等式（3.41）中的平方根项变为虚项。因此，设置z=λ- iη转化为等式。

（3.41）带λ∈ [λiw-, λiw+]和λiw±，在公式（3.42）中定义，得到1.-q+qλlimη→0+gE（λ-iη）=λ（1+qκ）+κq（1-q）+ q2λκ（κ（1+q）+1）- κ(1 -q）- λκ（λ+2qκ），κ>0。将正方形展开后，可以将其重写为1.-q+qλlimη→0+gE（λ-iη）=λ（1+2qκ）（λ+2qκ）。（6.22）0 1 2 3 4 5λ012345^ξ（λ）RIEno清洁图6.2。C=INas的最优RIE特征值的计算样本特征值的函数[λi]i∈[[1，N]]对于q=1/2。非线性收缩函数用普通蓝线绘制。我们可以看到λ>（1+√q） ，发生相变，相应的“清洁”特征值在较大λ到λ时收敛- 2q（红色虚线向下移动2q=1）。当一个人接近频谱边缘时，请注意估计器的平方根奇异性。离群值λ<（1）存在类似的相变-√q） （见图6.4）。通过将最后一个方程插入式（6.5）中，得出了任意λ∈ [λiw-, λiw+]ξora。（λ） =λ+2qκ1+2qκ，（6.23），如果我们回忆起定义αs=1/（1+2qκ）∈ 公式（5.19）中的[0，1]，我们精确地检索到线性收缩估计量（5.19），ξora。(λ) ~ αsλ+（1- αs），λ∈ [λiw-, λiw+]。（6.24）最后一个结果说明了在特定情况下，最优RIEΞora之间的真正联系。LDL中的andBayes最优推理技术。特别地，我们证明了对于各向同性逆shart矩阵，估计量Ξora。在高维区域给出了与共轭先验方法相同的结果。然而，这仅对体组分有效，因为离群值的存在会导致最优RIE的相变，这在对离群值视而不见的共轭优先理论中是不存在的。我们在图6.3中说明了最后一点，其中C是参数κ=2的反向Wishart矩阵。

在[37]中已经注意到了高维区域中贝叶斯统计与RIE之间的联系，其中还考虑了加性噪声的情况——参见附录D，从而得出了著名的维纳信号对噪声最优估计的推广[132]。我们还在图6.4中说明了两个分析示例中，在光谱下界左侧观察到的异常值相变。我们看到，对于非常小的特征值，理论预测（6.17）非常准确。随着λ向左边缘移动，该预测的效果越来越差。0 1 2 3 4 5λ0.00.51.01.52.02.53.03.54.0^ξ（λ）瑞尔线收缩图6.3。k=2为样本特征值函数[λi]i的逆Wishart先验最优RIE特征值的评估∈[[1，N]]。矩阵E使用Wishart矩阵生成，参数N=500，q=0.5。非线性收缩函数用普通蓝线绘制，它与估计量公式（5.19）（红色虚线）一致。然而，我们看到，对于λ>λiw+，会发生相位转换，并且两个估计器会分裂。λ<λiw+（见图6.4）也观察到同样的现象。6.5. 工作中的最佳RIE。为了结束本节，我们现在考虑ge（z）不明确的不同情况，以及必须用数值方法解决问题的不同情况。在这种情况下，主要问题是估计函数gE（z），而不将任何“先验”强加给C。事实上，即使考虑函数ξora。仅取决于可观测量，我们仍然需要仅使用有限（和随机）样本特征值集来估计函数ge（z）。这个问题最近在[38]中得到了解决，除了将[36]的结果扩展到异常值（如上所述），在[38]中使用的数学技术还提供了Q的推导。（6.5）在当地规模和任何大型但有限的N。

如第4章所述，localscale可以理解为宽度η=dλ>N的特征值小区间上的平均值-1、[38]的主要结果可以总结如下：极限Stieltjes变换gE（z）可以用其离散形式gne（z）=NNXi=1z来代替-λi，（6.25）具有高概率（有关确切的陈述，请参见例如[111]）。因此，这产生了一个完全可观测的0.00 0.02 0.04 0.06 0.08 0.10λ0.00.20.40.60.81.0^ξ（λ）RIE（逆Wishart）RIE（零假设）λ/（1- q） 2图6.4。将预测公式（6.17）（红色虚线）与零假设（6.21）（绿色虚线）和反向Wishart先验（6.24）的分析解（参数κ=2）（蓝色普通线）进行比较。在这两种情况下，湿设定q=0.5。当λ靠近左边缘时，渐近预测（6.17）变得越来越不准确，而解析解（蓝线）描述了相位转换。非线性收缩函数，以及η=N的选择-1/2为任何有限N和T提供了一个精确的误差上限。精确地说，对于zi=λi- 在里面-1/2，存在常数K，对于足够大的T，ξora。我-^ξNiK√T、 ^ξNi≡^ξN（λi）=λi1.-q+qzigNE（zi）, （6.26）前提是λiis不接近零[38]。我们可以看到，公式（6.26）非常容易用数字实现，因为它只需要计算N项上的和。现在，我们对人口矩阵C在四种不同设置下的有限N、可观测的最佳非线性收缩函数（6.26）的准确性进行了数值测试。我们选择N=500，T=1000（在实际情况下，这是非常合理的数字，既不太小也不太大），并考虑以下四种不同的情况：（i）对角线矩阵，其ESD由多个具有“尖峰”的源组成，ρC=0.002δ+0.002δ+0.396δ+0.3δ1.5+0.3δ。