清理大型相关矩阵：来自随机矩阵理论的工具

递归技术【107】、费曼图扩展【66】、副本（参见【21】或上文第2.4节的泛化）或自由概率。我们将介绍最后一种方法，这可能是推导MP方程的最简单方法。关键的观察结果是，对于线性模型，我们总是可以使用公式（3.4）asE重写E=√CW公司√C、 W..=XX号*,其中，矩阵X满足等式（3.5），且与C无关。由于E是cw与N的white-Wishart核的自由乘法卷积，因此该模型属于第2.3节中遇到的自由乘法模型→ ∞ [108]. 因此，E的Stieltjes变换精确地由公式（2.84）给出，我们专门化为zge（z）=z（z）gC（z（z）），其中z（z）…=zSW（zgE（z）- 1). （3.9）此外，在等式（2.44）中获得了W的S变换，即SW（z）=（1+qz）-1对于任何q>0。因此，我们可以将Z（Z）重新表示为：Z（Z）=z1-q+qzgE（z），（3.10），这正是马伦科·帕斯托自洽方程，它将E和C的斯蒂尔捷斯变换联系起来。值得注意的是，等式（3.9）的RHS是“确定性的”，因为C在这个框架中是执行的。请注意，该方程通常以等效形式写入数学和统计文献中：gE（z）=zρC（u）duz-u(1 - q+qzgE（z））。（3.11）有两种方法可以解释上述Marˇcenko Pastur方程：1。“直接”问题：我们知道C，我们想计算经验相关矩阵的期望特征值密度ρeo；“逆”问题：我们观察E，并试图推断出满足方程（3.9）的真实C。显然，反问题是许多统计应用程序感兴趣的问题之一，但由于gCfrom GEI之间的映射在数值上不稳定，因此比直接问题更难解决。

尽管如此，El Karoui【32】和最近Ledoit&Wolf【109】的工作允许人们通过数值方案在这一方向上取得进展，该数值方案解决了方程（3.11）中反问题的离散化版本。另一方面，直接问题会导致一个自洽方程，对于gC的某些特殊形式，该方程可以用数值方法精确求解，有时也可以用解析方法求解（见下一节）。最后，让我们说一句我们以前没有在文献中看到过的话。增强Z（Z）到Z（Z，q）以强调其对q的依赖，可以检查该对象是否遵守以下simplePDE【110】：qZ（Z，q）q=（Z（Z，q）- z）Z（Z，q）z、 （3.12）初始条件为z（z，q→ 0）=z+qz（1- zgC（z））。这种表述可以给出直接的解释，但它在数值上或分析上是否有用还有待观察。3.2.2. 样本协方差矩阵的谱统计。出于统计目的，MarˇcenkoPastur方程提供了一个非常强大的框架来理解大维样本协方差矩阵的行为，尽管反问题不是数字系统。正如我们将在本节中看到的，我们可以利用矩母函数推断出E的谱的许多性质，知道C的谱。回想一下式（2.21）中T变换的定义，很容易看出我们可以重写式（3.9）asTE（z）=TC（z（z）），z（z）=z1+qTE（z）。（3.13）我们从公式（2.22）中知道，T变换可以表示为z的幂级数→ ∞, hencewe haveTE（z）=z→∞∞Xk=1Д（Ek）z-k、 （3.14）式中Д（.）=N-1Tr（.）是规范化跟踪运算符。我们由此推导出z（z）=z→∞z1+qP∞k=1Д（Ek）z-k、 所以我们有z→ ∞TC（Z（Z））=Z→∞∞Xk=1Д（Ck）zk1+q∞X`=1И（E`）z-`!k

（3.15）总之，可以将ρew的力矩与ρCby的力矩联系起来，取z→ ∞ 在公式（3.13）中∞Xk=1Д（Ek）zk=∞Xk=1Д（Ck）zk1+q∞X`=1И（E`）z-`!k、 （3.16），首次在【66】中获得。特别是，我们从公式（3.16）中推断，ρEsatisfyД（E）=Д（C）=1Д（E）=Д（C）+qД（E）=Д（C）+q（3.17）的前三个动量，因此，我们看到E的LSD方差等于C加q的方差，也就是说，样本协方差矩阵e的谱总是比总体协方差矩阵C的谱宽（q>0）。这是另一种说服我们自己，e是高维区域中C的噪声估计量的方法。请注意，我们还可以用累积量展开来表示Marˇcenko Pastur方程。事实上，我们可以根据R变换重写等式（3.9）（参见下面的推导）ωRE（ω）=ζ（ω）RC（ζ（ω）），ζ（ω）=ω1+qωRE（ω）. （3.18）使用公式（2.19）中给出的R变换的累积量展开，我们得到ω→ 0ωRE（ω）=∞X`=1κ`（E）ω\'，（3.19）和ζ（ω）RC（ζ（ω））=∞X`=1κ`（C）ω\'1+q∞Xm=1κm（E）ωm！`。（3.20）通过将最后两个方程式重新组合成方程式（3.18），方程式（3.16）中自由累积量的模拟值如下：∞X`=1κ`（E）ω`=∞X`=1κ`（C）ω\'1+q∞Xm=1κm（E）ωm！`，（3.21）这将允许我们用C的累积量来表示E的累积量。另一个有趣的扩展是q<1的情况，这意味着E是可逆的。因此g（z）表示z→ 0是解析的，可以很容易地找到（z）=z→0-∞Xk=1Д（E-k） zk公司-1.（3.22）这样可以研究E的LSD力矩-1事实证明，这是许多应用程序的一个重要数量（见第7章）。使用公式（3.9），我们实际上可以将频谱E的动量联系起来-1至C-1作为一个人，对于z→ 0:Z（Z）=z1-q- qP公司∞k=1Д（E-k） zk。因此，我们得到以下等式的展开式。

（3.9）在z→ 0和q∈ (0, 1):∞Xk=1Д（E-k） zk公司=∞Xk=1Д（C-k） z1级-qk1级-第一季度-qP公司∞`=1^1（E-`)z `！k、 （3.23）这比产生力矩的展开式（3.16）或累积展开式（3.21）要麻烦一些。尽管如此，我们得到的领先顺序是-1） =^1（C-1)1 -q、 ^1（E-2） =^1（C-2)(1 -q） +q^1（C-1)(1 -q） 。（3.24）我们将在第7.1节中看到，第一个关系（可在[66]中找到）对优化投资组合的样本外风险有直接影响。现在让我们给出公式（3.18）的形式推导。让我们定义ω=gE（z），ζ=gC（z），（3.25），这允许我们将等式（3.9）重写为ωBE（ω）=ζBC（ζ），z≡ BC（ζ）=BE（ω）1- q+qωBE（ω）。（3.26）然后，利用R变换的定义（2.16），我们可以将最后一个方程改写为ωRE（ω）=ζRC（ζ），RC（ζ）+ζ=RE（ω）+1/ω1+qωRE（ω）。（3.27）我们推导出rc（ζ）=RE（ω）+1/ω1+qωRE（ω）-ζ、 （3.28）产生ωRE（ω）=ζRE（ω）+1/ω1+qωRE（ω）-ζ!. （3.29）通过重新排列最后一个方程中的项，我们得到ωre（ω）+1=ζωre（ω）+11+qωre（ω）！，（3.30）即ζ≡ ζ(ω) = ω1+qωRE（ω）, （3.31）和等式（3.18），然后将最后一个等式插入等式（3.28）。3.2.3. 谱的对偶表示和边。虽然可以从Marˋcentko Pastur方程（3.9）中收集到许多关于E光谱的信息，但方程本身并不容易解析求解。特别是，关于E的光谱边缘可以说些什么？我们将看到，通过使用等式（3.9）的双重表示，可以回答其中一些问题。我们所说的“对偶”表示来自于对T×T矩阵的研究：S：=TY*Y≡ 十、*CX，（3.32），其中我们使用了上一个等式中的等式（3.4）。对偶矩阵S也可以解释为相关矩阵。

在财务方面，E告诉我们两支股票在加班时的走势有多相似，而S告诉我们两支股票在这两个特定日期的整体走势有多相似。使用奇异值分解，不难证明Sand E共享相同的非零特征值，因此具有“对偶性”。在T>N的情况下，矩阵S有一个重数为T的零特征值- N除了特征值{λi}i之外∈[1，N]ofE。因此，很容易推导S：gS（z）=T的Stieltjes变换T- 新西兰+NgE（z）=1.-qz+qgE（z）=z（z）。（3.33）引入经验矩阵的这种双重表示，可以从公式（3.11）中得到以下表达式：gS（z）=z1.-q+qZρC（u）du1-ugS（z）.经过一些操作后，我们可以重写最后一个方程，即z=gS（z）+qZρC（u）du-1.- gS（z）。（3.34）将ω=BS（gS（z））写到上述方程中，我们得到了gSasBS（ω）函数逆的一个特征：=ω+qZρC（u）du-1.- ω、 （3.35）这是Marˇcentko Pastur方程（3.9）的对偶表示。这最后一个方程的分析行为一直是一些研究的主题，尤其是在[29]中。特别地，证明了存在唯一ω∈ C+求解方程（3.35）。这就产生了S的Stieltjes变换，从中我们使用公式（3.33）重新获得了E的Stieltjes变换。我们将在下一节中看到，当我们试图解决直接问题时，Marˇcentko Pastur方程的对偶表示（3.35）特别有用。此外，可以根据公式（3.35）推断出E的LSD边缘的位置。在一次切割假设下，ρEare的支撑边缘由以下公式给出：λE±=BS（ω±），其中ω±∈ R+使得BS（ω±）=0。

（3.36）事实上，知道S的光谱密度可以让我们得到E的光谱密度，因为从等式（3.33）可以得到：ρS（λ）=qρE（λ）+（1- q） +δ，（3.37）对于任何λ∈ 补充ρS。接下来，一个容易获得的S（z）=-ZρS（x）dx（Z-x） <0，（3.38）对于任何z 6∈ supp【ρS】，意味着它在支撑之外严格减小。我们在第2.1.2节中看到，Stieltjes变换g（z）对于任何z都是解析的和正的∈ R支架外侧。此外，对于z→ ∞, 我们有gS（z）~ z-1+O（z-2） 因此，我们推导出gS（z）是一个无向递减函数。因此，它的反函数B在相同的时间间隔内也会减小。因此，BS（x）减少的区间的并集将导致支撑的补充，ρs的支撑边缘由BS的临界点给出，如上文等式（3.36）所示。如果假设存在数量有限的（非退化）尖峰，我们可以很容易地概括上述参数，并发现将有2个（r+1）临界点（两个非退化尖峰的说明见图3.1）。3.2.4. 求解Marˇcenko Pastur方程。在本节中，我们研究了求解Gegive gC的Marˇcentko Pastur方程方程式（3.9）的直接问题。我们将在本节末尾简要讨论反向问题。图3.1：。总体特征值密度为0.002δ+0.002δ+0.396δ+0.3δ1.5+0.3δ的函数BE（x）。这里T=1000，N=500，我们有3个连接的组件。垂直渐近线位于-x个-1对于x∈ {1, 1.5, 3, 8, 15}. ρSis的支撑在纵轴上用蓝色粗线表示。红色绘制的gS | R\\suppρSis的倒数。完全可解的情况。据我们所知，只有少数情况下我们可以找到E。

第一个是无关紧要的：当我们考虑统计中的“经典”极限时，T→ ∞ 对于N的固定值。在这种情况下，q=0 In（3.11），在这种情况下，明显的lyge（z）=gC（z），如预期的那样。然而，对于任何有限观测比q>0，我们从上文第3.2.2节的讨论中预计，E的LSD将与C的LSD显著不同。在C=in的简单情况下，可以很好地理解q的影响。我们从第2.2.3节知道，这种情况是完全可解的，E的LSD是众所周知的Marˇcentko Pastur定律（2.42），我们在这里重新命名：gE（z）=z+1- q-qz公司-λmp-qz公司-λmp+2qz，λmp±=（1±√q） （3.39）换句话说，样本特征值跨越区间[（1-√q） ，（1+√q） 而总体特征值都等于一。因此，我们推断样本特征值分布的方差为q阶，突出了当q=O（1）时，特征值估计中的系统偏差。这种影响可以使用光谱分布的分位数表示进行可视化。事实上，自[97111]以来就知道，体特征值[λi]i∈[[r+1，N]]在图3.2中收敛。在单位观测比q=0.25（红线）和q=0.5（蓝线）的情况下，Marˋcentko Pastur定律（2.42）下样本特征值的典型位置。虚线对应于总体特征值的位置，我们看到了显著的偏差。高维区域到它们的“分位数位置”[γi]i∈[[r+1，N]]。更准确地说，这是：λi≈ γi，其中=ZγiρE（λ）dλ，i>r+1。（3.40）我们在图3.2中绘制了q=1/4和q=1/2的马申科-帕斯图尔定律的γi，并观察到与“经典”位置γq=0i的系统和显著偏差≡ 1.

这再次说明，当样本大小与变量数量具有相同的数量级时，E是一个不可靠的估计量。既然已经很好地理解了观测比q的定性影响，自然的扩展是检查非平凡相关矩阵C的Marˋcenko Pastur方程。为此，我们现在考虑另一个有趣的可解情况，尤其是统计推断，即超参数κ>0的（各向同性）逆Wishart矩阵的情况。从第2.2.4节中，我们回忆起sc（ω）=1-ω2κ，对于κ>0。然后，使用自由乘法公式（2.81），我们得到了SE（ω）=SC（ω）SW（ω），其中SW（ω）在（2.44）中给出，这在TE（z）中产生了一个二次方程。这意味着gEreads:gE（z）=z（1+κ）- κ(1 - q） ±p（κ（1-q）- z（1+κ））- z（z+2qκ）（2κ+1）z（z+2qκ），（3.41），我们可以从中检索支架的边缘：λiw±=κh（1+q）κ+1±p（2κ+1）（2qκ+1）i.（3.42）图3.3。当C是反向Wishart矩阵，q=0.25（红线）和q=0.5（蓝线），参数κ=1.0时，E特征值分布的Marˇcenko Pastur方程的解。黑色虚线对应于LSDρC。可以检查极限κ→ ∞ 在C=IN的情况下恢复无效假设；κ越低，C的光谱越宽。我们在图3.3中绘制了q=0.25和q=0.5时的光谱密度ρCandρefo，作为特征值的函数。我们再次看到，由于测量噪声，E的光谱密度在ρC支撑之外的实轴区域上施加了显著的权重。

从推理理论的角度来看，逆Wishart系综的目的是为C提供一个参数先验分布，其中所有内容都可以通过分析计算得出（某些应用见下文第5章）。还有其他几个例子表明，即使Tieltjes变换不是显式的，Marˇcentko Pastur方程也是完全可解的。例如，如果我们认为C是参数qindependent from W的Wishart矩阵，那么我们从（2.81）得到se（ω）=（1+qω）（1+qω）。然后很容易从定义（2.23）中看出TE（z）≡ ω（z）是三次方程的解，z（1+ω（z））（1+qω（z））（1+qω（z））- ω（z）=0，（3.43），根据（2.21）并通过选择后一个方程的唯一解inC+（有关这一点的详细信息，请参阅下一节），我们从中获得gE（z）。另一个将Marˇcenko Pastur与R变换形式结合使用的玩具示例是，C是以单位矩阵为中心的GOE。在这种情况下，wehaveRC（ω）=1+σω，（3.44），其中我们添加了约束σ6 0.5，使得C保持为正半限定矩阵。然后，通过将该公式插入（3.18），我们发现gE（z）=ω是四次方程的解：σω（1+qωRE（ω））+ω（1+qωRE（ω））- ωRE（ω）=0，（3.45），如上所述，我们在C+中取唯一解，以得到正确的Stieltjes变换。一般情况：数值方法除了上述非常特殊的情况外，很难找到gE（z）的显式表达式。这意味着我们必须求助于数值模式来解决Marˇcentko Pastur方程。在这方面，等式（3.9）的双重表示（3.35）尤其有用。要求解给定z的MP方程，我们可以看到某个g≡ gsz=BS（g），g∈ C+，（3.46），其中Bs在ρCis方面的表达式明确，并在公式（3.35）中给出。

在数值上，上述方程可以使用简单的梯度下降算法轻松求解，即find g∈ C+（Re（z）=ReBS（g）Im（z）=ImBS（g）.（3.47）然后使用公式（3.33），以获得任意z的gE（z）∈ C-. 因此，如果想要在实线上的任何一点上检索特征值密度ρ，我们只需设置z=λ- iε与λ∈ 将任意小实数正数Supp（E）和ε代入式（3.47）。注意，在gc已知的情况下，可以重写方程（3.35）asBS（x）=x1.-q+qxgCx个, （3.48），这显然更有效，因为我们避免了计算特征值上的积分。为了说明这个数值格式，让我们考虑一个协方差矩阵，它的LSD有一个重右尾。一种可能的参数化方法是假设幂律分布的形式为[28]：ρC（λ）=sA（λ+λ）1+sΘ（λ-λmin），（3.49），其中Θ（x）=x+是Heaviside阶跃函数，s是我们选择为s=2的指数[28]，λmin是谱的下边缘，在该下没有C的特征值。A，λminarethen由两个归一化约束rρC（x）dx=1和rxρC（x）dx=1确定。这导致：λmin=（1-λ） /2和A=（1-λmin）。我们限制到λ>-11使得λmin<1。根据密度公式（3.49），可以直接执行Stieltjes变换，以确定Gc（z）=z+1- 2λ+2(1 -λ） （z+1- 2λ)+2(1 -λ） （z+1- 2λ)日志λ- z1级-λ, （3.50），只需几次迭代即可求解公式（3.48）。正如我们在图3.4中所观察到的，从数值格式（3.47）中获得的理论值与通过对大小为N=500的矩阵进行对角化得到的经验结果完全一致，这些矩阵如下所示：√CW公司√C、 其中W是Wishart矩阵。这说明了上述数值格式的鲁棒性，即使C的谱是厚尾的。