清理大型相关矩阵：来自随机矩阵理论的工具

（7.25）我们的目标是找到与样本特征值[λj]j相关的最佳收缩函数ξ（λj）∈[[1，N]]，从而将样本外风险降至最低。这可以通过解决agiven j的以下一阶条件来实现：Rout（Ξ）ξ（λj）=0。（7.26）通过对（7.25）中ξ（λj）进行导数，可以得到- 2huj，Cujiξ（λj）ξ（λj）NXi=1ξ（λi）！-2+2ξ（λj）ξ（λj）NXi=1hui，Cuiiξ（λi）！NXi=1ξ（λi）！-3=0，（7.27），可以检查该解是否由ξ（λj）=huj，Cuji：=ξora精确给出。j、 （7.28）这是我们在第5章和第6章中研究的oracle估计量。请注意，这一结果已在[135]中获得，其中作者还表明，该估值器最大化了Sharperatio，即策略的预期回报除以其波动性。作为结论，在某些分布假设下，在旋转不变估计类下，最优RIE（6.5）实际上最小化了样本外风险。此外，byRout（Ξora）给出了相应的“最优”已实现风险=全球技术法规（Ξora.）-1., （7.29）我们使用了值得注意的特性，即∈ Z： Tr[（Ξora.）nC]=Tr[（Ξora.）n+1），（7.30），直接遵循通式（6.2）。7.1.4. 逆Wishart先验的最佳样本内和样本外风险。在本节中，我们将结果（7.29）专门用于C是参数κ>0的逆Wishart矩阵的情况，对应于简单线性收缩最优估计量。请注意，我们将在本节中假设没有异常值（r=0）。首先，我们通过z从公式（2.55）中推断→ 0表示Д（C-1) = -gC（0）=1+2κ，（7.31），因此我们从等式（7.14）中得出，在大N极限下：Rtrue=GN2κ1+2κ。（7.32）接下来，我们从公式（7.29）中可以看出，最佳样本外风险需要计算Д（（Ξora）-1).

一般来说，这种归一化的计算非常复杂，但我们将证明，当C是逆Wishart时，会出现一些真正的简化。在LDL中，最终结果（其推导在本节末尾推迟）为：Д（（Ξora.）-1) = -（1+2qκ）gE(-2qκ）=1+2κ（1+q（1+2κ）），（7.33），因此我们从公式（7.29）中得出=GN2κ（1+q（1+2κ）），1+2κ（1+q（1+2κ）），（7.34），从等式中可以清楚地看出。（7.34）和（7.32）对于任何κ>0：Rout（Ξora.）Rtrue=1+q2κ1+2κ（1+q（1+2κ））>1，（7.35），其中最后一个不等式只有在q=0时才变为等式，这是应该的。评估与oracle估计器相关的样本内风险也很有趣。它被定义为byRin（Ξora.）=全球技术法规（Ξora.）-1E（Ξora.）-1.NΞ（（Ξora.）-1） ，（7.36），其中最具挑战性的术语是分子。如上所述，据我们所知，这一项的计算在一般情况下并非微不足道，而是利用了Ξora的特征值这一事实。如（6.24）所示，我们可以再次找到一个闭合公式。如上所述，我们将本节末尾的推导降级，结果为：^1（Ξora.）-1E（Ξora.）-1.= -(1 -z）gE（z）+zgE（z）z=-2qκ=（1+2κ）（1+2qκ）2κ（1+q（1+2κ））。（7.37）因此，通过堵塞等式。（7.37）和（7.33）转化为等式（7.36），我们得到了（Ξora.）=GN2κ（1+2qκ）（1+2κ）（1+q（1+2κ）），（7.38），因此我们用公式（7.32）推断，对于任何大于0的κ：Rin（Ξora.）Rtrue=1-q1+q（1+2κ）6 1，（7.39），其中不等式变为q=0的等式，如上所述。最后，可以很容易地从Eqs中进行检查。（7.19），（7.35）和（7.39），thatRin（Ξora.）-Rin（E）>0，Rout（Ξora.）-Rout（E）6 0，（7.40）明确表明，在高维框架中，我们确实通过使用oracle估计器而不是样本协方差矩阵来减少过度拟合。本技术部分的目的是得出结果（7.33）和（7.37）。我们从Eq开始。

（7.33）并且我们使用当N→ ∞. C被假定为参数κ>0的逆Wishart。因此，一个人有Ξ（（Ξora.）-1） =NNXi=11+αs（λi- 1） =αsNNXi=11-αsαs+λi，（7.41），使用公式（5.19），我们还得到αs=1+2qκ，和1- αsαs=2qκ。我们可以得出如下结论：Д（（Ξora.）-1) ~ （1+2qκ）gE(-2qκ），（7.42），其中我们强调Stieltjes变换是解析的，因为它的参数对于任何κ>0都是非正的。这是公式（7.33）的第一个等式，该等式将归一化轨迹的计算与E的Stieltjes变换联系起来。当C是逆Wishart时，我们知道GEI是显式的，由（3.41）给出。尽管如此，等式（3.41）似乎偏离了z=-2qκ，因此在评估gE时必须小心(-2qκ）。为此，我们确定z=-2qκ+ε，ε>0，并将式（3.41）的分子展开为ε的幂，得出：gE（z）=q- zz（1+q- z） +O（ε），意味着对于ε=0，我们得到(-2qκ）=-1+2κ2κ（1+q（1+2κ））。（7.43）然后很容易从最后一个等式和等式（7.42）推导出等式（7.33）。公式（7.37）的计算有点繁琐，但与前一段的推导非常相似。事实上，使用它（Ξora）-1E（Ξora.）-1共享相同的本征基，我们有公式（6.24）：Д（（Ξora）-1E（Ξora.）-1） =NNXi=1λi（1+αs（λi- 1） ），（7.44），经过一些简单的操作后得出：Д（（Ξora.）-1E（Ξora.）-1） =αsNNXi=1“1+αs（λi- 1)-1.- αs（1+αs（λi- 1))#. （7.45）定义z=-2qκ<0，可以使用与上述Stieltjes变换（及其相对于z的导数）相同的识别来推导公式（7.37）的第一个等式。式（3.41）的导数为：gE（z）=z（z+2qκ）“z（2κq+z）1+κ-κ（κ（q- z+1）+1）pκ（z+q- 1)- 2κz（1+2κ）！- 2（qκ+z）β（z）#，（7.46），其中β（z）由β（z）定义z（1+κ）- κ(1 - q） +qκ（z+q- 1)- 2κz（1+2κ），（7.47）是等式的分母。

(3.41). 我们省略了进一步的细节来证明Eq的第二个等式。（7.37）依赖于泰勒展开-2qκ的精神与前一段相同。这将使Stieltjes变换及其导数正则化，并最终获得：- 2qκgE(-2qκ）=q（1+2κ）q+2（1+κ+2qκ（1+κ））2κ（1+q（1+2κ））（7.48），我们通过将最后一个方程插入式（7.37）中，得出所需结果。7.2. 简要回顾以前的清洁方案。在本节中，我们对文献中通过在将协方差矩阵用于投资组合构建之前清理协方差矩阵来规避上述“样本中”诅咒的许多尝试进行了简短的调查。即使下面考虑的大多数配方都不是最优的（在统计意义上），也有很多有趣的想法被提出来推断未知总体矩阵的统计特性。正如我们将看到的，大多数方法都是在Marˇcentko&Pastur的开创性工作之后出现的【17】。然而，我们强调，关于估计大型协方差矩阵的文献太多，因此不可能对所有可用的结果进行公正的判断。我们将只考虑RMT结果提供有趣见解的方法，并参考[28、136、92]以获取补充信息来源。我们将介绍四种不同类别的估计量。第一种是线性收缩法。第5章和第6章详细研究了该估计器，但在这里，我们重点讨论收缩强度的估计。正如我们将看到的，RMT将提供非常简单的方法来估计数据中的参数。然后，我们将介绍[27，23]中的特征值裁剪方法，其目的是将“可靠”特征值与“噪声”特征值分离。

该方法的基本思想是我们在第3节中介绍的尖峰协方差矩阵模型，其中真实特征值包含一个有限的尖峰数和一个退化特征值≈ 1.- O（r/N），多重数为N- r、 第三种方法，我们称之为特征值替换，用于解决逆Marˇcenkopasur问题（见第3节）。粗略地说，在存在大量特征向量的情况下，可以将Marˇcenko Pastur方程离散化，并使用eithera参数方法[28]或非参数方法[32]解决反问题。最后一种方法涉及因子模型或结构化协方差估计，其中人们试图通过数据基础结构的简化模型来解释相关矩阵。这是金融和经济学中非常流行的方法，我们将看到RMT如何允许最近的一些进展。所有这些方法将在下一章中使用真实的财务数据进行测试。7.2.1. 线性收缩。我们记得线性收缩由Ξlin=αsE+（1）给出- αs）IN，α∈ [0, 1]. （7.49）如第5章所述，该估计量在高维统计中有着悠久的历史[15，16]，因为它提供了一个简单的证明，即当N和T都较大时，样本估计量E是不一致的。在[16]或[130]中，可以从更面向RMT的角度，对高维状态下该估计量的性质进行非常详尽的介绍。很容易看出，Ξlins与样本估计量E具有相同的特征基，因此是一个旋转不变估计量，Ξlin=NXi=1ξlinuiu*i、 ξlin=1+αs（λi- 1） （7.50）我们已经强调，该估值器具有所有预期特征：小特征值向上移动（与样本特征值相比），而顶部特征值向下移动（见图7.2）。

如上所述，该估计值已在【16】中进行了充分研究。最值得注意的是，作者能够确定一个渐近最优公式，直接从数据中估计αs。保留第3节的符号，我们的数据集是Y=（Y，…，yT）∈ RN×Tand我们假设E[Yit]=0，E[Yit]=T-1对于所有i∈ [[1，N]]。定义：β=NTr[（E- IN）（E）-英寸）*]γ..= 最大β，TTXk=1NTr[（yky*k- E） （yky*k- E）*]!, （7.51）然后bαs=1-βγ（7.52）是高维区域αsin的一致估计量【16】。利用RMT的工具，更准确地说，利用第3节和第4节的结果，我们可以找到另一个αs的一致估计量，该估计量使用了以下事实：线性收缩隐含地假设基础相关矩阵是一个带参数κ的逆Wishart矩阵，从中可以推导出αs=（1+2qκ）-1、可以使用以下关系从数据中提取κ的值（对于q<1有效）：gC（0）=（1-q） gE（0）=1+2κ。（7.53），其中最后一个等式可从（2.55）和（3.24）中推导得出。因此，我们从E-1as：κ=（1-q） Tr E-1N- 1.（7.54）然而，只有当k不是太大时，即当C与单位矩阵显著不同时，该估计才可靠（在相反的情况下，（1- q） Tr E-1.≈ N以便可以获得κ的负值）。估算κ的一个更可靠的替代方法是第4.2章中引入的“双样本”检验，见等式（4.40）和[124]。7.2.2. 特征值剪裁。该方法可能是第一个基于RMT的大型协方差矩阵估计方法。有几篇论文【22、27、23】对此进行了研究，其中以非常直观的方式使用Marˇcenko Pasturd分布来校正样本特征值。

该方法的思想如下：所有超出经验矩阵最大期望特征值的特征值λ+=（1+√q） （在零假设范围内）被解释为信号，而其他是纯噪声（见图3.5）。另一种解释是，离群值是真实因素，而其他离群值则毫无意义。在最近的一篇论文【97】中，这一观点变得严格，因为如果我们假设C是（3.56）中定义的INA的有限秩扰动，那么E的整体特征值的参考矩阵仅对应于（各向同性）Wishart矩阵W。不同的是，对于这个特定的模型，这些体积特征值应该被视为纯噪声，而右边缘（1+√q） 可以解释为噪声和信号之间的阈值。如果有一个简单的分离信号特征值的规则，我们应该如何清除噪声？Laloux等人[27]提出了以下规则：首先对矩阵E进行对角化，并保持IGenvector不变。然后应用以下方案对样本特征值进行去噪：Ξclip=NXi=1ξciuiu*i、 ξ夹子。i=（λiifλi>（1+√q） 否则为λ，（7.55），其中λ的选择应确保TrΞclip=特雷。粗略地说，这种方法只是说明噪声特征值被缩小到一个（单一）常数，这样轨迹就得以保留。此过程称为剪裁，图7.2显示了它如何向上移动最低特征值，以避免先验异常低方差模式。尽管如此，该方法还是解决了几个不同的问题。首先，人们经常从经验上观察到，尤其是在金融数据方面，由矩阵维数和时间序列长度确定的q=N/T值与“有效”值存在显著差异，这使得人们能够最好地拟合经验光谱密度【27】。

这种影响可能是由时间序列中较小的时间自相关[85、137、138]和/或整个分布中完整假设C=的不足引起的。在任何情况下，一个简单的方法是使用修正的上边缘λ+=（1+√qe ff）用于区分小麦和咖啡的阈值。[28]中提出的另一种可能性是引入一个微调参数αc∈ [0，1]使得dNαc最大特征值保持不变，而其他特征值仍由一个公共的|λ代替。很容易看出，对于αc=1，我们得到经验协方差矩阵，而对于αc=0，我们得到恒等矩阵。因此，αcP显示了马伦科牧场密度上限λ+的作用，并允许在E和中的零假设之间进行插值，就像线性收缩一样。然而，参数αcis的校准并非基于任何理论规则。0 1 2 3 4 5λi012345ξino清洁线夹（MP）图7.2。特征值剪裁（7.55）（红色普通线）对样本特征值的影响，阈值由（1）给出+√q） q=0.5，线性收缩率（7.50）（蓝色虚线），强度αs=0.5。我们看到最低特征值向上移动。关于该方法的另一个担忧是，我们从第6.3节中了解到，大型异常值的最佳估计值不是其简单的经验值λi。相反，当远离整体时，应将其向下移动七次，移动量等于-2q（在极限λi内 1). 因此，至少，这种偏移应包含在方程（7.55）的特征值剪裁方案中（相关讨论见[139]）。7.2.3. 特征值替换。特征值替换法背后的主要思想也是非常直观的，相当于将样本特征值替换为相应的“真”值，这些值是通过反转Marˇcenko Pastur方程（3.9）获得的。

更正式地说，我们寻求真特征值集【uj】j∈[[1，N]]对于给定的一组样本特征值[λj]j，解方程（3.9）∈[1，N]。至于Igenvalues裁剪程序，这种技术可以被视为一种非线性收缩函数，并且有利于依赖于比裁剪“配方”更可靠的理论框架。然而，正如我们在第3.2.1节中所强调的那样，在实践中，反转Marˇcentko Pastur方程是相当具有挑战性的。在本节中，我们介绍了在大维度限制下实现这一目标的几种可能性。Marˋcenko Pastur方程的参数化。思考马尔岑科帕瑟逆问题的一种方法是采用贝叶斯观点（如第5章）。更具体地说，我们假设C属于旋转不变系综，因此没有关于特征向量的先验知识，并假设LSDρC（u）上的某种结构，由一个或几个数字参数化。这些参数的最佳值（以及相应的最佳bρC）通过相关ρe的最大似然法确定，该最大似然法从direct0 1 2 3 4λ00.511.5ρe（λ）数据幂律（fit）图7.3中获得。利用Marˇcenko Pastur方程（3.9），将幂律分布（3.49）拟合到2006年至2010年标准普尔指数450项最具流动性资产的样本特征值上。使用最大似然法进行试验，得出α≈ 0.3. 黑色虚线直方图表示经验光谱密度。Marˇcenko Pastur方程。一旦完成fit，替换清洗方案的读数为λi→ buisuch thatiN=Z∞buibρC（x）dx。

（7.56）注意，在变换（7.56）下，我们假设C的特征值根据极限密度bρC的分位数平滑分配。作为此参数替换方法的说明，让我们考虑幂律密度（3.49）作为ρC（u）的先验值。这种人口特征值密度的概率模型被认为对金融市场是合理的，并反映了经济中部门规模的幂律分布【28140】。在这种情况下，在大尺寸的限制下，参数替换是显式的。此外，该模型中唯一参数λ的估计可以使用最大似然法，因为我们可以使用（3.50）和（3.35）精确计算ρEon R+。然后，这会产生一个参数bλ，从而产生bρCas。因此，替换程序（7.56）变为N→ ∞ 【28】：ui=-bλ+（1+bλ）rNii∈ [[1，N]]。（7.57）我们使用美国股票数据在图7.3中给出了这样一个过程。我们从这张图中得出结论，这确实是相当令人信服的，即C的特征值的幂律密度是一个合理的假设。Marˋcenko Pastur方程的离散化。有趣的是，在密度ρC的某种光滑性假设下，可以使用“准”非参数过程。该算法是由N.ElKaroui[32]提出的，他提出了一种近似形式的Marˋcenko Pastur逆问题。起点是要注意满足的每个特征值：zj=gS（zj）1.-q+qZρC（u）du1-ugS（zj）, zj=λj- iηNj=1这是从公式（3.35）得出的，我们记得S是（3.32）中定义的T×T对偶矩阵。该方法的主要假设是分解态密度ρCas a Dirac质量的加权和：ρC（u）=NXk=1bwkδ（u-uk），这样Nxk=1bwk=1和bwk≥ 0, k∈ [[1，N]]。