清理大型相关矩阵：来自随机矩阵理论的工具

（7.58）注意，该分解仅使用ESD定义后的特征值离散性，其中每个特征值与等于N的权重相关联-1、注意到有两种不同的不确定性来源：“真实”特征值ujan及其相应的权重bwjso，因此参数化看起来极其复杂。在【32】中，作者建议确定位置【uj】j∈先验的，这样我们就剩下了权重∈[[1，N]]作为问题中唯一的未知变量。在此框架内，作者建议通过以下优化程序获得最佳权重：[bwj]j∈[[1，N]]=argmin{wi}Ni=1L（gS（zj）”1-q+qNXk=1wk1-ukgS（zj）#- zj）Nj=1受试者toNXk=1wk=1，和wk≥ 0k∈ [[1，N]]，（7.59），其中L是某个损失函数，zj=λj- iη。除了我们通过加权狄拉克质量之和近似真实密度所产生的误差外，至少还有两个其他误差来源：1。近似值gE（zj）≈ N-1Tr（zjIN- E）-1.特征值的位置【uj】j∈[[1，N]]必须选择。在大N限值中，第一个近似值相当准确（见第7节）。然而，第二种更难处理，尤其是在光谱非常稀释的情况下。请注意，如果wede fine eja是我们在（7.59）中为每个λj设置的误差项，那么在范数L下，算法的一致性已在[32]中显示∞= maxj=1，。。。，Nmax（| Re（ej）|，| Im（ej）|）。一旦我们得到最佳重量∈[[1，N]]，清洗程序为立即λi→ bui其中bui=最小值（x∈ R+：NXk=1bwkΘ（uk- x）≥iN）（7.60），其中我们使用了近似值Z∞xρC（u）du≈NXk=1bwkΘ（uk- x） ，其中Θ（x）表示Heaviside阶跃函数。虽然该方法得到了理论框架的支持，但结果表明，错误源为#2。以上是实践中的一个很强的局限性。

最近提出的通过直接优化特征值[uj]j来反演Marˇcentko牧场方程的建议∈[1，N]]因此在[109]中提出。这种被称为QuEST的替代方法在数值上更加稳健（关于扩展的讨论和一些应用，请参见[141]和第8章）。作为结论，我们发现可以以非常普遍的方式（近似）求解逆Marˇcenko Pasturequation，这意味着我们可能确实能够找到所有i=1，…，的真实特征值bu的估计值，N、 因此，特征值替换估计器为Ξsub=NXk=1bukuku*k、 （7.61）然而，即使真实密度ρCis的完美估计是可行的，我们发现该估计没有考虑到样本特征向量不是真实特征向量的一致估计，如第4章所示。因此，对于协方差矩阵估计，不建议使用替代（7.61），因为这不是最佳解决方案。然而，它可用于计算最佳RIE（6.5），我们参考第8.1.3节了解更多详细信息。7.3. 因子模型。线性因子模型背后的主要思想非常简单：（归一化）数据Yitis表示为M个公因子FYit=MXk=1βikfkt+εit（7.62）的线性组合，其中βika表示变量i对因子k=1的线性暴露，时间t时的M和N×t矩阵ε是Yit的特殊部分（或统计残差），假设为零均值。矩阵形式的模型（7.62）readsY=βF+E，（7.63），称为广义线性模型【142】。通常假设残差是i.i.d.和t固定的i.i.d.（参见例如[143]中的金融应用）。

不难看出，模型（7.62）下的方差矩阵由c=β∑Fβ给出*+ ∑ε（7.64），其中∑Fis是因子F的大小为M×M的协方差矩阵，可以在不丧失一般性的情况下选择与单位矩阵成比例的协方差矩阵，∑ε是残差ε的N×N协方差矩阵，这是最简单框架中的单位。在lineardecomposition（7.62）中，我们可以看到，我们通常有许多参数来估计大小为O（NT）的数据集中的orderO（NM）。因此，我们看到维度的诅咒随着M的消失而消失 N、 这意味着经验估计=T（βF+E）（βF+E）*, （7.65）变得更加准确。这是清理因子模型内高维协方差矩阵的一种简单方法。然而，这种清洁方案留下了至少一个实际使用的问题。应如何选择因子M的数目？在有关于因子f的先验信息的情况下，我们只剩下β和E的估计。但在一般情况下，这个问题仍然是一个开放的问题。让我们来处理一般情况，在这种情况下，几位作者考虑使用RMTto中的工具来选择因子M的数量。在[144]中，作者假设∑ε的经验估计量由各向同性Wishartmatrix给出，其谱的上界是精确已知的。因此，如果数据中存在显著因素，应注意（7.65）中定义的矩阵的最大特征值不能超过λE ff+（q）：=（1+√q） +δ（q，N）（7.66），其中最后一项δ是一个适当定义的常数，以反映Tracy Widom尾巴的宽度，即δ（q，N）~ N-2/3[144]. 然而，如果观察到最大样本特征值λ超过λe ff+，则可能存在真实因子。

在这种情况下，【144】中建议的程序是从数据中提取相应的最大分量：Y（1）it=Yit- β1tf1t，是第一主成分数据回归的残差。接下来，我们比较Y（1）Y（1）的最大特征值*/T相对于新阈值λe fff+（q=q- 1/T）并删除程序，直到Y（M）Y（M）*/T的所有特征值都位于马伦科Pastur海。在[145]中，这种方法被推广到∑ε的经验估计量是各向异性Wishart矩阵的情况，对于该矩阵，有几个关于谱的结果（见第3章）。该过程与上述过程类似：作者利用参考文献[146]的结果，提出了一种检测各向异性Wishart矩阵的Toutliers的算法。有关更多详细信息，请参阅[145]。因此，我们可以看到RMT允许我们推导一些基于严格的启发式方法来确定真实因子M的数量，这在精神上与上述特征值裁剪方法非常相似。也有可能对相关因素的结构有一些先验见解。例如，这是理论金融中的一种标准有效状态，所谓的资本资产定价模型（CapitalAsset Pricing Model，CAPM）[147]假设一个唯一的因素对应于市场投资组合，或Fama French[148]对其三因素模型的扩展（更多新扩展请参见[149]）。在这种情况下，可以通过假设因子fk和残差εi线性不相关，将问题简化为β的估计：hfkfli=δkl，hεiεji=δij1-Xlβli！和hfkεli=0，（7.67），这样真正的相关性变成：Cij=MXk=1βkiβkj+δij1-MXl=1βli！也就是说，如果i=j（ββ*)i否则。（7.68）我们再次强调，我们被简化为只估计N×t点中的N×M参数。

我们现在深入了解了如何使用样本数据估计β的系数，这是由于最近的论文[150]。注意，特征值剪裁（7.68）可以通过设置β来恢复≡ βP CA其中βP CA..=U | M∧1/2 | M，（7.69），U为样本特征向量，N×N对角矩阵为样本特征值，下标| M表示仅保留M个最大分量，其中M为λi>（1+√q） 对于任何i≤ M、 [150]中的方法建议确定βs，以便：bβ..=argminβLTYY公司*- ββ*OFF-诊断！，（7.70）用L表示给定的损失函数，“o fff-diag”表示o fff-diag元素。（对角线元素在构造上都等于一）。在数值上，作者在PCAβ（7.69）附近用二次范数L求解后一个方程。我们请读者参阅[150]，以了解程序及其实现的更多细节，以及模型的非线性（波动性）依赖关系的扩展。8、数值实施和实证结果本章旨在将上述所有想法在金融环境中付诸实践，最终目标是实现样本外风险或前瞻性风险最小化。如上所述，旋转不变估计框架在这方面很有前景。尽管如此，当人们试图用数值方法实现这种方法时，还是会出现一些问题。例如，我们在第6.5节中看到，最优RIE（6.5）的离散版本（6.26）系统地偏离其小特征值的极限值。但正如我们在第7节中所讨论的，这些小特征值的估计尤其重要，因为马科维茨最优投资组合往往会使它们超重，因此，这些小特征值的估计不足可能会导致灾难性的结果。

因此，我们将首先讨论最近文献中出现的两种不同的正则化方案（见[141]和[151]），它们试图纠正小特征值的系统性低估。然后，我们将转向对合成和真实金融数据的数值实验，并测试用于真实世界应用的正则化RIE的质量。8.1. 最优RIE（6.26）的有限N正则化。8.1.1. 为什么小特征值会有问题？。使用样本协方差矩阵上的零假设可以最好地说明小的特征值偏差。事实上，我们知道，对于C=IN，最佳RIE（6.5）应与N一样精确地屈服于bξ（λi）=1→ ∞ （见等式（6.21））。因此，我们将有限N的可观测收缩函数bξN（6.26）与其极限值bξ=1进行了比较。结果如图8.1所示，其中可观测估计器等式（6.26）显示为绿点，而极限值由红色虚线给出。我们看到，整体和右边缘的估计相对较好，但左边缘的情况显然不是这样，在左边缘以下的估计值下降到零，而不是保持接近统一。正如【38】或【111】所述，这突出表明，与光谱的其他部分相比，小特征值的行为更难处理。这种低估可以通过分析进行研究。z=λ- iη，我们实际上从图8.1中看到，离散RIEbξ是极限量bξ（z）的一个非常好的近似值，即η=N-1/2（蓝色普通线）。因此，左边缘的偏差对于任何有限的N都是系统性的，并且仅在N时消失→ ∞ (η → 0+). 这种有限尺寸效应是由于硬左边缘，特征值被定义为保持在R+。让我们举例说明一下：在一次切割假设下，我们总是可以将Stieltjes变换分解为（参见等式。

（2.31））gE（z）=h（z）+Q（z）pd+（z）pd-（z） ，d±（z）…=z-λ±（8.1），其中h（z）是ρean的希尔伯特变换，Q（z）是一个给定的函数，我们假设它在C+上是光滑的。我们将自己置于d-(λ) = ε  η、 即特征值λ非常接近于零。那么，我们有ge（z）=h（z）+Q（z）p-iηpd+（λ）-iη+O（ε）=h（z）- （1+i）Q（z）rη| d+（λ）|+O（ε）。（8.2）将最后一个方程专门化为零假设C=IN，从等式（2.41）可以推断出1/Q（z）=2qz，h（z）=Q（z）（z+Q-1). 然后将（8.2）插入（6.5）中，在左边缘产生：bξ（λ-- iη）=1-s2η√q（1-√q） +O（η），（8.3）0.0 0.5 1.0 1.5 2.0 2.5 3.0λi0.40.50.60.70.80.91.01.11.2ξi经验限制（η=N-1/2）极限（η→ 0）图8.1。C=in，N=500的经验RIE（6.26）（绿点）评估。矩阵x使用Wishart矩阵生成，参数q=0.5。我们将结果与η=N的极限值进行比较-1/2（蓝线）和η→ 0+（红色虚线）。也就是说，对N阶的渐近结果bξ（z）=1有一个有限大小的“修正”-η=N时为1/4-1/2. 因此，如果N不够大，则该修正非常重要。一个诱人的解决方案是将η的值减小到任意小。然而，我们知道，经验Stieltjes变换只是极限值的一个很好的近似值，直到阶数误差（Tη）-1，因此η也不能太小[111]。我们得出结论，我们在图8.1和6.5中观察到的低估效应纯粹是由于有限尺寸效应，并且对于ρC的任何模型都会进一步发生（见图6.5）。我们强调，这种影响不同于影响左侧异常值的相位转换，如图6.4.8.1.2所示。规范化经验RIE（6.26）。有两种方法可以解决这个问题。

第一种方法是使用一个简单的特别去噪程序，我们现在将对此进行解释；第二个是Ledoit和Wolf最近提出的更加复杂的方案（见下文）。首先，利用有限尺寸修正对大特征值无害的事实（见图8.1），我们可以只关注小样本特征值。我们的想法是使用一种正则化，如果真实的相关矩阵是逆Wishart类型，则该正则化将是精确的，ρCto由公式（2.53）给出，我们知道相关的最佳RIE是线性收缩（6.24）。在该规范中，参数κ允许在整体范围内插值ρcB。【151】中提出的一个更简单的解决方案是考虑重新缩放的Marˇcentko Pastur谱，以确定最小的特征值λN。当κ足够大时，这与IW程序无法区分，并为美国股票回报提供非常准确的预测【151】。然而，如果存在非常小的“真实”特征值，对应于非常强的相关金融合同对，那么这个简单的方法就失败了。测量R+（κ→ 0+和零假设（κ→ ∞).我们的程序仅用于正则化，即校准κ，使下边缘λiw-相应的经验谱（和式（3.41）中给出的）与观测到的最小特征值λN一致。然后，我们使用精确因子重新缩放最小特征值，如果C确实是逆Wishart矩阵，则需要该因子，即：bξregi=bξNi×max（1，Γiwi），Γiwi=| 1-q+qzigiwE（zi）|λi/（1+αs（λi- 1） ），zi=λi- 在里面-1/2，（8.4），其中αs=1/（1+2qκ），giwEis在等式（3.41）中给出。我们在算法1中给出了这种“IW正则化”的更精确实现，并对参数k=10和q=0.5的逆Wishartmatrix（2.58）进行了数值说明，其中αs≈ 0.09.

结果如图8.2所示，其中经验点来自N=500的单个模拟。算法1经验RIE（6.26）函数g IW（z，q，κ）的IW正则化：λ±←（1+q）κ+1±p（2κ+1）（2qκ+1）/κ;回来z（1+κ）- κ(1 - q）-pz公司-λ+pz-λ-/（z（z+2qκ））；end function函数rie（z，q，g）：返回Re[z]/| 1- q+qzg |；结束函数函数去噪rie（N，q，{λi}Ni=1）：//λ>λ>…>λNκ← 2λN/(1 -q- λN）- 4qλN;α ← 1/（1+2qκ）；对于i=1到N doz← λi- 在里面-1/2;g级←PNj6=i1/（z）-λj）/（N）- 1);^ξi← rie（z，q，g）；g级← g iw（z，q，κ）Γi← （1+α（λi- 1） ）/rie（z，q，g）；如果Γi>1且λi<1，则^ξi← Γi^ξi；结束ifend fors←Piλi/Pi^ξi//保留tracereturn{s×^ξi}Ni=1结束函数，我们现在重新考虑第6.5节中给出的数值示例，我们对其应用IW正则化算法（1）。结果如图8.3所示，我们观察到IW0.0 0.5 1.0 1.5 2.0 2.5 3.0λi0.40.50.60.70.80.91.01.11.21.3ξIEmpilicalacleregulated（MP）regulated（IW）如图8.2所示。我们应用z=λ的IW正则化bξregi- 在里面-1/2在C是κ=10且q=0.5的逆Shart矩阵的情况下。有效校正了经验RIE（6.26）（绿点）的有限尺寸效应。红色点对应于Oracle估计器，在本例中，这是linearshrinkage过程。我们还比较了[151]中提出的“重新定标”马伦科牧场光谱的结果。正则化对于我们在模拟中考虑的所有四个总体特征值都非常有效。事实上，如果我们观察左边缘区域，正则化特征值已上移，以与Oracle估计值（蓝点）一致，而我们观察到经验裸估计值（绿点）存在显著差异。

因此，IW正则化（算法1）提供了非常简单的方法来纠正这种系统的下行偏差，这在我们需要反转协方差矩阵时至关重要。注意，我们可以通过对正则特征值进行排序来进一步改进结果。这一点可以通过以下事实得到证明，即我们期望RIE对于极限N内的样本特征值是单调的→ ∞. 我们将在下一节中对这一点进行数值研究（见表1）。8.1.3. 量化特征值采样变换（QuEST）。Ledoit和Wolf最近提出的另一种方法是用Marˇcentko Pastur方程（3.9）来计算最佳RIE（6.5），该方法是数值近似的。这与byN提出的数值格式有些相似。El Karoui（见第7.2.3节）来解决Marˇcentko Pastur方程的间接问题。该方法名为QuEST（量化特征值采样变换），基于特征值的量化表示。更正式地说，关键假设是经验特征值根据光谱分布的分位数进行平滑分配，即iN=Zλi-∞ρE（x）dx，（8.5），目的是找到分位数，作为总体特征值[ui]i的函数∈[[1，N]]，如（8.5）所述。请注意，表示法（8.5）是对体特征值的经典位置的定义，如公式（3.40）所示。