清理大型相关矩阵：来自随机矩阵理论的工具

因此，对于N→ ∞, 这种方法似乎不适用于异常值，因为我们知道谱密度ρEputs对这些异常值没有权重。然而，对于构建RIEs，这可能并不那么重要，因为粗略地说，所有we0 2 4 6 8 10 12 14 16λi02468101214ξioraclexperical RIEIW regulationquest（a）多个源（案例（i））。0 1 2 3 4 5 6 7λi0123456ξioracleperiomical RIEIW regulationquest（b）变形GOE（案例（ii））。0 2 4 6 8 10 12λi024681012ξioracleperiomical RIEIW regulationquest（c）Toeplitz（案例（iii））0 1 2 3 4 5 6λi012345ξioracleperiomical RIEIW regulationquest（d）幂律（案例（iv））图8.3。对于第6.5节开头的四个案例，将IW正则化（6.26）（红线）与经验RIE（6.26）（黄点）和Oracle估计器（6.2）（蓝点）进行比较，N=500，T=1000。我们还绘制了使用QuEST估计器（8.10）（绿线）得到的估计。使用多元高斯测量过程和第6.5节的四个规范，通过单个实现E生成结果a。需要知道的是无尖峰协方差矩阵E的Stieltjes变换（见第6.2.2节）。这就是说，“量化”特征值（预计接近经验特征值）定义为￠γi（u）…=新西兰元/无（i-1） /纳法-1E（p）dp，i∈ [[1，N]]，p∈ [0，1]，（8.6），其中u=（u，…，uN），和f-1E（p）…=supnx公司∈ R:FE（x）6 po，FE（x）=（最大值1.- 1/q，N-1PNi=1δ（ui）如果x=0，RxρE（u）du，否则，（8.7）ρE（u）=limη↓0Im gNE（u-iη）和gNE是离散化MarˇcenkoPastur方程（3.11）的唯一解，gNE（z）=NNXi=1z- ui（1- q+qzgNE（z））。（8.8）即使数值格式看起来相当复杂，所有这些量都只是Marˋcentko Pastur方程的离散化版本。实际上，等式（8.5）等同于等式。

（3.11）对于大N和（8.6）都是方程（3.40）的离散估计量。最后，优化程序读取u=argminu∈RN+PNi=1hγi（u）- λii，s.t.～γi（u）满足等式。（8.6）、（8.7）和（8.8）。（8.9）由此，经验RIE（6.26）的正则化方案读取ξQuESTi=λi | 1- q+qλilimη↓0gNE（λi- iη）|，（8.10）式中▄gNE（z）∈ C+是▄gNE（z）=NNXi=1z的唯一解- ui（1- q+qzgNE（z））。（8.11）我们看到，上述正则化方案允许我们估计——原则上——极限Rie（6.5），因为我们现在可以将η设置为任意小。这意味着，与ExperiicalEstimate（6.26）相反，QuEST程序不应因左边缘的系统性低估而受到影响。这种方法的主要优点是，它还允许我们估计人口特征值，这在某些特定情况下很有用。然而，从数值角度来看，该算法比上述IW正则化（算法（1））要复杂得多。事实上，我们看到优化（8.9）的起点是人口特征值向量，这对于非常“稀释”的频谱来说可能是个问题。此外，该算法可能会在存在非常大且孤立的特征值时避免不稳定性。请注意，[141]中给出了QuEST实现的详细介绍，其中作者建议对清洁特征值[ξQuESTi]i进行排序∈[[1，N]]因为如上所述，我们期望最佳清洁特征值相对于样本特征值是单调的。8.1.4. 实证研究。我们将图8.3中的上述QuEST数值格式与第8.1.2节中的简单IW正则化进行比较。来自QuEST正则化的特征值显示为绿线，我们看到结果非常令人满意。

特别是，它不受左边缘系统偏差的影响，并且似乎能够有效地处理异常值，即使公式（8.5）先验地对大N限内的孤立特征值无效。我们注意到，在幂律示例中，该算法有时会因“聚集”异常值的存在而受到不稳定性的影响（见图8.3d）。另一方面，也许令人惊讶的是，算法1中给出的更简单、有点特别的IW正则化提供了非常相似的结果。然而，QuEST方法需要解决一个非线性和非凸优化问题（见等式（8.9）），这意味着大量的数值计算，甚至可能不会收敛到全局最小值（如果存在）。我们想进一步研究这两种正则化的效率。一个方向是改变变量N的数量，q=0.5固定。这使我们能够评估这两种算法的最终规模性能。第二个方向是fix N=500并改变观测比率q。我们将在以下方面考虑三种不同的正则化：（i）IW正则化（算法1），（ii）IW正则化+排序（以下称为“IWs正则化”）和（iii）QuEST过程。请注意，我们将重点研究图8.3d的幂律示例，因为这个简单的先验知识允许使用可能的“聚集”异常值生成非常复杂的光谱，类似于财务数据。我们再次强调正则化方案（ii）的合理性，因为我们期望估计量保持样本特征值的单调性。为了衡量每个算法的准确性和稳定性，我们描述了给定估计量与Oracle（6.2）之间的偏差。使用均方误差（MSE），我们还可以分析相对性能（RP）与样本协方差的百分比。

这是byRP（Ξ）…=100 ×1 -EkΞ-Ξora。科克-Ξora。k（8.12）其中≡ Ξ（E）是C和Ξora的RIE。是Oracle估计器。我们还报告了每种情况下执行估计所需的平均计算时间。首先，让我们评估清理特征值排序的有用性。我们在表1中报告了我们在100次实现E（这是带有总体协方差矩阵C的aWishart矩阵）的情况下，在N=500和q=0.5的情况下获得的性能。我们从表1得出结论，当使用IW正则化（8.4）时，对特征值进行排序更好，因为差异在统计上是显著的，同时在计算时间方面几乎同样有效。对于大N，QuEST程序产生了最佳的准确度得分，但与IWs特征值的差异在统计学上并不显著，并且QuEST需要比ad hocIWs算法更多的数值运算。请注意，与样本协方差矩阵相比，性能改进非常显著。表1：。我们重新考虑了图8.3d的设置，并检查了100多个样本的一致性。从（6.28）中得出的人口密度ρCis，λ=-0.6，N=500，样本协方差矩阵从Wishart分布中获得。MSE代表与theOracle估计器（6.2）相关的均方误差，stdev代表平方误差的标准偏差和inEq中定义的RP。(8.12). 运行时间显示清理一组尺寸为N的特征值样本所用的平均时间。方法MSE stdev RP运行时间（秒）IW正则化0.64 0.13 99.69 0.02IWs-正则化0.45 0.12 99.78 0.03QuEST 0.44 0.15 99.79 33.5我们现在研究当N随q=0.5固定变化时，这些结论是如何变化的。结果见表2。

首先，我们强调，对于N=100，相对于样本协方差矩阵的RP已经大于98%，这就是为什么我们没有在表中报告这些值。如上所述，对于N>100，对特征值进行排序可以显著改善Oracle估计器的均方误差。我们还强调，对于N=1000，需要0.06秒才能在Python中实现基于IntelR的模拟CoreTMi7-4700HQ和8×2.40GHz处理器的CPU。获取正则化的RIE，而QuEST算法平均需要80秒。我们发现，随着大小N增加到整数，解决非线性和非凸优化（8.9）所需的高度复杂性变得非常有限，而对简单IWsmethod的改进不再显著。表2：。检查关于维数N的三个正则化的一致性。从（6.28）中得出的人口密度ρCis，λ=-0.6，样本协方差矩阵从T=2N的Wishart分布中获得。我们在表中报告了与Oracle估计器（6.2）相关的均方误差和括号中作为N函数的标准偏差。N=100 N=100 N=100 N=100 N=100 N=200 N=200 N=300 N=400 N=400 N=500 N=500 N=1000 N N=1000IW正规化0.53（0.17）0.56（0.15）0.15）0.16）0.16（0.16）0.16）0.65（0.16）0.65（0.65（0.14）0（0.14）0.14）0.14）0.14）0（0.14）0.14）0.14）0.14）0.14（0.14）0.14）0.14）0.14）0.64（0.64（0.14）0.64（0.64（0.14）0.14（0.14）0.14（0.14）0.14）0.14）0.14（0.14）0.14）0.64（0.64（0.14（0.14）0.14）0.改变q=0.25,0.5,0.75， 0.95.对于每个q，我们执行与表2中相同的程序，结果报告在表3中。很容易看出，第一次一致性检验的结论仍然适用于三个正则化方案，作为q的函数，N=500。

注意，我们这里不考虑情况q>1，因为E一般具有（N- T）零特征值。IWs正则化和QuEST算法这两种正则化方案都无法处理这种情况，weshall将在第9章回到这个问题。表3：。检查关于尺寸比q的三个正则化的一致性。从（6.28）中得出的人口密度ρCis，λ=-0.6和N=500，以及从Wishart分布中获得的样本协方差矩阵，参数T=N/q。我们在表中报告了Oracle估计量（6.2）的均方误差和括号中的标准偏差，作为q的函数。方法q=0.25 q=0.5 q=0.75 q=0.95IW-正则化0.31（0.06）0.65（0.14）1.2（0.18）1.78（0.44）IWs正则化0.28（0.05）0.46（0.12）0.71（0.17）0.94（0.39）QuEST 0.25（0.05）0.45（0.15）0.72（0.17）0.98（0.35）总之，我们使用合成数据观察到，我们能够准确估计小特征值和异常值的极限估计量。发现QuEST程序对任何N和任何q<1的情况都表现得很有效，并且可以高精度估计种群特征值和极限Stieltjes变换。然而，就大样本协方差矩阵的估计而言，通过解决非线性和非凸优化问题（8.9）所获得的改进在增加9个时变得微不足道（见表2和表3）。此外，随着N的增长，QuEST算法的计算时间大大增加。此后，我们将使用IWs RIE作为以下应用程序的C估计量。尽管如此，只要N不是很大，QuEST过程就得到了明确的建议，因为它在可接受的计算时间内产生了显著的改进。8.2. 优化投资组合的最优RIE和样本外风险。

如上所述（见第7.1节），不同资产之间的相关性概念是马科维茨最优投资组合理论的基石，更广泛地说是用于风险管理目的【152】。因此，至关重要的是，使用一个忠实代表未来风险而非过去风险的相关矩阵，否则，对虚假的低风险资产组合的过度配置可能会带来灾难性的后果。在这方面，我们在第7.1.3节中看到，受限于拥有样本特征向量的估计量空间内的最佳估计量正是Oracle估计量（6.2），它是先验不可观测的。然而，如果变量的数量足够大，我们知道，由于上一节的数值研究，仅使用可观测变量就可以非常准确地估计Oracle估计器。本节的主要目的是研究金融股票市场数据的IWsRIE程序。现在让我们解释一下测试的结构。我们考虑一个由N种不同的金融资产（比如股票）组成的宇宙，我们在（比如）每日频率上观察到这些资产，定义了每天t=1，…，的回报向量rt=（r1t，r2t，…，rNt），T众所周知，金融资产的波动率是异方差的[24]，因此我们特别关注相关性而非波动率，以研究系统性风险。为此，我们将这些回报标准化如下：（i）我们去除了每项资产的样本均值；（ii）我们通过估计每日波动率的bσit对每个收益进行标准化：erit=rit/bσit。bσit有许多可能的选择，例如：。

关于历史收益率的加肖-菲加什模型，或期权市场的简单隐含波动率，读者可以选择他/她最喜欢的估值器，该估值器可以很容易地与下面讨论的相关矩阵清理方案相结合。为简单起见，我们在这里选择了横截面每日波动率，即bσit=sXjrjt，（8.13），以消除波动性中的大量非平稳性。最终标准化回报矩阵Y=（Yit）∈ RN×Tis然后由Yit给出..=erit/σi其中σi是ERI的样本估计量，现在，在一级近似下，它是平稳的。我们现在可以计算样本协方差矩阵E，如等式（3.3）所示。我们强调，theMarˋcenko和Pastur结果不需要收益的多元正态性，这可能具有厚尾分布。事实上，通过横截面波动率进行的上述归一化可以被视为协方差矩阵（3.8）的稳健估计的代理，其中U（x）=x-1可以使用第3章和第4章的工具进行研究（关于这一点的讨论，请参见第3.1.3节）。总之，我们可以使用IWs正则化（算法1+排序）或QuEST正则化构造最优RIE，后者允许我们估计总体特征谱。在我们的模拟中，我们考虑了一个包含每日数据的国际股票池：（i）美国：1966年至2012年标准普尔500指数培训期间，500只流动性最强的股票；（ii）日本：1993年至2016年TOPIX全股指数培训期间，流动性最强的500只股票；（iii）欧洲：在1996年至2016年的彭博欧洲500指数培训期间，500只流动性最强的股票。我们选择T=1000（4年）作为培训期，即q=0.5，Tout=60（三个月）作为样本外测试期。让我们首先分析美国股票的最佳RIE。

我们在图8.4中绘制了IWs正则化（蓝线）和Questregulation（红色虚线）的平均非线性收缩曲线，其中我们对两种情况下的特征值进行了排序，并将其与从（8.9）中获得的估计总体特征值进行比较。我们看到IWs正则化和Quest仍然会产生非常相似的结果。此外，我们注意到，正如预期的那样，cleanedeigenvalue的谱比（估计的）总体矩阵的谱窄。0 1 2 3 4 5λi0.00.51.01.52.02.53.03.54.0ξi填充（QuEST）rierie（QuEST）图8.4。使用1970年至2012年的500只美国股票，对IWs正则化（8.4）（蓝色）与QuEST程序（8.10）（红色线）进行比较。这两种规范化之间的一致性非常显著。我们还提供了从（8.9）（绿色虚线虚线）获得的总体特征值的估计。有趣的是，Oracle估计器（6.2）可以进行经验估计，并用于直接测试IWs正则化RIE（8.4）的准确性。诀窍在于指出，Oracle特征值（6.2）可以解释为与投资组合相关的“真实”（样本外）风险，其权重由第i个特征向量给出。因此，假设数据生成过程是平稳的，我们通过与此类特征投资组合相关的已实现风险来估计Oracle估值器【133】。更准确地说，我们将时间序列的总长度拆分为连续的、不重叠的长度Tout样本。“培训”周期的长度为T，因此n由以下公式得出：n..=bTtot公司- T- 1出口。（8.14）然后，Oracle估计器（6.2）计算为：^ξora。我≈nn型-1Xj=0路由（tj，ui）i=1。

，N，（8.15），对于tj=T+j×Tout+1，R（T，w）表示在T时构建的投资组合收益的样本外方差，即sayRout（T，w）=Toutt+ToutXτ=t+1NXi=1wiYiτ！，（8.16）其中，Yiτ表示重新调整比例的已实现回报。同样，由于我们主要感兴趣的是估计相关性，而不是波动性，我们的样本内和样本外回报都是近似平稳和标准化的。这意味着对于任何时间t，pni=1Rout（t，ui）=N。我们使用图8.5中的美国数据绘制了估计的Oracle估计器（8.15）的结果，并将其与IWs正则化RIE进行了比较。我们认为，结果非常显著：RIE公式（8.4）（红色虚线）非常接近平均实现风险（蓝色三角形），尤其是在特征值较多的区域。图8.5。使用1970年至2012年的500只美国股票，对IWs正则化RIE（8.4）与代理（8.15）进行比较。这些点表示（8.15）每个实现的密度图，色码表示数据点的密度。平均IWs正则化RIE用红色虚线绘制，平均实现风险用蓝色绘制。我们还提供了IWs正则化RIE的预测，其有效观测比qe eff略大于q（绿色平原线）。绿线和甲骨文平均估值器（蓝三角）之间的一致性非常显著。我们现在也可以对其他股票池重复分析。我们从图8.6a中绘制总体特征值估计（使用公式（8.9））和正则RIE（使用算法1或公式（8.10））的TOPIx开始。同样，我们从简单的IWSRegulation和QuEST过程中得到的结果几乎无法区分。这是两种算法在有限时间内鲁棒性的另一个表现。