清理大型相关矩阵：来自随机矩阵理论的工具

然后，我们在图8.6b中绘制了IWs正则化RIE（红色虚线）和Oracle估计量之间的比较，近似值为（8.15）（绿色三角形）。我们观察到，总体估计不如美国股市（图8.5）令人信服，但如上所述，这种偏差可以通过回归时间序列中存在弱自相关来解释（下文将对此进行详细介绍）。事实上，存在一个有效比率qe eff=1.2q，因此估计值非常好（见图8.6b中的蓝线）。0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0λi0.00.51.01.52.02.53.0ξi种群（QuEST）rie（QuEST）rie（a）种群和最优rie体特征值。0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0λi0.00.51.01.52.02.53.0ξioraclerie（q=0.5）rie（q=0.6）（b）与Oracle估值器（8.15）的比较。图8.6。左图：在1993年至2016年的所有股票TOPIX指数培训期间，使用500只流动性最强的股票分析总体（绿色虚线）和最佳RIE批量特征值（等式（8.10）的红色虚线和IWs正则化的蓝色普通线）。右图：IWs正则化RIE（红色虚线）与Oracle估计器（8.15）（绿色三角形）之间的比较。我们还提供了IWs正则化RIE的图以及有效的观察比率（蓝线）。最后，我们看看欧洲股市，其结论与美国股市相似。特别是，我们在图8.7b中注意到，我们在观察到的q=0.5（红色虚线）的情况下获得的IWs正则化RIE估计值与Oracle估计值（绿色三角形）非常接近。

尽管如此，我们仍可以通过有效比率Qeff=1.1q（蓝平原线）来改进估计。总之，我们看到，简单IWs正则化和QuEST正则化都允许仅使用可观测量精确估计（近似）Oracle估计量。这项研究强调，最优RIE对于数据生成过程是稳健的，因为金融股票市场肯定不是高斯的。横截面波动率估计器（8.13）没有完全消除异方差效应，也没有消除变量的时间依赖性，因为人们似乎可以选择一个IWs正则化和Oracle估计几乎一致的有效观察比率qe eff>q。这种影响可以通过存在0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0λi0.00.51.01.52.02.53.0ξi种群（QuEST）rierie（QuEST）（a）种群和最优RIE体特征值来理解。0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0λi0.00.51.01.52.02.53.0ξioraclerie（q=0.5）rie（q=0.55）（b）与Oracle估值器（8.15）的比较。图8.7：。左图：在1996年至2016年的彭博欧洲500指数培训期间，使用500只流动性最强的股票分析总体（绿色虚线）和最佳RIE大宗特征值（等式（8.10）的红色虚线和IWs正则化的蓝色普通线）。右图：IWs正则化RIE（红色虚线）与Oracle估计器（8.15）（绿色三角形）之间的比较。我们还提供了IWs正则化RIE的曲线图，其中股票收益率的有效观察比率（蓝线）自相关在e。

自相关的存在已被证明拓宽了样本矩阵E的频谱[85]。在第9章中，我们将回到根据经验数据校准Qeff的开放问题。与其他估值器相比，使用Kullback-Leibler距离（如[153100]所示）量化最优RIE所保存的信息将是一件有趣的事情。8.3. 样本外风险最小化。比较将经验特征值λ离子映射到其“干净”对应物^ξi的不同收缩函数很有趣。我们在图8.8中显示了我们保留的三种方案的这些函数，即线性收缩、剪裁和RIE，使用与图8.5中相同的数据集。这张图清楚地揭示了这三种方案之间的差异。对于剪裁（红色虚线），可以很好地估计中间特征值，但无法捕捉到较大λi的最佳收缩函数的凸形状。此外，较大的特征值被系统地高估。对于线性收缩（绿点线），从图8.8可以看出为什么该方法对于任何收缩参数αs都不是最优的∈ [0，1]（用于确定直线的斜率）。现在，我们使用上述三种清理方案来构建最优投资组合，并比较最优马科维茨投资组合的（平均）实现风险，构建为：w=b∑-1克*b∑-1g，（8.17），其中g是预测向量，b∑是清理后的协方差矩阵xb∑ij..=σiσjbΞijfori，j∈ [[1，N]]。再次注意，我们这里考虑的是通过其波动性估计值归一化的回报率：erit=rit/bσit。这意味着我们的测试对样本外期间波动性的总体增加或减少免疫，并且只对相关矩阵本身估计量的质量敏感。图8.8：。

将去偏RIE（8.4）（蓝线）与Marˇcentkopastur边缘的剪切（红色虚线）和线性收缩（α=0.5）（绿色虚线）进行比较。这里我们使用samedata集，如图8.5所示。为了确定我们的结果在不同市场情况下的稳健性，我们考虑了以下四类预测因子g：（i）最小方差投资组合，对应于gi=1，我∈ [[1，N]]（ii）全知情况，即我们确切知道每只股票在下一个抽样期外的实现回报。这由gi=Nri，t（Tout）给出，其中ri，t（τ）=（Pi，t+τ- Pi，t）/Pi，twith Pi，t第i项资产在t时的价格，erit=rit/bσit。（iii）最后一天返回时的平均回复：gi=-N厄立特里亚我∈ [[1，N]]。（iv）随机长短预测器，其中g=N v，其中v是均匀分布在单位球体上的随机向量。归一化因子N：=√选择N以确保wi~ O（N-1） 对于所有i.通过将矩阵X替换为由er定义的归一化返回矩阵，从等式（8.16）中获得的出采样器风险Ris..=（erit）∈ RN×T。我们报告了上述三种清洁方案和三个地理区域的这些不同portfoliosin的平均样本外风险，保持上述T（学习期）和Tout（样本外期）的相同值。线性收缩估计器使用根据以下数据估计的收缩强度α【154】（LW）。特征值剪裁程序使用Marˇcenko Pastur边的位置，（1+√q） ，以区分有意义和有噪声的特征值。从第二行到最后一行给出了通过采用一致性矩阵（总收缩率，αs=0）获得的结果，最后一行通过采用未清理的样本内相关矩阵（αs=1）获得。表4：。不同策略的年化平均波动率（单位%）。

标准偏差在表格中给出。最小方差portfoliohRieUS Japan EuropeRIE（IWs）10.4（0.12）30.0（2.9）13.2（0.12）裁剪MP 10.6（0.12）30.4（2.9）13.6（0.12）线性LW 10.5（0.12）29.5（2.9）13.2（0.13）恒等式αs=0 15.0（0.25）31.6（2.92）20.1（0.25）样本αs=1 11.6（0.13）32.3（2.95）14.6（0.6 2）全知预测器日本欧洲（IWs）10.9（0.15）12.1（0.18）9.38（0.18）剪辑MP 11.1（0.15）12.5（0.2）11.1（0.21）线性LW 11.1（0.16）12.2（0.18）11.1（0.22）恒等式αs=0 17.3（0.24）19.4（0.31）17.7（0.34）样本αs=1 13.4（0.25）14.9（0.28）12.1（0.28）均值回归预测因子日本-欧洲（IWs）7.97（0.14）11.2（0.20）7.85（0.06）裁剪MP 8.11（0.14）11.3（0.21 9.35（0.09）线性LW 8.13（0.14）11.3（0.20）9.26（0.09）恒等式αs=0 17.7（0.23）24.0（0.4）23.5（0.2）αs=1 9.75（0.28）15.4（0.3）9.65（0.11）均匀预测因子hrieus Japan EuropeRIE 1.30（8e-4）1.50（1e-3）1.23（1e-3）裁剪MP 1.31（8e-4）1.55（1e-3）1.32（1e-3）线性LW 1.32（8e-4）1.61（1e-3）1.27（1e-3）恒等式αs=0 1.56（2e-3）1.86（2e-3）1.69（2e-3）2e-3）在样本αs=1 1.69（1e-3）2.00（2e-3）2.7（0.01）中，这些表格表明：（i）最好使用干净的相关矩阵：正如预期的那样，没有清理的样本外风险总是高于任何清理方案，即使有四年的数据。这与Pantaleo等人之前的工作一致【155】；（ii）在除一种情况外的所有情况下（日本的最小风险投资组合，其中LW线性收缩表现优异），正则化RIE提供最低的样本外风险，与使用的预测类型无关。请注意，这些结果在统计上到处都是显著的，但日本股票的最小方差策略除外：请参见表4中各参数之间的标准误差。

最后，我们通过对N={100200300}重复相同的测试来测试N维的稳健性。我们关注相对较小的N值，因为只要N>300，所有情况下的结论都是有效的。我们发现，除了N=100的一些函数外，RIE的样本外测试结果对尺寸N具有稳健性，如表5所示。表5：。不同策略的年化平均波动率（单位%）作为N的函数，q=0.5。我们在括号中报告标准偏差。