清理大型相关矩阵：来自随机矩阵理论的工具

（6.27）（ii）变形GOE，即C=IN+GOE（宽度σ=0.2），额外尖峰位于{3，3.5，4.5，6}。（iii）条目Cij=0.6 | i的Toeplitz矩阵-j |尖峰位于{7，8，10，11}；（iv）幂律分布特征值（见[28]和第3章），λ=-0.6（或λmin=0.8）。对于ui的经典位置，使用一个大的N代理，可以得到[28]：ui=-λ+（1+λ）rNii∈ [[1，N]]。（6.28）请注意，最后的幂律分布会自动生成有界数量的异常值。此外，由于我们在N和T有界的情况下工作，C的最大特征值仍然有界。我们绘制了图6.5中估算器公式（6.26）和oracle估算器公式（6.2）的结果。总的来说，估计器（6.26）对总体特征值和异常值都给出了准确的预测。我们考虑了几种异常值的配置。对于（i）的情况，我们可以看到两个孤立的doutliers是正确估计的。对于变形的GOE或Toeplitz情况，选择的离群值彼此接近一点，结果与oracle估计一致。对于幂律分布频谱的更复杂情况，没有明显的右边缘，我们可以看到（6.26）再次与oracle估计器很好地匹配。然而，我们注意到，经验最优RIE（6.26）系统地低估了小特征值。第8章将对这种影响进行更详细的研究。作为进一步检查，我们在此提供了“最佳”标度η的数值测试。如上所述，【38】中显示的值η=N-1/2提高了（6.26）中的上限。然而，人们可能想知道，对于真实（或合成）数据，这个值是否确实是最优的。为了验证这一点，我们研究了作为η函数的估计器（6.26），并计算了与oracle估计器Ξora相对应的均方误差。对于η=αN-1/2和α∈ [0.01, 50].

对于每个C，我们使用多元高斯过程评估100种不同实现E的误差。结果如图6.6所示。α的最佳值≈ 1.5对于所有示例，C是Toeplitz矩阵（黄色点）时除外，其中α的最佳值≈ 8.4.6.6. 自由乘法模型的扩展。如【37】中所强调的，对整体特征值的最佳RIE的评估可以扩展到更一般的乘法随机矩阵模型（对于加性噪声模型，请参见附录D）。特别是，可以（正式）推导出测量模型（2.80）的整体特征值的最佳非线性收缩函数（6.5），该模型推广了样本协方差矩阵的情况（见第3.2.1节）。为此，让我们定义M..=C1/2OhmBOhm*C1/2式中，B是N×N对称旋转不变量噪声项，且Ohm 是根据Haarmeasure分布的N×N随机旋转矩阵。可以很容易地从公式（2.100）中检查出Tr[GM（z）C]=N（zgM（z）- 1） SB（zgM（z）- 1) . （6.29）利用S变换的解析性，我们定义了函数γ带ωb，例如：limz→λ-i0+SB（zgM（z）- 1） ：=γB（λ）+iπρM（λ）ωB（λ），（6.30），因此，自由乘性噪声模型（2.80）的体特征值的最佳RIE可以从（6.4）：ξora中推断出来。我~ F（λi）；F（λ）=λγB（λ）+（λhM（λ）- 1） ωB（λ）。（6.31）注意，可以通过插入等式来检索估计器（6.5）。（2.44）和（6.30）转化为等式（6.31）。我们省略了[37]中的细节，并得出结论，公式（6.31）确实概括了Seq。(6.5). 我们再次看到，最终的解决方案并不明确依赖于C，但在某种程度上要求a优先于矩阵B的光谱分布。在（a）多个源（案例（i））中找到模型将非常令人满意。（b） 变形GOE（案例（ii））。（c） 托普利茨（案例（iii））（d）幂律（案例（iv））图6.5。

对于第6.5节开头的四种情况，数值估计的oracle估计量（6.26）（红线）与精确的oracleRIE估计量（6.2）（蓝点）进行比较，N=500，T=1000。结果来自于使用多变量高斯测量过程实现E的单个实现。我们可以得到公式（6.31）的显式公式（该模型的一些相关应用见第9章）。我们顺便强调，我们也可以使用公式（2.100）推导出大部分分布的均方重叠（4.3）。为此，我们调用关系式（4.9）和等式（2.100）来获得[37]：Φ（λ，u）=μβm（λ）（λ- uαm（λ））+πuβm（λ）ρm（λ），（6.32），其中我们定义了函数α和βmasαm（λ）：=limz→λ-i0+ReSB（zgM（z）- 1)βm（λ）：=limz→λ-i0+ImSB（zgM（z）- 1)πρM（λ），（6.33），下标M表示“乘法”。10-210-1100101102√Nη202530354045505560 | |Ξ（η）- Ξora||2身份反向WishartDeformed GOEToeplitzPower定律图6.6。最优估计量（6.26）和oracle估计量之间的均方差。现在将估计器（6.26）作为η的函数进行研究。x轴（对数刻度）显示α值=√为了清楚起见，Nη。我们考虑了五个不同的C示例（与图6.5和单位矩阵中的配置相同）。对于每个示例，我们生成100个独立的E实现，其中N=500，T=1000。我们在结束本技术部分时，提到了一个开放的问题，即这些结果在存在异常值的情况下的扩展。事实上，很有意思的是，看看最优RIEformula（6.31）是否仍然是通用的（正如我们所认为的那样），因为大块特征值和异常值的清理公式是相同的。块矩阵表示法（C.8）在这方面可能很有用。应用：马科维茨投资组合理论和之前的“清理”方案7.1。

马科维茨最优投资组合理论。对于不熟悉马科维茨最优投资组合理论的读者，我们在本节中回顾了一些最重要的结果。假设投资者想要投资一个包含N种不同资产的投资组合，并确定最佳“权重”。一种直观的策略是所谓的均值-方差优化：投资者寻求分析，以便在给定预期回报目标的情况下，将投资组合的总体二次风险降至最低。不难看出，这种均值-方差优化可以转化为具有线性约束的simplequadratic优化程序。在进入更多的数学细节之前，让我们介绍一些将在下面使用的符号。我们假设我们观察N种不同股票的回报时间序列。对于每种股票，我们观察到一个大小的时间序列，其中T在实践中通常大于N。这将产生（归一化）N×T返回矩阵xy=（Yit）∈ RN×t真实相关矩阵由Hyityjti=Cijδtt（7.1）定义，其中时间方向上没有相关性只是第一个近似值，因为已知股票市场中存在微弱但持久的线性相关性。在当前的“大数据”时代，我们自然而然地将自己置身于高维生活中，T→ ∞ 有限比率q=N/T。马科维茨的最优投资组合相当于解决以下二次优化问题minw公司∈RNw公司*Cws。t、 w*g级≥ G（7.2），其中G是预测因子的N维向量（假设是确定性的，由经济数据的深度分析等给出），G是预期收益。通过引入拉格朗日乘子γ，将这个有约束优化问题改写为无约束优化问题，可以很容易地解决这个数学问题：minw∈RNw公司*Cw公司- γw*g。

（7.3）假设C是可逆的，不难找到最优解和γ的值，因此总体预期收益率正好是G。由wc=GC给出-1克*C-1g，（7.4）这需要C和g的知识，这是先验未知的。如上所述，根据投资者的信息和预期，形成未来回报预期是投资者或财务分析师的工作，因此我们假设g是给定的。即使这些预测完全错误，寻找与这些预期一致的最低风险投资组合仍然是有意义的。我们仍然面临着估计C的问题，或者可能是C-1重新应用马科维茨公式前，等式（7.4）。我们将在下文中看到，为什么在反转C并确定权重之前，应该找到C本身的最佳估计量。我们可以检查所谓的Karush-Kuhn-Tucker条件是否满足。这种分配策略的最小风险是什么，衡量为投资组合回报的方差？如果知道总体相关矩阵C，则与WC相关的真正最优风险将由true给出..=hwC，CwCi=Gg*C-1克。（7.5）然而，最佳策略（7.4）在实践中无法实现，因为矩阵C未知。那么我们可以做什么呢？投资组合的已实现风险估计有多严重？7.1.1. 预测和实现的风险。使用马科维茨最优投资组合的一种非常天真的方法是使用经验矩阵E而不是C来应用（7.4）。回顾第3章和第4章的结果，不难看出，只要T与N相比不够大，这种策略就会受到强烈偏差的影响，这正是我们在这里考虑的情况。

尽管如此，使用经验矩阵E的最佳投资权重为：wE=GE-1克*E-1g，（7.6），因此，该投资组合的最低风险为byRin=hwE，E wEi=Gg*E-1g，（7.7），称为“样本中”风险或预测风险。让我们假设g与C（因此也与E）无关。然后，使用关于g的E的凸性*E-我们从Jensen不等式中发现*E-1g]>g*EE-1g=g*C-1g（7.8），因为E是C的无偏估计量。因此，我们得出结论，样本内风险低于“真实”风险，因此，我们的最优投资组合受到样本内偏差的影响：其预测风险低估了真实的最优风险，而未来的样本外风险或已实现风险更是如此，即在估计期之后的时期内实现的风险。让我们用这个样本外周期的经验矩阵来表示；样本外风险自然由以下定义：Rout=hwE，EwEi=Gg+E-1EE-1g（g+E-1g）。（7.9）对于大型矩阵，我们期望结果是自平均的，并由其期望给出。因为我们可以假设噪声独立于E中的噪声，所以我们得到大N[133]：w*EEwE公司≈ w*ECwE（7.10）和one很容易从等式（7.5）为最小可能风险的事实中得出以下不等式：Rtrue6 Rout。我们在图7.1中绘制了这些不平等的图示，使用等效风险度量是波动率，它只是投资组合策略方差的平方根。所谓的有效边界，我们假设g=（1，…，1）*. 对于给定的C（这里是围绕单位矩阵的移位GOE，σ=0.2），我们构建WC并比较等式。（7.5），（7.7）和（7.9），q=0.5。我们看到，使用wEis显然过于乐观，可能会在实践中导致灾难性的结果。

我们强调，这一结论适用于不同的风险衡量标准【6，7】。0 20 40 60 80 100 120 140 160hw，Cwi020406080100Gtruepredicted（样本内）实现（样本外）图7.1。与g=（1，…，1）的均值-方差最优投资组合（7.4）相关的有效前沿*C a围绕单位矩阵移动GOE，σ=0.2，q=0.5。蓝线将预期收益描述为真实最优风险（7.5）百分比的函数。绿线表示预测（样本内）风险，红线表示已实现（样本外）风险，远高于真实风险。7.1.2. 高维随机预测的情况。在大矩阵的限制下，在对结构g进行一些假设的情况下，我们可以使用RMT的工具使这些不等式更加精确。特别是，我们将表明，我们可以使用Marˇcentko Pasturequation和自由概率理论将真实风险和已实现风险联系起来。为了简单起见，让我们假设~ NN（0，IN），（7.11），但对于任何方向与C或E无关的向量g，结果都成立，因此g被归一化为g*g=N，即g的每个分量都是有序统一的。我们强调，这些假设不一定是现实的（预测值可能会沿着C的主要成分产生偏差），但允许我们更精确地量化样本内/真实/样本外风险之间的关系。使用“坏”预测因子g后的次优回报超出了本次审查的范围。设M是一个独立于向量g的正定义矩阵，则在较大的N极限下，g*MgN=NTr[gg*M] =自由度G*gNν（M）（7.12），其中我们记得，Д是归一化跟踪运算符。因此，根据我们的假设（7.11），我们可以很容易地减少，g*MgN公司- ^1（M）→N→∞0。（7.13）现在设置M={E-1，C-1} ，我们将等式（7.13）应用于等式。

（7.7）、（7.5）和（7.9）分别为→GNИ（E-1） ，R真→GNИ（C-1） ，路由→G^1（E-1CE-1） NИ（E-1） ，（7.14）其中，我们回顾，Д是等式（2.61）中定义的归一化跟踪运算符。让我们关注上面的前两个术语。对于q<1，我们已经在上面显示了在高维区域中，onehas^1（C-1) = (1 -q） ^1（E-1） –见等式（3.24）。因此，对于N→ ∞Rin=（1-q） 真的。（7.15）因此，对于任何q∈ （0，1），我们发现与wEalways相关的样本内风险提供了一个过于乐观的估计值。更好的是，我们能够准确量化低估的风险，这要感谢Sto（7.15）。接下来，我们想为“样本外”风险找到相同类型的关系。我们记得，在第3章的框架下，我们可能总是重写E=C1/2WC1/2，其中W是参数q的whiteWishart矩阵，独立于C。因此，对于样本外风险rout=G^1（C-1瓦-2） NИ（E-1） 当N→ ∞. 然后，技巧是注意到在大矩阵的极限中，W和C区域是无交感的。这使得我们可以从自由度关系（2.64）得出如下结论：-1瓦-2） =^1（C-1） ^1（W-2） ，（7.16）因此，使用渐近关系（3.24），我们发现：Rout=G（1-q） ^1（W-2） NИ（C-1） ，（7.17）最后，可以容易地计算出Д（W-2） 通过执行大z→ 0通过将C替换为in，对等式in（3.24）中给出的Marˇcentko牧场密度的Stieltjes变换进行扩展，即tosayД（W-2) = (1 -q）-3对于q<1。我们最终得到：Rout=Rtrue1-q、 （7.18）总之，我们得到了以下渐近关系：Rin1-q=Rtrue=（1-q） Rout，（7.19），这适用于完全一般的C。注意，在【133】中，对于C=Inan和【134】中稍后的内容，在稍微不同的上下文中也得到了类似的结果。

因此，如果一个人用“天真”的权重wE进行投资，那么预测的风险会低估已实现的风险一个因素（1-q） 在极端情况下，N=T或q=1，样本内风险等于零，而样本外风险发散。因此，我们得出结论，正如所宣布的那样，将样本协方差矩阵E用于马科维茨优化问题可能会导致灾难性的结果。这表明，为了控制样本外风险，我们应该有一个更可靠的C估计量。7.1.3. 样本外风险最小化。在最后一节中，我们坚持认为投资组合管理中要控制的相关数量是已实现的样本外风险。从EQ中也可以清楚地看到。（7.19）使用样本估计值E是一个非常糟糕的主意，因此，很自然地会问：应该使用哪一个C来最小化样本外风险？马科维茨公式（7.4）天真地建议人们应该寻找所谓精度矩阵C的可靠估计量-但事实上，由于预期样本外风险与矩阵C呈线性关系，因此应估计矩阵X。有两种不同的方法可以证明oracle估计器确实会产生最佳的样本外风险。第一种方法是根据条件期望重新表述马科维茨问题。事实上，马科维茨问题可以被认为是在投资日观察到的预期未来风险的最小化。更正式地说，它可以写为minwE“兜售Pt+Toutt=t+1hw，rtiF（t）#，s.t.w*g级≥ G，（7.20），其中F（t）是时间t（投资数据）的所有可用信息，Toutis是样本期外，r是我们投资组合中N只股票的收益向量。假设iid返回意味着最优权重独立于r的未来实现。

此外，我们假设P（rt）∝ P（rt | C）P（C）对于t>t，其中P（C）是人口协方差矩阵C上的（任意）先验分布。然后有：E“Toutt+ToutXt=t+1hw，rtiF（t）#，=*w，ToutXtEhrtr*t型F（t）iw+，=*w，EhCF（t）iw+。（7.21）回顾第5章的结果，我们发现，在收益率的多变量高斯假设下，E[C | F（t）]=hCiP（C | E）（见等式（5.11））。因此，使用结果公式（5.12），我们可以认为，我们在计算方差时忽略了预期回报率g，因为后者通常比波动率小。我们预计这一结果也适用于多变量学生，见第3.1.3节。我们可以得出这样的结论：oracle估计器是在特定框架中最小化样本外风险的估计器。对于我们现在将要介绍的相同结果，还有另一个可能更直接的推导。它基于关系式（7.9）。让我们在第5章和第6章中讨论的旋转不变量估值器的上下文中明确地说明这一点。让我们将RIE定义为Ξ=NXi=1ξ（λi）uiu*i、 我们回忆起我∈[[1，N]]是样本特征向量，ξ（·）是必须确定的函数。假设我们使用这个RIE构造我们的投资组合wΞ，我们假设它独立于预测向量g。同样，为了简单起见，我们假设g是一个均值和单位方差为零的高斯向量。因此，估计值（7.13）仍然有效，因此与投资组合相关的实际风险wΞ读数为N→ ∞:Rout（Ξ）=全球技术法规Ξ-1CΞ-1.TrΞ-1.. （7.22）利用Ξ的谱分解，我们可以重写分子asTrΞ-1CΞ-1.=NXi=1hui，Cuiiξ（λi）。（7.23）另一方面，可以将公式（7.22）的分母改写为TrΞ-1.=NXi=1ξ（λi）！。（7.24）将最后两个方程重新组合后，我们可以重写公式（7.22）asRout（Ξ）=GNXi=1hui，Cuiiξ（λi）NXi=1ξ（λi）！-2.