关于相关随机矩阵特征向量之间的重叠

如果我们用与集合I的观测相关的样本相关矩阵表示，那么我们可以将（34）重写为νcvi=KKX=1Du（）I，Su（）iE，（35），这可以被认为是估计器（33）的平均版本。关键的差异在于与特征向量u（）i和q..相关的观察比率qN/|I与矩阵S相关。因此，我们在选择I的基数时显然有一个作用：选择| I|太大意味着q强烈偏离q..=N/T，而基数太小会导致噪音限制q~ 其中收敛性（33）变得可疑。因此，我们从重写中理解了为什么省略一种情况，即| i|=1，即使在q=N进行平均后，也不会返回最佳值（28）的可靠估计。对于基数|I|的合适值，可以预期| q足够小，以便处于等式（33）的范围内，更重要的是，u（）离ui（q）不太远。在这种情况下，如果样品相互独立，我们将得到νcvi（q）~ νi（q）。（36）对于排序后的10倍CV估计值（蓝色明线），我们在图5中对该结果进行了数值检查，重新考虑了图4中的相同配置。请注意，一个10倍的CV会导致一个大小为|I|=100的“测试”集，这意味着q≈ 0.55，与q的真实值相差不远。我们发现，与最优值的一致性非常好，表明对于| I|的这个特定选择，收敛性（36）成立。为了说明上面讨论的权衡效应，我们还绘制了q=1的2倍CV估计量。

在这种情况下，我们从（34）得到的结果与强度为α=1/（1+2qκ）的线性收缩相当吻合。这表明在（34）中选择K是至关重要的，以便获得（28）的一致估计（参见图5的插图）。0 1 2 3 4 51+α（λi- 1） 0123456νiLimiting（错误强度）2倍CV估计器10倍CV估计器100101102103K0。51.01.52.02.53.0平方误差图。5：主要图表：使用与图4相同的经验对等式（34）进行评估。x轴代表最佳清洁度（α=1/（1+2qκ）），y轴代表从（34）中获得的特征值，用于S的单个实现。蓝色的平面线是排序的10倍CV估计器（|I|=100），红色虚线对应于排序的2倍情况（|I|=500）。我们还提供了强度为α=1/（1+2qκ）的线性收缩，其中q=1对应于|I|=500的情况。插图：我们将（34）的平方误差绘制为S的同一个实现作为K的函数。我们看到最小值在K=10（黄点）处达到。从实用的角度来看，估计器（35）是相当精确的，因为它可以推广到更一般的随机过程类。它提供了一个简单的工具，可以在样本相关矩阵模型之外的高维区域内以极高的精度逼近oracle估计器（28）。从理论的角度来看，为了理解（36）所表达的收敛性，我们还需要做一些工作。事实上，u（）和ui之间的关系，对应于在加法情况下讨论的重叠/相关情况，应该提供一些见解，以确定作为|I|基数函数的收敛结果。此外，研究式（33）中的次级负载项对于理解根据q和q的值发生的相变特别有意义。四、

结论综上所述，我们给出了加性或乘性噪声下大相关随机矩阵特征向量重叠的一般精确公式。值得注意的是，这些结果不需要了解潜在的“纯”矩阵，并且在不同的环境中有广泛的应用。我们发现，交叉样本特征向量重叠提供了关于真实特征值谱结构的前所未有的信息，远远超出了经验谱本身所包含的信息。例如，即使真实的底层相关矩阵非常接近单位矩阵，也可以可靠地估计其光谱的大部分宽度。我们已经用股票收益率关系的例子说明了我们的结果，它清楚地揭示了一个非平凡的整体特征值结构。我们还讨论了矩阵去噪的应用，特别是我们看到，可以利用独立样本之间的重叠来非常精确地近似所谓的oracleestimator。致谢：我们要感谢R.Allez、D.Bartz、R.B\'enichou、R.Chichepatiche、B.Collins、A.Rej、E.S\'eri\'E和D.Ullmo进行了非常有用的讨论。[1] G.Akemann，J.Baik和P.Di Francesco，《牛津随机矩阵理论手册》（牛津大学出版社，2011年）。[2] C.W.比纳克，《现代物理学评论》69731（1997）。[3] J.M.Deutsch，《物理评论》A 432046（1991）。[4] G.Itier和F.Benaych Georges，arXiv预印本XIV:1510.04352（2015）。[5] R.Nandkishore和D.A.Huse，《凝聚态物理年鉴》第6期，第15期（2015年）。[6] J.Eisert，M.Friesdorf和C.Gogolin，《自然物理学》11224（2015）。[7] I.M.Johnstone，《国际数学家大会论文集I》（2007），第307-333页。[8] J-P.Bouchaud和M。

Potters，《牛津随机矩阵理论手册》（牛津大学出版社，2011年）。[9] D.Paul and A.Aue，《统计规划与咨询杂志》第150期，第1期（2014年）。[10] A.M.Tulino和S.Verdèu，通信和信息理论1，1（2004）。[11] R.Couillet，M.Debbah等人，《无线通信的随机矩阵方法》（剑桥大学出版社，马萨诸塞州剑桥，2011年）。[12] R.M.梅，《自然》238413（1972）。[13] Y.V.Fyodorov，《物理评论快报》92240601（2004）。[14] M.威尔金森和P.N.沃克，《物理学杂志A:数学与通则》286143（1995）。[15] O.Ledoit和S.P\'ech\'e，《概率论和相关领域》151233（2011）。[16] R.Allez和J.-P.Bouchaud，《物理评论》E 86046202（2012）。[17] P.Bougade，L.Erd"os，H.-T.Yau和J.Yin，《纯粹数学和应用数学交流》（2015）。[18] R.Allez和J.-P.Bouchaud，《随机矩阵：理论与应用》31450010（2014）。[19] A.Bloemendal，A.Knowles，H.-T.Yau和J.Yin，《概率论和相关领域》第1-94页（2015年）。[20] R.Couillet和F.Benaych Georges，arXiv预印本XIV:1510.03547（2015）。[21]R.Monasson和D.Villamaina，EPL（欧洲物理学通讯）11250001（2015）。[22]J.Bun，R.Allez，J.-P.Bouchaud和M.Potters，arXiv预印本arXiv:1502.06736（2015）。[23]Philippe Biane，量子概率通信11,55（2003）。[24]R.Allez，J.Bun和J.-P.Bouchaud，arXiv预印本十四：1412.7108（2014）。[25]W.James和C.Stein，《第四届伯克利数理统计与概率研讨会论文集》（1961年），第一卷，第361-379页。[26]J.Bun，J.-P.Bouchaud和M.Potters，《物理报告》666，1（2017）。[27]D.Bartz，arXiv预印本arXiv:1611.00798（2016）。[28]N.E.卡鲁伊，《统计年鉴》第2757-2790页（2008年）。[29]Z.Burda、A.G–orlich、A.Jarosz和J。

Jurkiewicz，Physica A：统计力学及其应用343295（2004）。[30]A.Knowles和J.Yin，arXiv预印本arXiv:1410.3516（2014）。[31]T.W.安德森，《数理统计年鉴》第122-148页（1963年）。[32]Z.Burda，J.Jurkiewicz和B.Wac law，Physical ReviewE 71026111（2005）。[33]D.Voiculescu，《发明者数学》104201（1991）。[34]苏黎世大学经济系技术代表O.Ledoit和M.Wolf（2016年）。[35]J.Bun，J.-P.Bouchaud和M.Potters（2016）。[36]D.Bartz和K.-R.M¨uller，《神经信息处理系统的进展》（2014），第1592-1600页。[37]G.Biroli，J.-P.Bouchaud和M.Potters，arXiv预印本XIV:0710.0802（2007）。[38]Z.Burda，J.Jurkiewicz，M.A.Nowak，G.Papp，andI。Zahed，Physica A：统计力学及其应用343694（2004）。[39]N.El Karoui等人，《应用概率年鉴》19，2362（2009）。[40]R.Couillet，F.Pascal和J.W.Silverstein，《多变量分析杂志》139，56（2015）。[41]J.Friedman，T.Hastie和R.Tibshirani，《统计学习的要素》，第一卷（纽约统计学院斯普林格系列，2001年）。[42]从这里开始，上标a表示加性噪声。[43]对加法情况的分析得出了非常相似的结果。更准确地说，用方差σ的WaGOE（独立于W和W）取C=IN+W→0，我们发现Φa（λ，λ）由替换为2qκ的相同公式（26）给出→ σ/σ.[44]请注意，这个问题不会出现在additivecase中，因此可以安全地使用[30]中的浓度结果。[45]这种技术在机器学习中特别有用，我们请读者参考[41，第7.11节]以获得更详细的解释。附录：补充材料。

独立样本协方差矩阵的均方重叠我们保留第II节B的符号，并且在没有混淆的情况下，通常会忽略m和m中的自变量z和z。使用定义m（z）=1/（zζ（z）），我们将（11）改写为ψ（z，~z）~1/m- 1/mg~z~m-~gzm, （A1）相当于ψ（z，~z）~z~zm- ~m【zgm- ~z~g~m]。（A2）然后我们可以将函数ψ表示为m的函数，并且仅表示为：ψ（z，~z）~qqzz（~qz）- q~z）~mm- ~m+（q- ~q）~mm- ~m+m+~mq~z-1.- qzz.（A3）要使用公式（5）的反演公式，我们需要计算ψ（λ）- iη，~λ±iη）。使用简写符号m（λ）=limη→0m（λ）- iη），我们确定η→0[ψ(λ - iη，~λ+iη）- ψ(λ - iη，λ- iη）]~~qλ- q)λq)q)λ)λmh)m- ~mi+~m~mh~m- ~miM- ~mM- ~m+~q- qqqλλmhm- ~miM- ~mM- ~m+ Im，（A4），其中我们省略了虚部的显式表达式，因为这对于等式（5）并不重要。然后，使用表示法m=mR+im和m=~mR+imI，一个findsmhm- ~mi+~m~mh~m- ~mi=2~mi2mI~mR+i（~mR+mR）- 2mRmR）,mh~m- ~mi=2~mi惯性矩- imR, （A5）和M- ~mM- ~m= （mR- ~mR）- （米- ~mI）+2imI（mR- 先生）。（A6）简单的计算结果M- ~mM- ~m=h（mR- ~mR）- （米- ~mI）i+4mI（mR- ~mR），=h（mR）- ~mR）+（mI++mI）ih（mR）- ■mR）+（mI- ■mI）i，（A7）正是（12）中的分母。对于分子，等式（A4）中的元素复分析得出mh~m- ~mi+~m~mh~m- ~mi×M- ~mM- ~m= 4mImIhmR | m|- | mR | m | i，（A8）和MH | m- ~mi×M- ~mM- ~m= 2mImIh | m|- |m | i.（A9）通过将最后三个方程与（A4）中的预因子重新组合，并回顾mI（λ）=πq%（λ）和mI（λ）=πq%（λ），因此我们使用反演公式（5）得到以下结果：Φq，q（λ，λ）=2（qλ- q)λ）m先生|- |m先生|+ （~q）- q）|~m|- |m|λ∧h（mR- ~mR）+（mI++mI）ih（mR）- ■mR）+（mI- ~mI）i（A10），这正是等式（12）。B

变形GOE矩阵的均方重叠两个独立变形GOE的重叠（19）的推导与样本协方差矩阵非常相似。因此，我们将省略通过遵循上述附录的论点可以获得的大部分细节。在没有混淆的情况下，我们将再次跳过参数λ和λ。在第二节C中，我们得到了limη→0ψ(λ - iη，~λ+iη）- ψ(λ - iη，λ- iη）=Gζa-ζa+ ζa~g-~g+ g|ζa-~g~ζaζa- ζaζa- ζa. （B1）通过如上所述（见等式（A4）及其后），我们发现：ζa-ζa+ ζa~g-~g+ g|ζa-~g~ζa=2（ζaI)gI- gISζaI）+iζaI（gR-~gR）-~gI（ζaR）-ζaR）（B2）和ζa- ζaζa- ζa= （ζaR）-ζaR）+ζaI-ζaI+ 2iζaIИζaR- ζaR. （B3）因此，通过将最后两个方程放入（B1）中，然后使用（5），我们在一些简单的计算后得到Φa（λ，＠λ）=（σ+＠σ）（ζaR）-ζaR）+2σσ（gR）-~gR）（ζaR-ζaR）- (σ- ■σ）（（ζaI）- （ζaI）（ζaR）-ζaR）+（ζaI++ζaI）（ζaR）-ζaR）+（ζaI-ζaI）, （B4）经过一些操作后正好是（19）。C.在相关高斯加性噪声的情况下，在本节中，我们给出了具有相关噪声的等式（19）的精确推导。LetS=C+W，~S=C+W，（C1），其中W是两个相关GOE矩阵（独立于C），满足hWiN=0，hWiN=0，Cov（W，W）=σρρσ, （C2）其中，我们用N表示高斯测度，并使用缩写ρ=ρσ。利用Goeender加法的稳定性，让我们重写噪声项asW=A+B，W=A+B，（C3），其中A满足=0，hAiN=ρ，（C4）和独立于A的带通双通矩阵hBiN=0，hBiN=0，hBiN=σ- ρ、 hBiN=σ- ρ、 hBBiN=0。（C5）我们可以检查，这种参数化精确地产生等式（C2）的相关结构。因此，将（C3）转化为（C1），我们就有了等价性（在法律上）S=D+B，~S=D+B，（C6），其中我们定义D..=C+Alaw=C+√ρW，（C7）与方差为σσ的Wa-GOE矩阵。

由于噪声现在是独立的，并且等式（19）中给出的均方重叠Φa与C的确切结构“独立”，因此我们可以用D代替C。因此，我们得出，该模型的重叠将再次由等式（19）给出，σ=σ- ρ、 σ=σ- ρ、 我宣布了。