清理大型相关矩阵：来自随机矩阵理论的工具

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Cleaning large correlation matrices: tools from random matrix theory》
---
作者：
Jo\\\"el Bun, Jean-Philippe Bouchaud and Marc Potters
---
最新提交年份：
2016
---
英文摘要：
  This review covers recent results concerning the estimation of large covariance matrices using tools from Random Matrix Theory (RMT). We introduce several RMT methods and analytical techniques, such as the Replica formalism and Free Probability, with an emphasis on the Marchenko-Pastur equation that provides information on the resolvent of multiplicatively corrupted noisy matrices. Special care is devoted to the statistics of the eigenvectors of the empirical correlation matrix, which turn out to be crucial for many applications. We show in particular how these results can be used to build consistent \"Rotationally Invariant\" estimators (RIE) for large correlation matrices when there is no prior on the structure of the underlying process. The last part of this review is dedicated to some real-world applications within financial markets as a case in point. We establish empirically the efficacy of the RIE framework, which is found to be superior in this case to all previously proposed methods. The case of additively (rather than multiplicatively) corrupted noisy matrices is also dealt with in a special Appendix. Several open problems and interesting technical developments are discussed throughout the paper.
---
中文摘要：
本文综述了使用随机矩阵理论（RMT）工具估计大协方差矩阵的最新结果。我们介绍了几种RMT方法和分析技术，如复制形式主义和自由概率，重点介绍了Marchenko Pastur方程，该方程提供了关于乘性损坏的噪声矩阵的预解的信息。特别注意经验相关矩阵的特征向量的统计，这对于许多应用来说是至关重要的。我们特别展示了当底层过程的结构没有先验知识时，如何利用这些结果为大型相关矩阵构建一致的“旋转不变”估计量（RIE）。本综述的最后一部分以金融市场中的一些实际应用为例。我们从经验上证明了RIE框架的有效性，在这种情况下，该框架优于所有先前提出的方法。附加（而非乘法）损坏的噪声矩阵的情况也在一个特殊的附录中处理。本文讨论了几个开放性问题和有趣的技术发展。
---
分类信息：

一级分类：Physics        物理学
二级分类：Statistical Mechanics        统计力学
分类描述：Phase transitions, thermodynamics, field theory, non-equilibrium phenomena, renormalization group and scaling, integrable models, turbulence
相变，热力学，场论，非平衡现象，重整化群和标度，可积模型，湍流
--
一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
--> Cleaning_large_correlation_matrices:_tools_from_random_matrix_theory.pdf (6.73 MB)

2022-6-13 21:51:46 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：矩阵理论 相关矩阵 Applications Multivariate Eigenvectors

清理大型相关矩阵：随机矩阵工具Theoryjo–el BunCapital Fund Management，23–25，rue de l\'Universit\'e，75 007 ParisLPTM，CNRS，Univ.Paris Sud，Universit\'e Paris Saclay，91405 Orsay，FranceJean Philippe Bouchaud，Marc Potterscatal Fund Management，23–25，rue de l\'Universit\'e，75 007 ParisAbstract本综述涵盖了使用随机矩阵理论（RMT）工具估计大型协方差矩阵的最新结果。我们介绍了几种RMT方法和分析技术，如复制形式主义和自由概率，重点介绍了Marˇcenkopasur方程，该方程提供了关于乘性损坏的噪声矩阵的预解的信息。特别注意的是经验相关矩阵的特征向量的统计，这对于许多应用是至关重要的。我们特别展示了当底层过程的结构没有先验知识时，如何利用这些结果为大型相关矩阵构建一致的“旋转不变”估计量（RIE）。本综述的最后一部分以金融市场中的一些实际应用为例。我们从经验上证明了RIE框架的有效性，在这种情况下，该框架优于所有先前提出的方法。附加（而非乘法）损坏的噪声矩阵的情况也在一个特殊的附录中讨论。本文讨论了几个悬而未决的问题和有趣的技术发展。关键词：随机矩阵理论、高维统计、相关矩阵、谱分解、旋转不变估计内容1简介51.1动机。51.2历史调查。

71.3大纲。10电子邮件地址：joel。bun@gmail.com（Jo¨el Bun），jean-philippe。bouchaud@cfm.fr（Jean-PhilippeBouchaud），马克。potters@cfm.fr（Marc Potters）预印本提交给《物理报告》20162年10月27日随机矩阵理论：概述和分析工具132.1 RMT简而言之。132.1.1大维随机矩阵。132.1.2各种RMT转换。152.2库仑气体模拟。192.2.1 Stieltjes变换和势函数。192.2.2维格纳半圆定律。222.2.3《马钦科牧场法》。232.2.4逆Wishart矩阵。252.3自由概率。272.3.1自由度。272.3.2自由矩阵和。282.3.3自由矩阵的乘积。302.4副本分析。312.4.1解决方案和副本技巧。312.4.2使用副本的矩阵乘法。332.4.3自由乘法：复制鞍点分析。

353大型经验协方差矩阵谱373.1样本协方差矩阵。373.1.1舞台布置。373.1.2零均值假设。393.1.3数据条目的分布。393.2批量统计。403.2.1 Marˇcenko Pastur方程。403.2.2样本协方差矩阵的谱统计。413.2.3频谱的双重表示和边缘。433.2.4求解Marˇcenko Pastur方程。443.3边缘和异常值统计。493.3.1特蕾西-维多姆地区。493.3.2异常值统计。514特征向量的统计544.1存在噪声时的渐近特征向量变形。554.1.1散装。564.1.2异常值。584.1.3身份的推导（4.12）。604.2相关样本协方差矩阵的特征向量之间的重叠。625贝叶斯随机矩阵理论685.1贝叶斯最优推理：一些基本结果。685.1.1后验概率分布和联合概率分布。

685.1.2贝叶斯推理。705.2设置贝叶斯框架。715.3共轭先验估计。715.4旋转不变先验估计。746一般协方差矩阵的最优旋转不变估计786.1 Oracle估计。786.2最优RIE的显式形式。796.2.1散装。796.2.2异常值。796.3“清洁”特征值的一些性质。816.4一些分析示例。846.4.1无效假设。846.4.2重新审视线性收缩。846.5工作中的最佳RIE。866.6自由乘法模型的扩展。887应用：马科维茨投资组合理论和以前的“清理”方案917.1马科维茨最优投资组合理论。917.1.1预测和实现的风险。927.1.2高维随机预测器的情况。937.1.3样本外风险最小化。

957.1.4逆Wishart先验的最佳样本内外风险。977.2对以往清洗方案的简要回顾。997.2.1线性收缩。1007.2.2特征值剪裁。1017.2.3特征值替换。1027.3因子模型。1058数值实现和经验结果1088.1最优RIE（6.26）的有限N正则化。1088.1.1为什么存在小特征值问题。1088.1.2规范经验RIE（6.26）。1098.1.3量化特征值采样变换（QuEST）。1118.1.4实证研究。1138.2优化投资组合的最优RIE和样本外风险。1168.3样本外风险最小化。1208.4平稳性假设测试。1238.4.1合成数据。1248.4.2财务数据。1249结论与展望1299.1对协方差矩阵更一般模型的扩展。1299.2奇异值分解。1309.3估计特征向量。

1329.4 q>1的清洁配方。1329.5相关Wishart矩阵的布朗运动模型。13310参考文献135A Harish Chandra–Itzykson-Zuber积分146A。1定义和结果。146A。2秩1情况下（A.5）的推导。147B线性代数149B的提醒。1 Schur补码。149B年。2矩阵恒等式。149B年。3预解身份。150C格林函数的自洽关系和中心极限定理151C。1维格纳矩阵。151C。2样本协方差矩阵。152D加性噪声模型155D。1高斯外部噪声。155D。1.1 Schur补码参数。155D。1.2戴森-布朗运动。156D。2任意旋转不变噪声的推广。158D。2.1自由加成公式的初等推导。158D。2.2（D.1）的渐近预解。160天。3叠加和最佳RIE公式。160天。3.1均方重叠。160天。3.2最佳RIE。

161E公约、符号和缩写1641。引言1.1。动机。在当前的“大数据”时代，需要新的统计方法来破译目前几乎在所有领域都常规生成的大维度数据集——仅举几例——物理学、图像分析、基因组学、流行病学、工程学、经济学和金融。很自然地，我们会试图找出解释N数量联合动力学的共同原因（或因素）。这些数量可能是标准普尔500指数不同股票的每日收益、全球不同地区的温度变化、单个谷物在袋装颗粒介质中的速度，或不同人群的生物指标（血压、胆固醇等）。，等。量化这些观测值之间相似性的最简单数学对象是N×N相关矩阵C。其特征值和特征向量可用于表征最重要的常见动力学“模式”，即方差最大的原始变量的线性组合。这就是众所周知的“主成分分析”（PCA）方法。更正式地说，让我们用y表示∈ RN被认为表现出某种程度的相互依赖性的一组被贬低和标准化的变量。然后，量化这些变量之间潜在相互作用网络的一种可能方法是通过标准皮尔逊相关性：Cij=Eyiyj公司, i、 j∈ [[1，N]]，（1.1）在下文中，我们将矩阵C称为总体相关矩阵。实践中的主要关注点是，（1.1）中的期望值很少能够精确计算，因为向量y的基本分布未知，人们很难确定。

从经验上看，人们试图通过收集这N个变量的大量T实现来推断矩阵C，这N个变量定义了输入样本数据矩阵Y=（Y，Y，…，yT）∈ RN×T。然后，在大量实现T的情况下，估计C的一个诱人的解决方案是计算样本相关矩阵估计量E，定义为：Eij=TTXt=1YitYjt≡T（YY*)ij，（1.2）其中，yit是在“时间”t（t=1，…，t）实现第i个可观测值（i=1，…，N），将在下文中假设该值被降级和标准化（见之前的脚注）。事实上，在N T，众所周知，使用经典多元统计的结果，E收敛（几乎肯定）到C[1]。然而，当N较大时，所有N（N）的同时估计- 1） /2当观测值的总数T与N本身相比不是很大时，C的元素——或者实际上只是其N个特征值的元素——就成了问题。在股票收益率的例子中，T是抽样数据中的总交易日数；但在biologicalexample中，T将是总体样本的大小等。因此，在现代高维统计框架中，经验相关矩阵E（即根据给定的实现计算）必须与基础统计过程的“真实”相关矩阵C（甚至可能没有很好定义）仔细区分。

事实上，本综述的重点是描述E和C之间的差异，并讨论在N和T变得非常大的情况下，利用E的知识重建C的效果如何（或情况如何），但这种显然无害的假设将在第3章中讨论。它们的比值q=N/T不为零；这通常被称为大尺寸极限（LDL），或称为“Kolmogorov状态”。在许多情况下，高维协方差矩阵的估计至关重要。让我们给出一些著名的例子：（i）广义最小二乘法（GLS）：假设我们尝试使用线性模型y=Xβ+ε来解释向量y，（1.3），其中X是一个N×k设计矩阵（k>1），β表示这些kfactors的回归系数，ε表示残差。通常，人们会试图找到最能解释数据的β，而这正是GLS的目的。假设E[ε| X]=0，V[ε| X]=C为残差的协方差矩阵。然后，GLS估计βas（参见[2]了解更详细的讨论）：bβ=（X*CX）-1台*C-1年。（1.4）我们将在第7节中调查该估算值。（ii）广义矩量法（GMM）：假设要在某些数据集上校准模型的参数Θ。其思想是计算数据的一组K函数（广义矩）的经验平均值，对于参数的正确值，这些函数都应为零，即Θ=Θ。使用这些函数的协方差测量到零的距离。该k×k协方差矩阵的精确测量提高了GMM的效率–见【3】。