关于最优线性收缩估计的强收敛性

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《On the Strong Convergence of the Optimal Linear Shrinkage Estimator for
  Large Dimensional Covariance Matrix》
---
作者：
Taras Bodnar, Arjun K. Gupta and Nestor Parolya
---
最新提交年份：
2014
---
英文摘要：
  In this work we construct an optimal linear shrinkage estimator for the covariance matrix in high dimensions. The recent results from the random matrix theory allow us to find the asymptotic deterministic equivalents of the optimal shrinkage intensities and estimate them consistently. The developed distribution-free estimators obey almost surely the smallest Frobenius loss over all linear shrinkage estimators for the covariance matrix. The case we consider includes the number of variables $p\\rightarrow\\infty$ and the sample size $n\\rightarrow\\infty$ so that $p/n\\rightarrow c\\in (0, +\\infty)$. Additionally, we prove that the Frobenius norm of the sample covariance matrix tends almost surely to a deterministic quantity which can be consistently estimated.
---
中文摘要：
本文构造了高维协方差矩阵的最优线性收缩估计。通过确定性收缩理论和最近的随机收缩理论，我们可以一致地找到它们的最佳等效值。在协方差矩阵的所有线性收缩估计中，所发展的无分布估计几乎肯定服从最小的Frobenius损失。我们考虑的情况包括变量数量$p\\rightarrow\\infty$和样本大小$n\\rightarrow\\infty$，因此$p/n\\rightarrow c\\在（0，+\\infty）$中。此外，我们还证明了样本协方差矩阵的Frobenius范数几乎肯定趋向于一个可以一致估计的确定量。
---
分类信息：

一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Mathematics        数学
二级分类：Probability        概率
分类描述：Theory and applications of probability and stochastic processes: e.g. central limit theorems, large deviations, stochastic differential equations, models from statistical mechanics, queuing theory
概率论与随机过程的理论与应用：例如中心极限定理，大偏差，随机微分方程，统计力学模型，排队论
--
一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
--> On_the_Strong_Convergence_of_the_Optimal_Linear_Shrinkage_Estimator_for_Large_Di.pdf (586.46 KB)

2022-4-29 17:07:55 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Applications Econophysics distribution Quantitative Multivariate

关于大维协方差矩阵最优线性收缩估计的强收敛性*塔拉斯·博德纳拉，阿尔琼·K·古普塔布，*, Nestor Parolyacade数学系，柏林洪堡大学，D-10099柏林，德国B伯林格林州立大学，伯林格林，俄亥俄州伯林格林，43403，美国实证金融研究所（计量经济学），汉诺威莱布尼茨大学，30167，在这项工作中，我们构造了高维协方差矩阵的最优线性收缩估计。随机矩阵理论的最新结果使我们能够找到最佳收缩强度的渐近确定性等价物，并对其进行一致性估计。在协方差矩阵的所有线性收缩估计中，所发展的无分布估计几乎肯定服从最小的Frobenius lossov。我们考虑的情况包括变量p的数量→ ∞ 样本量为n→ ∞所以p/n→ C∈ (0, +∞). 此外，我们还证明了样本协方差矩阵的Frobenius范数几乎肯定趋向于一个可以一致估计的确定量。关键词：大维渐近性，随机矩阵理论，协方差矩阵估计。2010年理学硕士：60B20、62H12、62G20、62G301。引言如今，协方差矩阵的估计不仅是统计学中最重要的问题之一，也是金融、无线通信领域中最重要的问题之一*通讯作者：阿尔琼·K·古普塔。电子邮件地址：gupta@bgsu.edu.电话：（419）372-2820。传真：（419）372-6092。预印本提交给《多元分析杂志》2018年7月5日通信、生物学等。只有当维度p远小于样本量n时，协方差矩阵的传统估计值，即其样本对应值，似乎才是一个好的决定。这种情况被称为“标准渐近”（见Le Cam和Yang（2000））。

本文证明了样本协方差矩阵是协方差矩阵的无偏一致估计。当p与n可比时，会出现更多问题，即维数p和样本量n都趋于一致，而它们的p/n趋于正常数c。这被称为“大维数符号”或“科尔莫戈罗夫渐近”（参见B–uhlmann和vande Geer（2011）、蔡和沈（2011））。Girko（1990年、1995年）对这类渐近性进行了深入研究，并将其称为“一般统计分析”。关于样本协方差矩阵的泛函在大维渐近下的渐近行为，人们做了大量的研究（参见Girko和Gupta（1994，1996a，1996b），Bai和Silverstein（2010））。在协方差矩阵具有特殊结构的情况下，有一些显著的改进，例如稀疏、低秩等（参见Cai等人（2011）、Rohde and Tsybakov（2011）、Cai and Yuan（2012）、Cai and Zhou（2012）等）。Fan等人（2008）研究了基本随机过程服从因子结构的情况。在这些情况下，即使在高维情况下，也可以一致地估计协方差矩阵。

在没有关于协方差矩阵结构的附加信息的情况下，这个问题到目前为止还没有被详细研究过。例外情况是Ledoit和Wolf（2004）的论文，其中提出了一个线性收缩估计量，它在二次平均中具有最小的Frobenius损失。Macenko and Pastur（1967）、Yin（1986）、Silverstein（1995）、Bai等人（2007）、Bai and Silverstein（2010）使用大维渐近性研究了一般随机矩阵特征值的渐近行为。他们发现适当变换的随机矩阵本质上是一种非随机行为，并展示了如何找到其特征值的极限密度。特别是Silverstein（1995）在非常一般的条件下证明了样本协方差矩阵的Stieltjes变换必然趋向于满足某个方程的非随机函数。该方程首先由马岑科和帕斯托（1967）推导而来，他们展示了真实协方差矩阵及其样本估计在本质上的联系。在我们的工作中，我们使用这个结果一致地估计协方差矩阵的泛函。在这项工作中，我们专注于某些类型的估计量，即收缩估计量。Stein（1956年）引入了收缩率估计器。它们被构造为样本估计量和一些已知目标的线性组合。这些估计器具有显著的特性：它们是有偏差的，但可以显著降低估计器的均方误差。在大尺寸和小尺寸情况下，很难找到所谓收缩强度的一致估计值。在这种情况下，Ledoit和Wolf（2004）在目标矩阵为恒等式时取得了进展，并为协方差矩阵找到了一个可行的线性收缩估计量，该估计量在平方均值意义上是最优的。

对于协方差矩阵，该估计比样本估计和其他已知估计具有显著优势。Ledoit and Wolf（2004）提出的线性收缩在方差矩阵的特征值不分散和/或浓度比c较大的情况下表现出最好的性能。在本文中，我们扩展了Ledoit和Wolf（2004）的工作，为一个大维方差矩阵构造了一个更一般的线性收缩估计。这里的目标矩阵被认为是具有一致有界迹范数的任意对称正定义矩阵。利用随机矩阵理论，我们证明了最佳收缩强度在本质上是非随机的，找到它们的渐近确定性等价物，并一致地估计它们。此外，我们还证明了协方差矩阵的Frobeniunsorm趋向于一个确定性量，因此可以一致地进行估计。当维数p和样本量p和p/n同时增加时，所得估计几乎肯定服从最小的Frobenius损失→ C∈ (0, ∞) 作为n→ ∞.论文的其余部分组织如下。在第二节中，我们给出了随机矩阵理论的初步结果，这些结果用于定理的证明。第3节包含oracle线性收缩估计和样本协方差矩阵的收缩强度和弗罗比纽斯范数的主要渐近结果。在第4节中，我们给出了协方差矩阵的bona fide线性收缩估计量，并与著名的Ledoit和Wolf（2004）估计量进行了简短的比较。第5节提供了实证研究的结果，而第6节总结了本文的所有主要结果。定理的证明被移到附录中。2.

初步结果和大维渐近根据“大维渐近”或“Kolmogorov渐近”可以理解为→ C∈ (0, +∞) 其中变量的数量p≡ p（n）和样本量n都趋于一致。在这种情况下，传统的样本估计器的性能很差或非常差，并且倾向于过度/低估人口协方差矩阵。在本文中，我们使用以下符号：o∑nstands表示协方差矩阵，SN表示相应的样本协方差矩阵i=1的对（τi，νi，p是特征值的集合，协方差矩阵∑n的相应正交特征向量。oHn（t）是∑n的特征值的经验分布函数（e.d.f.），即Hn（t）=ppXi=1{τi<t}（2.1），其中{·}是指示函数。o设Xnbe是一个p×n矩阵，由独立同分布（i.i.d.）实随机变量组成，其均值和单位方差为零，使得yn=∑nXn。（2.2）在推导主要结果时，使用了以下五个假设。（A1）总体协方差矩阵∑是一个非随机p维正定义矩阵。（A2）只有矩阵是可见的。我们既不知道xnn也不知道∑nitself。（A3）我们假设Hn（t）在H的所有连续点上收敛到某个极限H（t）。（A4）矩阵的元素Xn具有顺序为4+ε，ε>0的一致有界矩。（A5）协方差矩阵的最大特征值∑nis在O阶的最大值(√p） 。此外，我们假设只有有限个特征值的阶数可以依赖于p。这些假设（A1）-（A3）对于证明Marchenko Pasturequation（参见，例如Silverstein（1995））很重要，并且它们在大维渐近中是标准的（参见，例如，Bai和Silverstein（2010））。

特别地，关于极限总体谱函数H（t）存在的假设（A3）也是非常普遍的，因为H（t）的支撑可能是无界的和非紧的。证明需要假设（A4）。这一假设比Ledoitand Wolf（2004）为类似目的使用的相应假设要弱得多，即第八矩的存在。假设（A5）确保协方差矩阵可能有一对非常大的特征值。事实上，这是实际相关的，具有协方差矩阵无界特征值的模型的一个很好的例子是因子模型（见Bai（2003），Bai和Ng（2002），Fan等人（2013））。此外，即使数据的结构更复杂，且不存在factormodel，我们仍在拟议的理论假设（A1）-（A5）范围内。最后，我们不对基础数据生成过程施加任何特定分布的假设，如果样本协方差矩阵是奇异的，即如果样本大小n大于维度p，则所提出的框架也适用。因此，假设（A1）-（A5）足够普遍，足以涵盖许多实际情况。设（λi，ui）为i=1，p表示样本协方差矩阵的特征值集和相应的正交特征向量xsn=nynynn=n∑nXnXn∑n.（2.3），类似于样本协方差矩阵sni定义的（e.d.f.）的（2.1）（λ）=ppXi=1{λi<λ}，λ∈R.（2.4）研究（e.d.f）Fn（λ）的渐近性的最有力工具是斯蒂尔杰斯变换。

对于具有boundedIt的非减量函数G，必须注意的是，由于1秩矩阵“x”x不影响样本协方差矩阵谱的渐近行为，因此忽略了样本平均向量（见Bai和Silverstein（2010），定理a.44）。Stieltjes变换的变化定义如下：Z∈C+mG（z）=+∞Z-∞λ -zd（λ）。（2.5）在我们的符号中sc+={z∈C:Im（z）>0}是具有严格正虚部的复数的半平面，任何复数都由z=Re（z）+iIm（z）给出，其中Re（z）和Im（z）分别是实部和虚部。Stieltjes变换及其对大维随机矩阵谱行为的重要性在Alverstein（2009）中进行了详细讨论。尽管如此，z∈C+样本（e.d.f.）Fn（λ）的斯蒂尔杰斯变换给定为nbymfn（z）=ppXi=1+∞Z-∞λ -zδ（λ）- λi）dλ=ptr{（Sn）- (子)-1} ，（2.6）其中I是一个合适的单位矩阵，tr（·）是矩阵的迹，δ（·）是狄拉克δ函数。Marcenko and Pastur（1967）证明了（e.d.f.）Fn（λ）最确定地（a.s.）收敛到非随机极限f（λ）。此外，他们还导出了一个方程，即所谓的Marcenko Pastur（MP）方程，该方程显示了F（λ）和H（τ）在本质上的联系。在更一般的条件下，几位作者考虑了MP方程（参见，Yin（1986）、Silverstein和Choi（1995）以及Silverstein和Bai（1995））。Silverstein（1995）提出了最一般的情况，其中在非常一般的条件下建立了强收敛性。为了便于说明，我们在定理2.1中总结了这个结果。定理2.1。[Silverstein（1995）]假设假设（A1）-（A3）满足公共概率空间和Pn→ C∈ (0, +∞) 作为n→∞. 然后Fn（t）a.s。=> F（t）as n→ ∞.

此外，Fs的Stieltjes变换满足以下等式Mf（z）=+∞Z-∞τ(1 - C- czmF（z））- zdH（τ），（2.7），即mF（z）是（2.7）对所有z的唯一解∈C+。MP方程（2.7）在几个受限情况下具有封闭形式的解。著名的Marcenko Pastur定律仅在协方差矩阵∑为单位矩阵的倍数时出现，即∑n=σi.3。协方差矩阵的最优收缩估计本节我们构造了高维渐近下协方差矩阵的最优收缩估计。这个估计器只有一个，也就是说，它依赖于未知量。第4节给出了相应的资产估值。请注意，Ledoit和Wolf（2004）的线性收缩估计仅在二次平均值中具有最小的Frobenius损失。因此，构造一个几乎确定弗罗贝尼乌斯损失最小的估计量将是一个巨大的优势。协方差矩阵的一般线性收缩估计（GLSE）由b∑GLSE=αnSn+βn∑和|∑| | tr给出≤ M（3.1）当对称正定义矩阵∑具有有界迹范数时，即存在M>0，使得supn |∑| | tr=supntr（∑）≤ M.我们对收缩强度α和βN不做任何假设，这是我们感兴趣的对象。由于收缩强度是主要研究对象，且∑是固定的，因此出现了如何选择该目标矩阵的问题。它可能取决于基础数据以及应用协方差矩阵收缩估计的科学分支，即无线通信、金融等。另一方面，从贝叶斯统计的角度来看，∑可以解释为先验分布的超参数。关于目标矩阵∑的选择，可以找到有用的意见。G

在《白与石》（2011年）、莱多特与沃尔夫（2004年）中。目的是找到最佳收缩强度α和βn，使给定非随机目标矩阵∑expressedasLF=| | b∑GLSE的弗罗贝尼乌斯范数最小化- ∑n | | F=|∑n | | F+| b∑GLSE | F- 2tr（b∑GLSE∑n）。（3.2）因此，使用（3.1）我们想要解决以下优化问题lf=αn | | Sn | | F+2αnβntr（Sn∑）+βn |∑| F（3.3）-2αntr（Sn∑n）- 2βntr（∑n∑）-→ Min关于α和βn。将lf关于α和βn的导数设为零，我们得到如果αn=αn | | Sn | F+βntr（Sn∑）- tr（Sn∑n）=0，（3.4）如果βn=αntr（Sn∑）+βn | |∑F- tr（n∑）=0。（3.5）LF的黑森人拥有=||Sn | | Ftr（Sn∑）tr（Sn∑）|∑| F. （3.6）从以下不等式可以看出，海森矩阵H始终是正定义的：det（H）=| | Sn | | F |∑| | F- （tr（Sn∑）≥ ||Sn | | F |∑F- ||锡||∞（tr∑）詹森≥ （| | Sn | | F）- ||锡||∞)||∑| | F>0，（3.7）式中| | Sn||∞表示谱范数（矩阵Sn最大特征值的平方根）。（3.7）中的最后一个不平等是众所周知的（例如，见Goluband Van Loan（1996））。从方程（3.4）和（3.5）中，很容易找到最佳收缩强度α*nandβ*nasα*n=tr（Sn∑n）|∑| F- tr（n∑）tr（Sn∑）| | Sn | | F | |∑| F-tr（Sn∑）, (3.8)β*n=tr（∑n∑）| | Sn | F- tr（Sn∑n）tr（Sn∑）| | Sn | | F | |∑| F-tr（Sn∑）. （3.9）接下来，我们考虑数量（3.8）和（3.9）的渐近行为，即寻找它们的渐近等价物。回想一下，随机变量序列ξ被称为渐近等价于非随机序列ξnwhenξn- ξn-→ 0 a.s.代表n→ ∞. （3.10）注意，有必要知道量| | Sn | F，tr（Sn∑n）和tr（Sn∑n）的渐近等价物。不难找到最后两个量的渐近等价物。这是在定理3.2中完成的。