高维均值向量的最优收缩估计

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Optimal Shrinkage Estimator for High-Dimensional Mean Vector》
---
作者：
Taras Bodnar, Ostap Okhrin, Nestor Parolya
---
最新提交年份：
2018
---
英文摘要：
  In this paper we derive the optimal linear shrinkage estimator for the high-dimensional mean vector using random matrix theory. The results are obtained under the assumption that both the dimension $p$ and the sample size $n$ tend to infinity in such a way that $p/n \\to c\\in(0,\\infty)$. Under weak conditions imposed on the underlying data generating mechanism, we find the asymptotic equivalents to the optimal shrinkage intensities and estimate them consistently. The proposed nonparametric estimator for the high-dimensional mean vector has a simple structure and is proven to minimize asymptotically, with probability $1$, the quadratic loss when $c\\in(0,1)$. When $c\\in(1, \\infty)$ we modify the estimator by using a feasible estimator for the precision covariance matrix. To this end, an exhaustive simulation study and an application to real data are provided where the proposed estimator is compared with known benchmarks from the literature. It turns out that the existing estimators of the mean vector, including the new proposal, converge to the sample mean vector when the true mean vector has an unbounded Euclidean norm.
---
中文摘要：
本文利用随机矩阵理论推导了高维均值向量的最优线性收缩估计。结果是在假设维度$p$和样本量$n$都趋于无穷大的情况下得到的，这样一来，$p/n到c在（0，infty）$。在对底层数据生成机制施加弱条件的情况下，我们找到了最优收缩强度的渐近等价物，并一致地估计了它们。本文提出的高维均值向量的非参数估计具有简单的结构，并且在概率为$1$的情况下，证明了当$c在（0,1）$时，该估计可以渐近地最小化二次损失。当（1，infty）$中的$c时，我们通过使用精度协方差矩阵的可行估计来修改估计量。为此，本文进行了详尽的模拟研究，并将所提出的估计量与文献中的已知基准进行了比较。结果表明，当真平均向量具有无界欧氏范数时，现有的平均向量估计量（包括新建议）收敛到样本平均向量。
---
分类信息：

一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
--> Optimal_Shrinkage_Estimator_for_High-Dimensional_Mean_Vector.pdf (753.52 KB)

2022-5-26 21:41:33 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：均值向量 Multivariate Econophysics Quantitative Applications

他们提出了所谓的正部分型James-Stein估计量，并通过模拟表明它支配着高维James-Stein估计量*相应的authorEmail地址：taras。bodnar@math.su.se（Taras Bodnar）预印本提交给J.Multivariate Anal。2018年7月17日不变损失下的估计量。Wang等人[45]通过最小化预期的二次损失，考虑了单位向量的最优收缩估计量。然而，他们的估计量在大维度上需要计算，因为它涉及非平凡和。然后，他们建议在实践中使用估计量的极限形式。本文通过使用随机矩阵理论推导最优收缩估计量（针对任何固定目标），为位置参数估计的文献做出贡献。新的估计数依赖于比常用的假设更弱的假设。我们证明了它的渐近正态性，推导了它的极限行为，并通过仿真表明，它在二次损失函数和计算时间方面都优于基准方法。本文的结构如下。第2节介绍了均值向量的最优收缩估计量，其中证明了其渐近等价于非随机量且在极限处为高斯。在第3节中，我们提供了一个可靠的估计量，并研究了它的渐近行为。第4节讨论了模拟研究中使用的基准程序，其结果在第5节中报告。财务应用见第6节，结论见第7节。技术推导被归入附录。2、均值向量的最优收缩估计在这一节中，我们构造了大维渐近下均值向量的最优收缩估计。设yn是在时间点1，…，观察到的p维随机向量的p×n矩阵，n

yn每列的平均向量用un表示，而∑nstands表示其协方差矩阵。在大维渐近范式下，维度p和样本量n都趋于一致，p/n→ c∈ （0，∞) asn公司→ ∞. 因此，在不丧失普遍性的情况下，很自然地假设p≡ p（n）是n的函数。随后，我们假设观测矩阵在分布上等于ynd=∑1/2nXn+un>n，（1）其中p×n矩阵xn包含具有零均值和单位方差的iid随机变量，而1nis是1s的n维向量。只有矩阵yn是可见的。Xnnor∑nw和unar均未知。必须注意的是，观测矩阵yn有依赖行，但有独立列。通过控制依赖项数量的增长，可以进一步将施加在其列上的独立假设减弱为XNB的依赖元素，而它们的联合分布可以是任意的；见【29】。因此，独立性假设仅在下文中用于技术方便。接下来，我们提出了本文中使用的主要假设。（A1）存在λ>0，使得λ≤ λmin（∑n）在p上一致，其中λmin（A）表示方阵A的最小特征值。类似地，A的最大特征值由λmax（A）表示。（A2）存在常数γ>0，M`>0，Mu>0，使得limp→∞p-γ| |un | |=M `和跛行→∞p-γ| |u| |=Mwith0<M`≤ M、 M级`≤ Mu<∞. 这里，u表示目标平均向量。（A3）对于某些ε>0，矩阵元素Xnhave一致有界2+ε矩。所有这些规律性假设都是非常普遍的，并且适用于许多实际情况。假设（A1）控制总体协方差矩阵最小特征值的行为。值得注意的是，没有对∑n的最大特征值施加任何条件，随着p变大，最大特征值也可能增加到完整性。

这尤其允许我们将结果应用于高维因子模型，这在经济学和金融学中非常流行；例如，参见[4、5、12、17、23、24、25]。通过对真协方差矩阵∑nlike锥化的结构假设，避免了∑ncan最小特征值下界的假设；见【16】。本文假设所有特征值都是严格正的。未知平均向量u和目标向量u的范数增加通过假设（A2）进行监控，假设（A2）只要求它们具有相同的顺序。最后，假设（A3）是技术性的，在某些情况下可以放宽；参见【39】。平均向量unis的一般线性收缩估计量由uGS E=αn'yn+βnu给出，（2），其中'yn=n-1样本平均向量的ynnstands。目标向量u也可以是随机的，但与实际信息集Yn无关。目的是找到最佳收缩强度，以最小化给定目标向量u的二次损失，表示为l=| |∑-1/2n（uGS E）- un）| |=（uGS E- un）>∑-1n（uGS E）- un）。（2）的应用导致以下优化问题：minαn，βnαn'y>n∑-1n'yn+βnu>∑-1nu+2αnβn'y>n∑-1nu- 2αn'y>n∑-1nun- 2βnu>n∑-1nu。取L对α和β的导数，将它们设为零，我们得到αnL=αn'y>n∑-1n’yn+βn’y>n∑-1nu-\'y>n∑-1nun=0，βnL=βnu>∑-1nu+αn'y>n∑-1nu- u>n∑-1nu=0。L的Hessian由H给出=\'y>n∑-1n’yn’y>n∑-1nu′y>n∑-1nu>∑-1nu,这是一个概率为1的正定义矩阵，因为y>n∑-1n？yn>0，概率为1，det（H）=？y>n∑-1n？ynu>∑-1nu- （\'y>n∑）-1nu）>0（3），概率为1，应用于向量的Cauchy–Schwarz不等式∑-1/2n'ynand∑-1/2nu。

因此，最佳收缩强度由α给出*n=α*n（\'yn，∑n，un，u）=\'y>n∑-1nunu>∑-1nu- u>n∑-1nu′y>n∑-1nu′y>n∑-1n？ynu>∑-1nu- （\'y>n∑）-1nu），β*n=β*n（\'yn，∑n，un，u）=\'y>n∑-1n？ynu>n∑-1nu-\'y>n∑-1nu′y>n∑-1nun'y>n∑-1n？ynu>∑-1nu- （\'y>n∑）-1nu）。在定理1中，我们证明了最佳收缩强度α*nandβ*nare几乎肯定渐近等价于非随机量α*和β*在大维渐近p／n下→ c∈ （0，∞) 作为n→ ∞.定理1。假设（A1）–（A3）保持不变。然后|α*n- α*|a、 s。→ 0和|β*n- β*|a、 s。→ 0表示p/n→ c>0为n→ ∞, 其中α*= α*（σn，un，u）=u>n∑-1nunu>∑-1nu- （u>n∑）-1nu）（c+u>n∑-1nun）u>∑-1nu- （u>n∑）-1nu），（4）β*= β*（∑n，un，u）=（1- α*)u>n∑-1nu>∑-1nu。（5） 注意α*∈ （0，1）由于不等式（3）。此外，利用定理1的结果，我们可以估计α*和β*至少对于c一致∈ （0，1），如下面的定理3所示。值得注意的是，提议的程序与Wang等人[45]提出的程序非常不同，Wang等人将预期的二次损失和估计的最佳收缩强度降至最低。虽然他们找到了概率收敛的最优收缩强度的估计量，但我们的目标是构造几乎肯定收敛的一致估计量。值得指出的是以下几点。备注1。具有相同γs的技术假设（A2）是关键。如果该条件失效，即存在γ和γ，使得跛行→∞p-γ| |un | |=M `和跛行→∞p-γ| |u| |=Mw，0<M`≤ M、 M级`≤ Mu<∞, 然后从β的表达*分子的速率为γ+（γ+γ）/2，而分母的速率为γ+γ。因此，如果γ，γ，那么β*不适用。s→0表示n-1便士→ c>0为n→ ∞ 如果γ<γ，∞ 对于n-1便士→ c>0为n→ ∞ 如果γ>γ。设c=p-γc，qi j=p-γu>i∑-1nuj，对于i，j∈ {0，n}和d=qqnn- q0n。

在定理2中，我们证明了α*nandβ*nare在大维渐近区域下渐近高斯。必须注意的是，正规化假设仅用于定理2和4，而第二（四）矩的存在仅用于我们的其余结果。定理2。假设（A1）–（A2），并让Xnbe标准的元素正态分布。然后√pγnσ-1α（α*n- α*)   N（0，1），√pγnσ-1β（β*n- β*)   N（0，1），对于p/N→ c>0为n→ ∞, 其中σα={（▄cq- d） qd+~cdq}（~cq+d）-4和σβ=（~cq+d）{（d）- cq）q0nqnn+（cq0n）- cd- dqnn）q+~cdq0n+2（~cq0n）- cd- dqnn）（d- cq）q0n}。3、Bonafide估值器本节给出了α的一致估值器*和β*, i、 e.，对于最优收缩估计量α的确定等效量*nandβ*n、 我们用^α表示*和^β*. 该程序允许我们构建未知收缩强度的可靠估计量。利用随机矩阵理论的最新结果，我们进一步证明了^α*和^β*一致且渐近正态分布。LetSn=n-1（Yn-\'\'yn>n）（yn-(R)yn>n）>=n-1YnY>n-“yn”y>nbe样本协方差矩阵。在下面的定理3中，我们给出了α的一致估计*和β*在大维渐近下。定理3。假设（A1）–（A2），并让XnPosses的元素一致有界于ε>0的4+ε矩。α的一致估计*和β*由^α给出*= ^α*（\'yn，Sn，u）={y>nS-1n英寸- p/（n）- p） }u>S-1nu- （(R)y>nS-1nu）(R)y>nS-1n？ynu>S-1nu- （(R)y>nS-1nu），（6）^β*=^β*（(R)yn，Sn，u）=（1- ^α*)y>nS-1nu>S-1nu。（7） 其次，我们证明了收缩强度的一致估计是渐近正态分布的。这一结果是在附加条件下研究的，附加条件是Xn的条目分布，其被假定为标准正态分布。定理4。假设（A1）–（A2），并让Xnbe标准的元素正态分布。

然后√nOhm-1/2^α*- α*^β*- β*N, 我哪里Ohm =cσs/（c+s）cσsR/（c+s）cσsR/（c+s）cσsR/（c+s）+c（c+s）-2{1+（s+c）/（1- c） }/u>∑-1nuands=u>n∑-1nun-（u>∑）-1nun）u>∑-1nu，R=u>∑-1nunu>∑-1nu，σs=2（c+2s）+1- c（c+s）。定理4的结果可以用来构造两个α的渐近检验*和β*. 例如，检验完整假设H：α*= 1意味着就二次损失而言，平均向量的最佳估计量是样本平均向量，因为β*= α后立即为0*= 1、在c<1的情况下，平均向量的最佳收缩估计量由μOLS E=α构成*\'\'yn+^β*u，（8），其中最佳收缩强度分别由（6）和（7）给出。在大维渐近条件下，该估计量几乎肯定具有最小的二次损失。我们将其称为高维平均向量的最优线性收缩估计（OLSE）。很明显，如果p和n都趋向于完整性和p/n，则OLSE估计量（8）在最小二次损失方面均匀地支配样本估计量→ c<1。对于c>1，样本协方差矩阵不再可逆，我们需要其他技术来估计（4）和（5）中给出的未知量。这里，我们应用样本协方差矩阵Sn的广义逆。特别地，我们使用样本协方差矩阵Sn的以下广义逆：S-n=∑-1/2n（XnX>n/n-\'\'xn\'\'x>n）+∑-1/2n，其中+表示摩尔-彭罗斯逆。可以显示S-nis满足SNS的广义逆-NSN-n=S-nand SnS-nSn=序号。但是，S-nis不完全等于摩尔-彭罗斯逆，因为它不满足条件-nSn）>=S-nSnand（SnS-n） >=SnS-n、 当c<1时，广义逆S-N包含usualinverse S-1n。此外，如果∑nis是单位矩阵的倍数，则S-nis等于摩尔-彭罗斯逆S+n。

因此，可以预期，如果∑nis是稀疏矩阵，那么这两个逆矩阵都非常接近。这一猜测没有得到证实；这是留给未来研究的。在下面的定理5中，我们给出了α的一致估计*和β*在c>1的情况下，利用广义逆S在大维渐近下-n、 定理5。假设（A1）–（A2），并让XnPosses的元素一致有界于ε>0的4+ε矩。Letp/编号→ c∈ （1，∞) 对于n→ ∞. α的一致估计*和β*由^α给出*= ^α*（\'yn，Sn，u）={y>nS-不适用- （零件号-（1）-1} u>S-nu- （(R)y>nS-nu）(R)y>nS-n？ynu>S-nu- （(R)y>nS-nu），^β*=^β*（(R)yn，Sn，u）=（1- ^α*)y>nS-nu>S-nu。因为S-独立于未知量，我们将通过摩尔-彭罗斯逆S+n来近似它。高维环境下摩尔-彭罗斯逆的渐近性质在【11】中进行了研究。值得一提的是-S+通常不会导致最优收缩估计量。这与c<1的情况不同，在这种情况下，S显然是-1=S-= S+。因此，对于p>n提出的方法只是次优的，但在大多数情况下，它主导了文献中给出的高维平均向量的现有估计量。这一事实将在下一节中通过模拟研究和经验澄清加以证明。3.1。u的选择一个重要问题是非随机目标向量u的选择，该向量应满足假设（A2）。这取决于基础数据，因为目标向量的选择相当于un先验分布的超参数选择。这个问题在贝叶斯统计中是众所周知的。不同的先验知识导致不同的结果。因此，选择一种在大多数情况下都能令人满意的方法是至关重要的。天真的选择是u=p（γ-1） /21，其中1是1s的p维向量。

显然，完美u是真正的平均向量un；然后我们从定理1得到α*= 0和β*= 1、因此，建议的最优收缩估计值将几乎必然趋向于真实平均值，因为p和n都趋向于精确；将u设置为接近un将改进生成的收缩估计值。初始目标中存在的另一数量u=p（γ-1） /21是γ，它测量真平均向量的欧几里德范数到单位的速度。从模拟研究中可以看出，如果γ为0，那么所有考虑的目标（包括我们的建议）都会收敛到样本平均向量。4.基准方法本节介绍了在第5节的模拟研究中用作基准的方法。文献中最常用的平均向量估值器是样本平均向量，表示为“yn=Ynn/n”。虽然已知该估值器在高维数据的二次损失下不会收敛，但我们在比较研究中使用了样本平均值。原始James–Stein估计量以μun，JS n的形式表示=1.-p- 2n年>n年(R)ynfor∑n=i，n>p>2。在对比研究中，我们使用了由bun，JS=（1-（p- 2） /（n- p- 3） 是>否-c<1的1n'yn）'yn和一个估值器sn~ n的协方差矩阵∑nw的Wp（n，∑n）≥ p≥ 3、当p＞n时≥ 3，我们将估计器与Ch'etelat和Wells[18]提出的估计器进行了比较，他们定义了Baranchik型估计器asbun，JS（p>n）=Ip-aeSneS+n'y>neS+n'yn！“”与0同步≤ 一≤ 2（n-2） /（p-n+3）安第斯山脉+摩尔-彭罗斯倒数。在我们的研究中，我们设定a=2（n-2） /（p-n+3）。如【18】中的模拟研究所示，所谓的正部分类型James–Stein估计量的形式为bun，JS+=（Ip+eSneS+n）(R)yn+（1-（n）- 2） /（p-n+3）y>neS+n'yn）+eSneS+n'yn，在不变损失下，b+=max（b，0）支配bun，JS（p>n）。另一个基准估计值取自【45】。

它是一个单位目标向量的收缩估计量，通过最小化期望二次损失得到收缩系数。该收缩估计值由bun给出，W=Z1，n- Z4，nZ1，n+Z2，nZ4，n'yn+Z2，nZ1，n+Z2，nZ4，nZ3，nn，（9）带Z1，n=p（n- 1） Xi，jY>n，ieS+nYn，j，Z2，n=npnXk=1Y>n，keS+nYn，k-n- 1Xi，jY>n，ieS+nYn，j,Z3，n=n1>neS+nnnXk=1>neS+nYn，k，Z4，n=p（n- 1） 1>neS+nnXi，j>neS+nYn，iY>n，jeS+nn，p/n>1。由于p和n上的二次和，估计量（9）的计算形式很复杂，因此对于大尺寸和大样本量来说非常耗时。这就是为什么在实践中，它的渐近对应物被认为是；参见，例如，【45】。5、有限样本性能本节提供了广泛的模拟研究，以测试定理1、2、4和5的有效性，并将建议的OLSE估计量的质量与考虑的基准方法进行比较。如第3.1节所述，γ控制着u和u到单位的欧几里德范数的发散速度。因此，我们考虑了两种极端情况，即γ=0和γ=1。当γ=0时，真实平均向量u和目标平均向量u已从上的均匀分布独立模拟[-p-1/2，p-1/2]。这种情况下，u和u的规范都是有界的。相比之下，在选择u时，关于unis的先验信息很少。选择unis也是出于第6节的经验清理，其中获得的理论结果被应用于由通常具有较小预期值的资产回报组成的财务数据。当γ=1时，真平均向量un包含随机交换值1和-1，而u设置为单位向量。