稀疏向量误差校正的鲁棒极大似然估计

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Robust Maximum Likelihood Estimation of Sparse Vector Error Correction
  Model》
---
作者：
Ziping Zhao and Daniel P. Palomar
---
最新提交年份：
2017
---
英文摘要：
  In econometrics and finance, the vector error correction model (VECM) is an important time series model for cointegration analysis, which is used to estimate the long-run equilibrium variable relationships. The traditional analysis and estimation methodologies assume the underlying Gaussian distribution but, in practice, heavy-tailed data and outliers can lead to the inapplicability of these methods. In this paper, we propose a robust model estimation method based on the Cauchy distribution to tackle this issue. In addition, sparse cointegration relations are considered to realize feature selection and dimension reduction. An efficient algorithm based on the majorization-minimization (MM) method is applied to solve the proposed nonconvex problem. The performance of this algorithm is shown through numerical simulations.
---
中文摘要：
在计量经济学和金融学中，向量误差修正模型（VECM）是协整分析的重要时间序列模型，用于估计长期均衡变量关系。传统的分析和估计方法假定基本的高斯分布，但在实践中，重尾数据和异常值可能导致这些方法不适用。本文提出了一种基于柯西分布的鲁棒模型估计方法来解决这一问题。此外，考虑稀疏协整关系实现特征选择和降维。提出了一种基于优化极小化（MM）方法的高效算法来解决所提出的非凸问题。数值仿真结果表明了该算法的性能。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--
一级分类：Computer Science        计算机科学
二级分类：Numerical Analysis        数值分析
分类描述：cs.NA is an alias for math.NA. Roughly includes material in ACM Subject Class G.1.
cs.na是Math.na的别名。大致包括ACM学科类G.1的材料。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Statistics        统计学
二级分类：Applications        应用程序
分类描述：Biology, Education, Epidemiology, Engineering, Environmental Sciences, Medical, Physical Sciences, Quality Control, Social Sciences
生物学，教育学，流行病学，工程学，环境科学，医学，物理科学，质量控制，社会科学
--
一级分类：Statistics        统计学
二级分类：Computation        计算
分类描述：Algorithms, Simulation, Visualization
算法、模拟、可视化
--

---
PDF下载：
--> Robust_Maximum_Likelihood_Estimation_of_Sparse_Vector_Error_Correction_Model.pdf (239.63 KB)

2022-6-1 13:35:06 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：极大似然估计 似然估计 极大似然 distribution Applications

稀疏向量误差校正模型的鲁棒最大似然估计Ziping Zhao和Daniel P.Palomard香港科技大学电子与计算机工程系，香港。摘要在计量经济学和金融学中，向量误差修正模型（VECM）是协整分析的重要时间序列模型，用于估计长期均衡变量关系。传统的分析和估计方法假定潜在的高斯分布，但在实践中，重尾ata和异常值扫描导致这些方法不适用。本文提出了一种基于Cauchy分布的鲁棒模型估计方法来解决这一问题。此外，还考虑了spa-rsecointegration关系来实现特征选择和维度提取。采用基于优化-最小化（MM）方法的有效算法来解决所提出的非凸问题。数值仿真结果表明了该算法的性能。指数术语-协整分析、反垄断统计、重尾、异常值、群体相关性。1、导言向量误差校正模型（VECM）[1]在协整分析中非常重要，用于估计和检验长期未整合均衡。它广泛用于金融回报和宏观经济变量的时间序列建模。在[2，3]中，Engle和Granger首先提出了“协整”的概念来描述非平稳时间序列中的线性平稳关系。L a te r，Johansen研究了时间序列整合建模中的统计估计和推断问题[4，5，6]。

yt的VECM∈ RKIS如下所示：yt=ν+πyt-1+Pp-1i=1Γi年初至今-i+εt，（1）式中 是第一个差分运算符，即。，yt=yt-年初至今-1，ν表示dr ift，∏确定长期平衡，Γi（i=1，…，p- 1） 包含短期效应，εt为均值为0且协方差为∑的新息。矩阵∏具有简化的协整关系，即秩（∏）=r<K，这项工作得到了香港RGC 16206315研究基金的支持。赵紫萍获得香港博士研究生奖学金计划（HKPFS）的支持。（电子邮箱：ziping。zhao@connect.ust.hk; palomar@ust.hk).可以写成∏=αβT（α，β∈ RK×r）。据此，ytis被称为与秩r协整，而βTytgives则是由协整矩阵β定义的长r非站时间序列。这种长期均衡通常被经济理论所暗示，并可用于统计套利[7]。众所周知，财务回报和宏观经济变量表现出严重的尾部，通常与外部因素（如政治和监管变化）以及数据损坏（如错误观测和错误处理的数据）导致的异常值相关[8]。这些程式化特征与通常在理论分析和估计过程中提出的高斯噪声假设相矛盾，对估计模型有不利影响。协整分析对这些问题特别敏感。文献[9、10、11]讨论了存在异常值时Dickey-Fuller检验和theJohansen检验的性质。卢卡斯从理论和经验的角度研究了这类问题【12、13、14】。为了处理时间序列建模中的重尾和离群点，需要简单有效的估计方法。在文献[15]中，对向量机引入了伪极大似然估计。

在本文中，基于【15】，我们将基于Cauchy分布的对数似然函数的估计问题作为重尾分布的保守代表，以更好地拟合重尾并抑制外部的影响。稀疏优化[16]作为实现特征选择和降维的一种方法，已成为许多研究关注的焦点（例如lasso[17]）。在[18]中，在向量机模型中对β施加了元素明智的稀疏性。如[19，20]所示，为了实现特征选择的目的，组稀疏性更好，因为它可以同时减少所有协整关系中的相同变量，并自然保持低阶参数空间的几何结构。在本文中，我们不是将群稀疏性强加给β，而是等价地将群稀疏性施加在∏a上，并为其添加秩约束，这样就可以实现相同的目标，而无需提前因子分解∏=αβTl“正常”，而不是大众l-在norm中，我们使用了一个非凸geman型f函数，它具有更好的逼近能力。还首次提出了一种平滑的对应物来减少优化中的“奇异性问题”，在此基础上获得了β的群稀疏正则化子。稳健估计在金融应用中被低估，因为复杂的计算需要大量的时间和资源。通过考虑鲁棒损失和调节器，最终形成了一个非凸优化问题。期望m最大化（EM）通常用于解决鲁棒损失（例如，[22]）。然而，EM不适用于我们的配方。为了解决这一问题，提出了一种基于优化最小化（MM）方法的有效算法，并通过数值显示了估计性能。2.

稀疏向量的稳健估计假设样本路径{yt}Nt=1（N>K），并且所需的预样本值可用，那么向量（1）可以写成如下矩阵形式：Y=πY-1+ ΓX+E，（2）式中Γ=[Γ，…，p-1, ν], Y=[yyN]，Y-1=[y，…，yN-1], X=[x、 ，xN]带xt公司=年初至今-1.年初至今-p+1，1T、 E=[ε，…，εN]。2.1. Cauchy对数似然损失追求的稳健性ro-bustness追求的是多元Cauchy分布。假设（1）中的inn ovationsεt遵循Cauchy分布，即εt~ 带∑的Cauchy（0，∑）∈ SK++，则概率密度函数由gθ（εt）=Γ给出1+KΓ（νπ）K【det（∑）】-1+εTt∑-1εt-（1）中N个样本的Cauchy分布的负对数似然损失函数如下所示：L（θ）=Nlog det（∑）+1+KPNi=1log1+Σ-(易- ∏yi-1.- Γxi-1),（3） 其中常数下降为dθ，{∏（α，β），Γ，∑}。2.2. 向量x的非凸正则化子所追求的群稀疏性∈ RK，稀疏度水平通常由l-“norm”（或s gn（| x |）），因为kxk=PKi=1sgn（| xi |）=k，其中k是x中非零条目的数量。通常，应用l-对不同变量组的“范数”可以加强解的组稀疏性。这个l-“范数”不是凸的，也不是连续的，这使得它非常复杂，并导致难以解决的NP难问题。所以l范数作为最紧的凸函数通常用于逼近l-“norm”在实践中更易于优化，并且仍然支持稀疏解。更紧密的非凸稀疏诱导函数可以带来更好的性能【16】。

在本文中，为了更好地追求分离性并消除“奇点问题”，即当使用非光滑函数时，变量可能会卡在非光滑点上[23]，使用了基于[21]中的理性（Ge-man）函数的光滑非凸函数，如下所示：ratp（x）=（px2（p+），x |≤ | x | p+| x|-2+p2（p+），| x |>。为了在向量机中实现特征选择，即稀疏协整关系，根据[19，20]，我们可以在矩阵β上施加顺向的群稀疏性。事实上，由于∏=αβT，施加在βca n上的行稀疏性也可以通过将列稀疏性施加在∏上并约束其秩来直接估计∏th来实现。n我们有矩阵∏的稀疏正则化子，它由（π）=PKi=1ratp（kπik），（4）式中，πi（i=1，…，k）表示∏的第i列。分组效果是通过l-每个组的范数，然后应用组化。2.3. 问题公式通过结合鲁棒损失函数（3）和稀疏调节器（4），我们得到了一个惩罚最大似然估计公式，具体如下：最小化θ={∏，Γ，∑}F（θ），L（θ）+ξR（π），服从秩（π）≤ r、 ∑ 0。（5）由于目标函数和约束集的非凸性，这是一个受约束的光滑非凸问题。通过MM方法解决问题MM方法【24、25、26】是著名EM方法的推广。对于由minimizexf（x）给出的优化问题，服从x∈ 十、 基于MM的算法解决了一系列简单的子问题，这些子问题的surrogate函数使f（X）超过X。

更具体地说，从初始点x（0）开始，它生成一个序列x（k）根据以下upda te规则：x（k）∈ arg minx∈Xf车型x、 x（k-1),其中代理主控函数fx、 x（k）满意度fx（k），x（k）= fx（k）, x（k）∈ 十、 f级x、 x（k）≥ f（x），x、 x（k）∈ 十、 f′x（k），x（k）；d= f′x（k）；d, d、 s.t.x（k）+d∈ 十、 目标函数值在每次迭代时均为单调无增量。为了使用MM方法，关键步骤是确定一个优化函数，使子问题易于解决，这将在以下章节中讨论。3.1. 稳健损失函数L（θ）的优化，而不是使用EM方法[22]，在本文中，我们从MM的角度推导了L（θ）的优化函数。引理1。在ny点x（k）∈ R、 对数（1+x）≤ 日志1+x（k）+1+x（k）x个- x（k）, 在x=x（k）时达到相等。基于引理1，在itera teθ（k）处，损失函数L（θ）可以通过以下函数来优化：Lθ、 θ（k）Nlog det（∑）+Σ-是的- ∏Y-1.- Γ\'\'XF、 其中“” 表示“等效”至相加常数，\'\'Y=Ydiag公司√w（k）,“Y”-1=Y-1诊断√w（k）, an d\'\'X=Xdiag公司√w（k）带w（k）∈ r和元素w（k）t=1+K1+Σ-（k）(年初至今-∏（k）yt-1.-Γ（k）xt公司-1), t=1。N、 通过取∑和Γ的偏导数，并定义投影m矩阵'm=IN- \'\'XT\'\'X\'\'XT-1.\'X，主要功能Lθ、 θ（k）当Γ（π）时最小化=是的-∏Y-1.\'\'XT\'\'X\'\'XT-1，∑（π）=N是的-∏Y-1.\'M是的-∏Y-1.T、 将这些方程替换回θ、 θ（k）, 我们有π，θ（k）Nlog数据是的-∏Y-1.\'M是的- ∏Y-1.Ti。然后我们介绍以下有用的引理a。引理2。在任意点R（k）∈ SK++，日志检测（R）≤Tr公司R-（k） R+ 日志数据R（k）- K、 在R=R（K）时达到相等。基于引理2，Lπ，θ（k）被进一步控制π，θ（k）Σ-（k）是的-∏Y-1.\'MF、 最后，在取得多数后，Lπ，θ（k）变为∏中的二次函数。3.2.

稀疏正则化子R（π）的优化在本节中，我们介绍了处理非凸稀疏正则化子R（π）的优化技巧。引理3。在任意给定点x（k），ratp（x）≤q（k）x+c（k），在x=x（k）时获得等式，系数q（k）=phmax,x（k）p+最大值,x（k）我-1，常数c（k）=p max{491;，x（k）}+2（max{，x（k）}）（p+max{，x（k）}）-p+22（p+）。x-0.3-0.2-0.1 0.1 0.2 0.30.10.20.30.40.50.60.7分数函数分数函数（-平滑）优化函数优化点图。1、光滑稀疏诱导函数的优化。引理3的主要部分如图1所示。然后在θ（k）处，正则化子R（π）可以由R来定义π，θ（k）向量（π）T诊断q（k） IKvec（π），其中q（k）∈ 带有第i个（i=1，…，K）元素q（K）i=p的Rkmaxn，π（k）iop+最大值，π（k）io-1.3.3. MMBy中的优化子问题π，θ（k）安德烈π，θ（k）, 我们可以为F（θ）求主函数，它如下所示：Fπ，θ（k）Lπ，θ（k）+ ξRπ，θ（k）vec（π）TG（k）vec（π）-vec公司H（k）Tvec（π），其中G（k）=Y-年至今1百万-1. Σ-（k） +ξdiagq（k） IK，H（k）=∑-（k）年初至今-1、尽管如此π，θ（k）在∏中是一个二次函数，再加上∏（5）中的非凸约束，这个问题仍然很难解决。引理4。让A、B∈ SKA和B A、 然后在任意点x（k）∈ RK，xTAx≤ xTBx+2x（k）T（A- B） x+x（k）T（B- A） x（k）等于x=x（k）。基于引理4和注意ψ（k）GIK 满足ψ（k）G的任意ψ（k）G的G（k）≥ λmaxG（k）,Fπ，θ（k）可以通过以下函数进一步优化：Fπ，θ（k）ψ（k）GΠ - P（k）F、 式中，P（k）=∏（k）- ψ-（k） G∑-（k） π（k）’Y-年至今1百万-1.-ξψ-（k） G∏（k）诊断q（k）+ ψ-（k） GH（k）。最后，问题m（5）的优化子问题m是最小化∏Π - P（k）F服从等级（π）≤ r、 （6）该问题有一个闭式解。

设P的奇异值分解为P=USVT，最优∏为∏= USrVT，其中sr是通过对最小值（P- r） S中的对角线元素为z e ros。因此，参数α和β可以通过∏分解= αβT、 3.4。MM-RSVECM算法基于MM方法，为了解决原始pr问题（5），我们需要在每次迭代时用闭式解迭代求解低阶近似问题（6）。算法1总结了所有算法。算法1 MM-RSVECM-稀疏向量输入的鲁棒MLE：{yi}Ni=1，需要预先采样值。初始化：∏（0）α(0), β(0), Γ（0），∑（0）和k=1。重复1。计算w（k）、q（k）、G（k）、H（k）、ψ（k）和P（k）；2、通过求解（6）和Γ（k），∑（k）更新∏（k）；3、k=k+1；直到∏（k）、Γ（k）和∑（k）满足终止标准。输出：^∏^α,^β,^Γ和∑。4、数值模拟本节考虑数值模拟。AVECM（K=5，r=3，N=1000）具有∏的不完善的组稀疏结构。然后，生成一条时间序列样本路径，创新分布到自由度为p=3的学生t分布。我们将我们的算法（MM-RSVECM）与梯度ntdescent算法（GD-RSVECM）进行了比较，以解决（5）中提出的非凸问题。目标函数值的收敛结果如图2所示。CPU时间0 100 200 300 400 500 600 700 800 900 1000GD RSVECMMM RSVECMFig。2、目标函数值的收敛性比较。基于MM方法，MM-RSVECM比GD-RSVECM具有更快的收敛速度。这可能是因为基于MM方法的算法更好地利用了原始问题的结构。然后，通过比较不同自由度om p的研究分布下的参数估计精度，进一步验证了所提出的基于Cauchylog似然损失函数的问题公式。

估计精度由非劣化均方误差（NMSE）衡量：NMSE（π）=E^Π - ∏真Fk∏truekF。在图3中，我们显示了使用三种估计方法对NMSE（π）的模拟结果，这三种方法基于高斯新息假设、真实学生t分布和提出的柯西新息假设。自由度p0 10 20 30 40 50 60 70 80 900.10.20.30.40.50.60.70.8GaussianStudent tCauchyFig。3、t分布的NMSE（π）与自由度p的关系。从图3中，我们可以看到，使用MM-VECM算法从Cauchy假设估计的参数与高斯假设甚至使用tru e Student t分布估计的结果相比，始终具有较低的参数估计误差。在此基础上，对提出的问题公式进行了验证。结论本文考虑了稳健稀疏VECM估计问题。该问题可以通过考虑鲁棒Cauchy对数似然损失函数和anonco-Invex群稀疏正则化子来描述。提出了一种基于MM方法的有效算法，通过数值模拟验证了算法的有效性和估计精度。参考文献【1】H.L–utkepohl，《多时间序列分析新导论》。Springer，2007年。[2] C.W.Granger，“协整变量和误差修正模型”，未出版的USCD讨论文件83-13a，技术代表，1983年。[3] R.F.Engle和C.W.Granger，“协整和误差修正：表示、估计和检验”，《计量经济学：计量经济学学会杂志》，第251–2761987页。[4] S.Johansen，“协整向量的统计分析”，《经济动力学与控制杂志》，第12卷，第2期，pp。