基于稀疏卡尔曼滤波的高阶协方差估计方法

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Sparse Kalman Filtering Approaches to Covariance Estimation from High
  Frequency Data in the Presence of Jumps》
---
作者：
Michael Ho, Jack Xin
---
最新提交年份：
2016
---
英文摘要：
  Estimation of the covariance matrix of asset returns from high frequency data is complicated by asynchronous returns, market mi- crostructure noise and jumps. One technique for addressing both asynchronous returns and market microstructure is the Kalman-EM (KEM) algorithm. However the KEM approach assumes log-normal prices and does not address jumps in the return process which can corrupt estimation of the covariance matrix.   In this paper we extend the KEM algorithm to price models that include jumps. We propose two sparse Kalman filtering approaches to this problem. In the first approach we develop a Kalman Expectation Conditional Maximization (KECM) algorithm to determine the un- known covariance as well as detecting the jumps. For this algorithm we consider Laplace and the spike and slab jump models, both of which promote sparse estimates of the jumps. In the second method we take a Bayesian approach and use Gibbs sampling to sample from the posterior distribution of the covariance matrix under the spike and slab jump model. Numerical results using simulated data show that each of these approaches provide for improved covariance estima- tion relative to the KEM method in a variety of settings where jumps occur.
---
中文摘要：
从高频数据估计资产收益的协方差矩阵由于异步收益、市场微观结构噪声和跳跃而变得复杂。解决异步回报和市场微观结构的一种技术是卡尔曼EM（KEM）算法。然而，KEM方法假设对数正态价格，不解决回报过程中的跳跃，这可能会破坏协方差矩阵的估计。在本文中，我们将KEM算法扩展到包含跳跃的价格模型。我们提出了两种稀疏卡尔曼滤波方法来解决这个问题。在第一种方法中，我们开发了一种卡尔曼期望条件最大化（KECM）算法来确定未知协方差并检测跳跃。对于该算法，我们考虑了拉普拉斯模型和尖峰跳和板跳模型，这两种模型都促进了对跳的稀疏估计。在第二种方法中，我们采用贝叶斯方法，并使用Gibbs采样从尖峰和板跳模型下协方差矩阵的后验分布中采样。使用模拟数据的数值结果表明，在发生跳跃的各种情况下，与KEM方法相比，每种方法都提供了改进的协方差估计。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Statistics        统计学
二级分类：Methodology        方法论
分类描述：Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计，调查，模型选择，多重检验，多元方法，信号和图像处理，时间序列，平滑，空间统计，生存分析，非参数和半参数方法
--

---
PDF下载：
--> Sparse_Kalman_Filtering_Approaches_to_Covariance_Estimation_from_High_Frequency_.pdf (639.95 KB)

2022-5-10 18:11:28 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：卡尔曼滤波 协方差 卡尔曼 distribution Quantitative

稀疏卡尔曼滤波方法在JumpsMichael Ho+，Jack Xin§2016年4月18日存在的情况下从高频数据进行方差估计从高频数据中提取资产收益的协方差矩阵，由于异步收益、市场微观结构噪声和跳跃而变得复杂。处理同步收益和市场微观结构的一种技术是卡尔曼EM（KEM）算法。然而，KEM方法假设对数正态价格，并且不解决收益过程中的跳跃，这可能会破坏协方差矩阵的估计。本文将KEM算法推广到包含跳跃的价格模型。我们提出了两种稀疏卡尔曼滤波方法来解决这个问题。在第一种方法中，我们开发了Kalman ExpectationConditional Maximization（KECM）算法来确定未知协方差并检测跳跃。对于这种算法，我们考虑拉普拉斯和s派克跳跃和板跳跃模型，它们都促进了跳跃的稀疏估计。在第二种方法中，我们采用贝叶斯应用程序，使用Gibbs采样从尖峰跳和板跳模型下协方差矩阵的后验分布中采样。使用模拟数据的数值结果表明，在jumpsoccur.+加州大学欧文分校数学系，加利福尼亚州欧文市，92697，美国。电子邮件：mtho1@uci.edu.§美国加利福尼亚州欧文市加州大学欧文分校数学系，邮编92697。电子邮件：jxin@math.uci.edu.1简介资产收益的协方差矩阵是许多财务优化问题的一个集成元素，如港口对开设计。例如，在最小方差投资组合优化中，选择投资组合权重s，w的标准可以写成minwwtΓws。Tiwi=1，其中Γ是资产收益的协方差矩阵。

由于协方差矩阵通常是未知的，上述标准无法准确实现。相反，获得了协方差矩阵的估计值^Γ，并将其替换为投资组合优化准则。估计协方差矩阵的一种简单而直观的方法是使用过去的数据形成协方差矩阵的样本平均值。然而，当使用有限数量的样本时，协方差估计误差将存在。这些错误可能会导致投资组合绩效显著偏离已知统计数据下的最佳绩效[17,6,25]。因此，对于有效的投资组合优化来说，对协方差矩阵的准确估计至关重要。利用大数定律，在样本平均估计中使用更多数据，可以减少协方差估计误差。获取更多数据的一种方法是在形成样本协方差时简单地增加时间窗口大小（例如，使用1年的数据与3个月的数据）。为了使这种方法有效，协方差估计中使用的额外数据应几乎相同地分配给未来的数据。如果dat无统计量是非平稳的，那么增加窗口大小以获得更多数据可能不会改善投资组合绩效，因为协方差估计中使用的额外数据可能与未来收益无关。获取mor e数据的另一种方法是以更高的频率进行采样[3]（例如，1秒更新率vs 1天更新率），并保持采样窗口的大小。这种方法不易受到非平稳统计数据的影响，但对高频率数据提出了额外的挑战。例如，高频数据受制于市场微观结构[12]，例如买卖反弹，这可能会破坏波动性和协方差估计。

在更高的频率下，如果不加以考虑，市场微观结构的变化可能掩盖资产回报的真实波动性[4,3]。在更高频率下观察到的资产异步交易[29]进一步使协方差估计复杂化，因为标准样本平均估计假设每个时间点都有可用的回报数据。在存在异步交易和微观结构噪声的情况下，已经提出了许多从高频数据估计协方差矩阵的方法。例如，[5]中提出的刷新时间方法通过尝试同步返回数据来解决异步交易，方法是等待所有资产在形成协方差估计中使用的AASET价格向量之前至少交易一次。这种方法的一个缺点是，在等待所有资产转换时，大部分数据被忽略。成对刷新方法[19]通过逐个元素刷新协方差矩阵来使用更多数据。在这里，我们形成了一个2×1的资产价格向量，每个时间段两个资产交易。这允许使用更多数据，但如果不应用其他校正方法，如投影法[19]，则无法保证采样协方差矩阵为正半定义。另一种方法是[44]中使用的前一种滴答法，其中定义了固定的采样网格，并将该网格上的交易价格近似为最近的前一交易价格。为了解决微观结构噪声和异步返回问题，在[2,27]中提出了拟最大似然估计器，该估计器利用了成对误差。[44]中提出了一种双尺度实现协方差（TSCV）方法，其中使用低频和高频采样获得协方差估计。

一种基于卡尔曼滤波和EMalgorithm[16]的方法将真实未观测的对数价格过程和观测的价格建模为离散线性正态动力系统。这里，不可观测的同步真实价格被视为潜在数据，EM算法用于确定协方差的最大似然估计。文献[36]中提出了卡尔曼EM方法的贝叶斯版本，其中通过增强吉布斯采样器近似卵巢的后验分布。该技术生成协方差后验分布的估计，然后可用于获得点估计。上述每一种解决微观结构噪声和异步回报的技术都使用对数正态价格模型。然而，经验收益率数据往往表现出很强的尾部，而跳跃差异或随机波动率模型可以更好地解释这一点。在这些条件下，使用对数无回报的方法将产生次优结果。文献中已经提出了处理跳跃的技术。在[20]中，作者提出了检测跳跃的小波技术，并将其应用于挥发性估计。然后，在波动率估计之前，将使用该方法估计的跳跃从观测数据中移除。在[10]中，使用跳跃检测器来选择性地移除包含从协方差估计样本prio r到TSCV的跳跃的数据。[9]中提出的另一种技术也是跳跃，但没有解决市场微观结构噪音问题。本文通过引入两种Kalman-ECM（KECM）方法，将[16]中的Kalman-EM方法推广到离散跳跃扩散模型。在我们的第一个KECM方法中，我们将跳跃建模为拉普拉斯分布的随机变量。

虽然拉普拉斯先验可能看起来是跳跃过程的一个不自然模型，但我们将看到先验通过诱导l跳入完全对数似然函数的范数惩罚。以其他变量为条件，确定跳跃的后验模态是凸的l范数惩罚二次规划，可以用多种快速技术求解[24,11,7]。在我们的第二个KECM方法中，我们考虑了一个更自然但不易处理的跳跃过程的尖峰和板模型。我们还将[36]中的贝叶斯方法扩展到跳跃模型，其中跳跃模型使用尖峰和板前[34,35]进行建模。在这里，我们使用吉布斯采样来近似跳跃的后部以及未知的协方差矩阵。然后使用从后验分布获得的样本来获得协方差矩阵的后验平均值的估计。本文的其余部分组织如下。在第2节中，我们将介绍构成协方差估计方法基础的模型。在第3节和第4节中，我们描述了用拉普拉斯、尖峰和平板先验计算协方差估计的数值算法。第5节使用模拟高频数据对我们提出的方法进行了性能评估。第6.2节高频回归模型中给出了一个总结和结论，假设我们有n个资产，其中t时资产的真实（或有效）原木价格为Xn（t）。设X（t）表示每个资产在时间t的对数价格的N×1向量，t表示时间样本的总数。此处，n（t）可被视为有效市场中无摩擦资产的基本价值[38]。我们使用漂移DXi（t）=Xi（t）的离散时间跳跃扩散模型对原木价格的动态进行建模-1） +Vi（t）+Ji（t）Zi（t）+D。

（1） 这里我们假设如下：oV（t）是多元正态分布，平均值为0，协方差Γo~Ji（t）是正态分布，平均值为零，方差σj，i（t）oZi（t）是伯努利分布，pr（Zi（t）=0）=ζo~Jm（t）⊥⊥~Jn（s），Zm（t）⊥⊥锌（s），m≠n和所有t、so~J、Z、V共同独立。为了简化注释，我们将跳跃分量表示为asJ（t）=J（t）Z（t）。（2） 在许多市场中，不同资产的交易不会同时发生。当交易异步发生时，所有资产的当前定价数据将不被观察。对于观察到的价格，需要解决市场微观结构噪音问题。在这里，订单处理费用、库存成本和逆向选择成本[12]导致的交易成本增加了真实的效率。因此，真正有效的价格无法直接观察到。异步收益和微观结构噪声都可以在以下观察模型y（t）=I（t）X（t）+W（t）（3）中捕获，其中o~I（t）是一个“部分”单位矩阵，其中与t时缺失的资产价格相对应的行被移除oW（t）是均值为零且协方差为∑o（t）=I（t）∑o′ois是一个对角矩阵ix的正态分布市场微观结构噪声diag（σo，1，…，σo，N）。为了本文的目的，我们将假设∧I（t）是已知的，并且{W（t），X（t）}Tt=1是联合依赖的。在第5节中，我们将在微观结构噪声和价格创新在统计上依赖的模拟数据上测试我们的算法。X（1）X（2）X（3）X（N）Y（1）Y（2）Y（3）Y（N）J（2）J（3）J（N）图1:X，Y，J的贝叶斯网络表示。观察到的变量是有阴影的。此处未显示模型参数。2.1观测值和对数价格的条件分布我们检验了X（1）的joint概率分布∶T），Y（1）∶T），J（2）∶T）。这里是符号X（m∶n） 指集合{X（m），X（m+1）。

，X（n）}。我们考虑了参数D，Γ，σo，i，ζ和σj是具有已知先验分布的随机变量的情况。第2.2节详细介绍了我们假设的先验知识。为了确定概率分布，我们首先注意到，我们的模型不等式（1）和（3）可以用图1所示的贝叶斯网络表示。从贝叶斯网络中，我们可以看到以下条件依赖性质holdY（t）⊥⊥J（s）X（t）sY（t）⊥⊥十(s)X（t）s≠德克萨斯州（t）⊥⊥十(s)（X（t）-1） ，J（t））s<t-1X（t）⊥⊥J（s）（X（t）-1），J（t））s≠t、 根据贝叶斯网络所隐含的条件独立性，我们可以将以参数值为条件的概率分布完全刻画为followsp（y（t）x（1）∶T），∑o（T））~ N（~I（t）x（t），∑o（t））p（x（t+1）x（1）∶t） ，j（2）∶t+1），d，Γ）~ N（x（t）+j（t+1）+d，Γ）p（x（1））~ N（u，K）p（j（t）ζ、 σj（t））~Ni=1f（ji（t））。这里f是尖峰和板状先验f（ji（t））=ζδ（ji（t））+1-ζ√2πσj，i（t）exp-ji（t）2σj，i（t） （4） δ为0时的点质量分布。初始时间参数u和K可根据之前的股票回报数据进行选择，并将被视为已知值。2.2参数的先验分布为了允许更灵活的建模，我们将对参数D、Γ、σo、ias以及跳跃参数ζ和σj施加先验分布。这里我们采用一种常用的方法，使用共轭先验分布，这有助于计算条件最大后验概率（MAP）参数。这些先验知识将在第3节介绍的ECM算法的收敛性证明中发挥重要作用。漂移参数D建模为正态分布，具有平均值和协方差σD~ N（`D，σDI），与上述多元正态分布共轭。

对于协方差矩阵先验，我们使用η>N的逆Wishart先验（它也与多元正态相关）-1自由度和正有限尺度矩阵WoΓ~ W-1（Wo，η）。在观测噪声方差σo，i中，我们施加反伽马分布，形状参数αo>0，尺度βo>0σo，i~ IG（αo，βo）。最后，对于跳跃参数ζ和σj，我们使用β分布和反γ分布作为先验ζ~ β（αζ，βζ）σj，i（t）~ IG（αj，βj）。我们假设ζ和σj，i（t）是独立的，并且每个先验分布的参数都是已知的。对于这些先验中的每一个，可以选择超参数，使其相对不具信息性。2.3混合模型表示我们也可以将跳跃模型表示为2T N的混合模型-n组分。为了了解这一点，我们在Z（1）上设置了条件∶T）并获得以下p（y（T）x（1）∶T），∑o（T））~ N（~I（t）x（t），∑o（t））p（x（t）x（1）∶T-1） ，z（2∶t） ，d，Γ）~ N（x（t）-1） +d，Γ+Diag（t，z（t）））p（x（1））~ N（u，K）p（z（t）ζ) ~ ζT N-TJ（1）-ζ） Tj其中TJis是jumpsTJ的总数=i、 其中Diag（t，z（t））是对角矩阵Diag（t，z（t））=z（t）σj，1（t）0。00     00 . . . 0 zN（t）σj，N（t）.这里我们看到协方差是时变的，在时间t等于Γ+Diag（t，Z（t））。因此，我们的模型相当于一个大开关状态空间模型[23]，其对数价格后验分布由2T N组成-n组分。2.4拉普拉斯先验近似回顾上一节，跳跃模型等效于开关状态空间模型。开关状态空间模型中的推理随着状态数的增加而变得不可分割[2 3]。例如，对给定Y的X的后验分布的估计涉及到2T N的边缘化-n Z的可能状态，这是一个棘手的积分。

由于P（Z）的多峰结构，Z的最大后验概率（MAP）估计也很困难。在本节中，我们使用拉普拉斯分布近似J的分布。我们将J的拉普拉斯分布表示为g（J）p（J）≈ g（j）λ)i、 tλi（t）exp(-λi（t）季（t）)其中λi（t）>0。采用这种近似方法有两个优点。首先，拉普拉斯分布的对数似然在其参数中是凹的。这有助于J的条件映射估计。其次，拉普拉斯分布的设计是因为它促进了J[39，32，1]的稀疏映射估计，使其成为罕见跳跃的良好近似。我们用下面的例子来说明这一点。例1。支持κ是一个拉普拉斯分布的随机变量，参数为2，η=κ+q，其中q独立于κ，正态分布，平均值为0，方差为1。假设观察到η为0.5。然后，给定η的κ的概率为N（0.5,1），但κ的后部模式为0，如图2所示。为了使模型更加稳健，我们不会假设每个λi（t）都是已知的。相反，我们将根据数据估算λi（t）。由于同时估计Ji（t）和λi（t）的问题是不适定的，我们通过在每个λi（t）上引入aprior分布来正则化它，我们将其表示为q（λ）。我们希望设计先验分布q，使其产生与尖峰和平板先验f类似的稀疏性。为了开发设计q的术语，我们首先定义了g（j）之间的相似性概念λ） 和f（j）, ζ、 σj）。定义1。设V为方差为σ且J为零的正态随机变量~ Laplace（λ′）和J~ Sp ikeSlab（ζ′，σ′j）是独立的κ-6-4-2 0 2 4 60.10.20.30.40.50.60.70.8Laplace Previor促进稀疏后向模型EliHoodLaplace PriorPosteriorFigure 2：这里我们展示了一个Laplace Previor在0时促进后向模型的例子。关于V。