揭秘卡尔曼滤波器：从直觉到概率图形

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Kalman filter demystified: from intuition to probabilistic graphical
  model to real case in financial markets》
---
作者：
Eric Benhamou
---
最新提交年份：
2018
---
英文摘要：
  In this paper, we revisit the Kalman filter theory. After giving the intuition on a simplified financial markets example, we revisit the maths underlying it. We then show that Kalman filter can be presented in a very different fashion using graphical models. This enables us to establish the connection between Kalman filter and Hidden Markov Models. We then look at their application in financial markets and provide various intuitions in terms of their applicability for complex systems such as financial markets. Although this paper has been written more like a self contained work connecting Kalman filter to Hidden Markov Models and hence revisiting well known and establish results, it contains new results and brings additional contributions to the field. First, leveraging on the link between Kalman filter and HMM, it gives new algorithms for inference for extended Kalman filters. Second, it presents an alternative to the traditional estimation of parameters using EM algorithm thanks to the usage of CMA-ES optimization. Third, it examines the application of Kalman filter and its Hidden Markov models version to financial markets, providing various dynamics assumptions and tests. We conclude by connecting Kalman filter approach to trend following technical analysis system and showing their superior performances for trend following detection.
---
中文摘要：
在本文中，我们回顾了卡尔曼滤波理论。在给出了一个简化的金融市场例子的直觉之后，我们重新审视了它背后的数学基础。然后，我们展示了使用图形模型可以以非常不同的方式表示卡尔曼滤波器。这使我们能够在卡尔曼滤波器和隐马尔可夫模型之间建立联系。然后，我们研究了它们在金融市场中的应用，并就其对金融市场等复杂系统的适用性提供了各种直觉。虽然本文的写作更像是将卡尔曼滤波器与隐马尔可夫模型联系起来，从而重新访问已知结果并建立结果，但它包含了新的结果，并为该领域带来了额外的贡献。首先，利用卡尔曼滤波器和HMM之间的联系，给出了新的扩展卡尔曼滤波器推理算法。其次，由于CMA-ES优化的使用，它为使用EM算法的传统参数估计提供了一种替代方法。第三，研究了卡尔曼滤波器及其隐马尔可夫模型版本在金融市场中的应用，提供了各种动力学假设和测试。最后，我们将卡尔曼滤波方法与趋势跟踪技术分析系统相结合，并展示了它们在趋势跟踪检测方面的优越性能。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--

---
PDF下载：
--> Kalman_filter_demystified:_from_intuition_to_probabilistic_graphical_model_to_re.pdf (859.4 KB)

2022-6-11 05:21:53 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：卡尔曼滤波器 卡尔曼滤波 卡尔曼 滤波器 Applications

Kalman滤波：从直觉到概率图形模型到金融市场的真实案例Seri Benhamou1,2，*A、 I.SQUARE CONNECT，35 Boulevard d d\'Inkermann 92200 Neuilly sur Seine，法国拉姆萨德大学（UMR CNRS 7243）和巴黎多芬大学（Quantitative Management Initiative，Universit Paris Dauphine，Place du Marchal de Lattre de Tassiny，75016 Paris，Franciabstract）QMI（量化管理倡议）主席：在本文中，我们重新探讨了卡尔曼滤波理论。在给出了一个金融市场示例的直觉之后，我们重新审视了其背后的数学基础。然后，我们展示了卡尔曼滤波器可以使用图形模型以非常不同的方式呈现。这使我们能够在卡尔曼滤波器和隐马尔可夫模型之间建立联系。然后，我们研究了它们在金融市场中的应用，并就其对金融市场等复杂系统的适用性提供了各种直觉。虽然本文的写作更像是将卡尔曼滤波器与隐马尔可夫模型联系起来，从而重新审视众所周知的结果并建立结果，但它包含了新的结果，并为该领域带来了额外的贡献。首先，利用卡尔曼滤波器和HMM之间的联系，给出了新的扩展卡尔曼滤波器推理算法。其次，由于CMA-ES优化的使用，它为使用EM算法的传统参数估计提供了一种替代方案。第三，研究了卡尔曼滤波器及其隐马尔可夫模型版本在金融市场中的应用，提供了各种动力学假设和测试。最后，我们将卡尔曼滤波方法与趋势跟踪技术分析系统相结合，并展示了它们在趋势跟踪检测方面的优越性能。关键词和短语：卡尔曼滤波、隐马尔可夫模型、图形模型、CMA ES、趋势检测、系统交易。1.

导言金融领域最具挑战性的问题之一是能够从过去的观察中做出一些有意义的预测。显然，由于没有人是上帝，因此没有人最终能够百分之百准确地预测股票价格的最终走向。然而，在纯盲猜测和精确预测之间，还有改进和推理的空间。此外，如果我们能够以某种方式对股票价格的动态进行建模，并将一些噪音因素考虑到不可预测的人类行为，那么我们可以利用该模型信息进行informedestimate，从某种意义上说，这是一种有根据的猜测，不能错过大致的数字。它不会100%准确，但比纯粹的随机评估要好得多。事实上，使用模型和过滤噪声的这一科学问题已在各个领域得到广泛研究：控制理论领先于toKalman滤波器，马尔可夫过程领先于隐马尔可夫模型，以及最近使用贝叶斯概率图模型的机器学习。在这项工作中，我们重新审视这三个领域，给出一个教训*埃里克。benhamou@aisquareconnect.com，埃里克。benhamou@dauphine.euimsart-通用版本。2014年10月16日文件：文章\\u KalmanFilterDemystified。tex日期：2018年12月14日。Benhamou/Kalman filter阐述了这三种方法，并强调了Kalman filter和隐马尔可夫模型（HMM）之间的深刻联系，这得益于贝叶斯概率图形模型。我们尤其表明，一旦我们使用贝叶斯概率图形模型的更一般框架，卡尔曼滤波方程的推导就容易得多。特别是，我们证明了卡尔曼滤波方程只是对和积算法（也称为HMM的维特比算法）的重写。然后，我们为金融市场提供各种动态假设，并对其整体表现进行评价。

我们将这些交易系统与更简单的movingaverage趋势检测交易系统进行了比较，结果表明它们提供了更好的性能。2、直觉简而言之，卡尔曼滤波器是一种基于先前状态预测系统未来状态的方法。这是在20世纪60年代早期发现的，当时Kalman将该方法作为统计预测和过滤的不同方法引入（见Kalman（1960）和Kalman and Bucy（1961））。其思想是估计有噪声系统的状态。历史上，它是用来监测轨道飞行器的位置和速度的。然而，这可以应用于非物理系统，如经济系统。在这种特定的设置中，状态将由估计的方程而不是精确的物理定律来描述。我们将在第5节中强调这一点，该节涉及金融的实际应用。为了建立一种直觉，让我们看一个简单的例子——如果给你一个带绿点的数据（顺便说一句，它代表了2018年10月17日标准普尔500指数的预测卡尔曼滤波预测价格），那么通过从之前的样本推断趋势并推断信号的一些周期性，预测橙色点应该遵循似乎是合理的。然而，您对右侧的暗红色点有多大把握（仅10分钟后）？此外，如果你选择黑色系列（代表实际价格）而不是绿色系列，那么你对预测橙色点的把握有多大？从这个简单的例子中，我们可以学到三条重要的规则：o预测未来的远近不如预测未来的远近可靠。o数据的可靠性（噪音）影响预测的可靠性这还不足以做出预测——您还需要提供一个置信区间。imsart通用版本。

2014年10月16日文件：文章\\u KalmanFilterDemystified。tex日期：2018年12月14日。Benhamou/Kalman filter demysti 3图1：金融市场的一个简单示例为了建立Kalman filter的直觉，我们可以从这个简单的演示中概念化方法并解释Kalman filter是什么。首先，我们需要一个国家。状态是描述当前系统和执行其预测所需的所有参数的表示。在我们前面的例子中，我们可以用两个数字来定义状态：时间t时标普500的价格，用P（t）表示，以及时间t时价格的斜率，S（t）。通常情况下，状态是一个向量，通常表示为x。当然，如果希望适应更复杂的系统，可以包含更多参数。其次，我们需要一个模型。该模型描述了系统的行为方式。它提供了支配我们系统的基本方程。它可能是我们系统的理想表示或简化版本。它可以通过一些物理定律（如GPS系统的卡尔曼滤波器）或一些经验分析（如金融）进行调整。在标准卡尔曼滤波器中，模型始终是状态的线性函数。在扩展卡尔曼滤波器中，它是状态的非线性函数。在我们之前的示例中，我们的模型可以是：o时间t的价格p（t）作为之前的价格p（t）获得-1） 加上时间t的斜率-1： s（t）- 1） p（t）=p（t- 1） +s（t-1） （2.1）o斜率随时间变化，周期正弦函数ψ（t）=a sin（bt+c）s（t）=s（t- 1） +ψ（t）（2.2）通常，我们以矩阵形式表示该模型以使其简单化。我们有p（t）s（t）| {z}xt=1 10 1| {z}F·p（t- 1） s（t）- 1)| {z}xt-1+0 00 1·ψ（t）| {z}Bt·ut（2.3）在上述等式中，根据标准惯例，我们用xt=（p（t），s（t））t表示，即结合价格p（t）和斜率s（t）的状态向量。

我们用ut=（0，ψ（t））t表示，控制向量。控制向量的基本思想是，它可以以某种方式控制状态向量的动态。前面的方程（2.3）被称为状态方程，并写入xt=F·xt-1+Bt·ut（2.4）imsart通用版本。2014年10月16日文件：文章\\u KalmanFilterDemystified。tex日期：2018年12月14日。Benhamou/Kalman Filter 4当然，我们的模型太简单了，否则我们就不需要Kalman Filter了！为了使它更真实，我们添加了一个额外的术语-噪声过程，它表示我们在模型中无法测量的任何其他项。虽然我们不知道噪声的实际值，但我们假设我们可以估计噪声的“噪声”程度，并可以对噪声分布作出假设。在标准的Kalman建模中，我们保持简单，并假设该噪声为正态分布。为了测量噪声的“噪声”程度，我们参考了正态分布的方差，将噪声wt-1、状态方程修改为：xt=Fxt-1+Bt·ut+wt-1（2.5）第三，我们需要使用度量来改进我们的模型。当新数据到来时，我们希望更改模型参数的值，以反映我们对状态动力学的更好理解。我们将分两步进行：做出预测，然后根据时间t内发生的情况进行修正。这里有一个微妙之处。我们衡量的不一定是各州。它必须是相关的，但不是相同的。例如，在GPS的卡尔曼滤波系统中，状态可能是GPS的加速度、速度和位置，而我们测量的可能是车辆的位置和车轮速度。在我们的财务示例中，我们可能只能观察价格，而不能观察斜率。因此，我们的措施仅限于此特定设置中的价格。

因此，测量将表示如下：测量=0 1·p（t）s（t）（2.6）一般来说，测量值应该是一个向量，用z表示，因为我们的测量值可能不止一个。测量也应该是有噪声的，以反映我们测量不完美的情况。因此，指定测量的方程将写为：zt=Hxt+vt（2.7），其中vt是测量噪声，H是一个矩阵，行等于测量变量的数量，列等于状态变量的数量。第四，我们需要进行预测，因为我们已经在建模方面设置了场景。这是卡尔曼滤波器的关键部分。为了建立直觉，让我们暂时假设噪音等于零。这意味着我们的模型是完美的。在知道之前的状态（在时间t）后，您如何预测时间t的状态-1)? 这很简单。只需使用状态方程并计算我们对状态的预测，用^xtas表示：^xt=Fxt-1+Btut-1（2.8）等一下！同时，我们进行了一些测量，这些测量由我们的测量方程反映：^zt=H^xt（2.9）。这些是测量值，因此我们测量的可能略有不同。直观地，测量误差计算为zt-^zt将与0略有不同。我们称之为差异Y=zt- ^zt，创新。它代表了我们测量估计的偏差。显然，如果一切都很完美，创新应该是零，因为我们没有任何偏见！为了将创新纳入我们的模型，我们会将其添加到我们的州。但我们不会盲目地在stateimsart通用版本中添加。2014年10月16日文件：文章\\u KalmanFilterDemystified。tex日期：2018年12月14日。Benhamou/Kalman滤波方程。我们应该将这一创新乘以一个矩阵因子，以某种方式反映我们的测量偏差和状态偏差之间的相关性。

因此，我们将计算对我们的状态方程的修正，如下所示：^xt=Fxt-1+Btut+Kty（2.10）矩阵KT称为卡尔曼增益。我们将在第3节中看到如何确定它，但为了卡尔曼滤波器的直觉，我们跳过了这个细节。真正重要的是建立一个学费制度。我们很容易理解以下经验法则：1。我们的测量噪音越大，精确度就越低。因此，代表我们测量偏差的创新可能不是真正的创新，而是测量噪声的伪影。噪声或不确定性由方差直接捕获。因此，测量方差噪声越大，卡尔曼增益应越低。2、我们的工艺状态越嘈杂，创新就越重要。因此，过程状态方差越大，卡尔曼增益应越大。总结这两个直觉，我们预计Kalman增益为：Kt~过程噪音测量噪音（2.11）第五，噪音本身应该建模，因为我们对真实噪音没有任何线索。我们模型中的噪声由方差表示，或者更准确地说，由我们状态的协方差表示。传统上，我们用ptt表示状态的协方差矩阵：Pt=Cov（^xt）（2.12），使用状态方程，并使用以下事实，即对于任何矩阵A，Cov（A.X）=A Cov（X）A>，我们可以从其先前的状态推导出ptt：Pt=Cov（^xt）=Cov（Fxt-1） =F Cov（xt-1） F>=FPt-1F>（2.13）在此阶段，我们可以使模型更加逼真。前面的等式（2.13）假设我们的过程模型是完美的。但请记住，我们暂时假设没有噪音。然而，现实世界更加复杂，我们现在应该使用真实状态方程（2.5）。

特别地，如果我们假设状态噪声WT独立于状态XT，并且如果状态噪声WT假设为协方差矩阵Qt的正态分布，则对状态协方差矩阵的预测变成：Pt=FPt-1F>+Qt-1（2.14）同样，我们可以计算测量的协方差矩阵，并对噪声的演变进行建模，我们将用St表示。我们系统中的最后一个噪声源是测量。按照相同的逻辑，我们获得了^zt的协方差矩阵，并通过vt表示我们测量的正态分布独立噪声，使用Rt给出的协方差矩阵，我们得到st=Cov（^zt）=Cov（H^xt-1+vt-1） =HPt-1H>+室温-1（2.15）让我们回到卡尔曼增益计算。直观地，我们发现，对于较大的过程噪声，它应该更大，对于较大的测量噪声，它应该更低，从而得出一个kt型方程~过程噪音测量噪音。由于过程噪声是通过St测量的，测量噪声是通过St测量的，因此我们应该使用通用版本。2014年10月16日文件：文章\\u KalmanFilterDemystified。tex日期：2018年12月14日。Benhamou/Kalman过滤器解密6获取类似Kt=PtS的内容-1吨。我们将在下一节中看到，卡尔曼增益的实际方程与我们的直觉密切相关，由kt=PtH>S给出-1t（2.16）3。在本节中，我们将严格证明第2节中提供的所有方程式。使符号更加稳健，并使时间相关向量或矩阵a在其值t之间存在差异，了解时间t之前的信息- 1及其在时间t的值，知道时间t之前的信息，我们将在| t表示这两个不同的值-1和| t.3.1。

卡尔曼滤波建模假设卡尔曼滤波模型假设时间t的真实状态是从之前时间t的状态获得的- 1通过以下状态方程xt=Ftxt-1+Btut+wt（3.1）假设噪声过程wt遵循多维正态分布，零均值和协方差矩阵由Qt：wt给出~ N（0，Qt）。在时间t，我们对真实状态x进行测量（或观测）zt根据我们的测量方程：zt=Htxt+vt（3.2）与状态方程一样，我们假设观测噪声vt遵循多维正态分布，平均值为零，协方差矩阵由Rt：vt给出~ N（0，Rt）。此外，每个步骤x，w，…，的初始状态和噪声向量，重量，v，VT被认为是相互独立的。3.2. 属性立即将预测阶段导出为状态^xt | t的估计值-1是状态方程的期望值（2.5）。同样，推导误差协方差的估计值也很简单。这提供了以下^xt | t总结的预测阶段-1=Ft^xt-1吨-1+Btut（预测状态估计）（3.3）Pt | t-1=FtPt-1 | t-1FTt+Qt（预测误差协方差）（3.4）校正阶段，包括合并测量以校正我们的预测IMSART通用版本。2014年10月16日文件：文章\\u KalmanFilterDemystified。tex日期：2018年12月14日。Benhamou/Kalman滤波算法7稍微复杂一些。它由以下方程式组成：▄yt=zt- Ht^xt | t-1（测量前残留量）（3.5）St=Rt+HtPt | t-1HTt（创新协方差）（3.6）Kt=Pt | t-1 HTTS-1t（最佳Kalman增益）（3.7）^xt | t=^xt | t-1+Ktyt（更新状态估计）（3.8）Pt | t=（I- KtHt）Pt | t-1（更新的估计协方差）（3.9）~yt | t=zt- Ht^xt | t（测量后剩余）（3.10）提案1。