线性动态系统的噪声鲁棒在线推理

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Noise Robust Online Inference for Linear Dynamic Systems》
---
作者：
Saikat Saha
---
最新提交年份：
2015
---
英文摘要：
  We revisit the Bayesian online inference problems for the linear dynamic systems (LDS) under non- Gaussian environment. The noises can naturally be non-Gaussian (skewed and/or heavy tailed) or to accommodate spurious observations, noises can be modeled as heavy tailed. However, at the cost of such noise robustness, the performance may degrade when such spurious observations are absent. Therefore, any inference engine should not only be robust to noise outlier, but also be adaptive to potentially unknown and time varying noise parameters; yet it should be scalable and easy to implement.   To address them, we envisage here a new noise adaptive Rao-Blackwellized particle filter (RBPF), by leveraging a hierarchically Gaussian model as a proxy for any non-Gaussian (process or measurement) noise density. This leads to a conditionally linear Gaussian model (CLGM), that is tractable. However, this framework requires a valid transition kernel for the intractable state, targeted by the particle filter (PF). This is typically unknown. We outline how such kernel can be constructed provably, at least for certain classes encompassing many commonly occurring non-Gaussian noises, using auxiliary latent variable approach. The efficacy of this RBPF algorithm is demonstrated through numerical studies.
---
中文摘要：
我们重新研究了非高斯环境下线性动态系统（LDS）的贝叶斯在线推理问题。噪声自然可以是非高斯（倾斜和/或重尾）的，或者为了适应虚假观测，可以将噪声建模为重尾。然而，以这种噪声鲁棒性为代价，当没有这种虚假观测时，性能可能会下降。因此，任何推理机不仅要对噪声异常值具有鲁棒性，还要对潜在的未知和时变噪声参数具有自适应性；然而，它应该是可扩展的，并且易于实现。为了解决这些问题，我们在这里设想了一种新的噪声自适应Rao Blackwellized粒子滤波器（RBPF），它利用分层高斯模型作为任何非高斯（过程或测量）噪声密度的代理。这导致了一个条件线性高斯模型（CLGM），这是易于处理的。然而，该框架需要一个有效的过渡内核，用于粒子滤波器（PF）针对的棘手状态。这通常是未知的。我们概述了如何使用辅助潜变量方法，至少对于包含许多常见非高斯噪声的特定类，可证明地构造这样的核。数值研究证明了RBPF算法的有效性。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Computation        计算
分类描述：Algorithms, Simulation, Visualization
算法、模拟、可视化
--
一级分类：Computer Science        计算机科学
二级分类：Robotics        机器人学
分类描述：Roughly includes material in ACM Subject Class I.2.9.
大致包括ACM科目I.2.9类的材料。
--
一级分类：Computer Science        计算机科学
二级分类：Systems and Control        系统与控制
分类描述：cs.SY is an alias for eess.SY. This section includes theoretical and experimental research covering all facets of automatic control systems. The section is focused on methods of control system analysis and design using tools of modeling, simulation and optimization. Specific areas of research include nonlinear, distributed, adaptive, stochastic and robust control in addition to hybrid and discrete event systems. Application areas include automotive and aerospace control systems, network control, biological systems, multiagent and cooperative control, robotics, reinforcement learning, sensor networks, control of cyber-physical and energy-related systems, and control of computing systems.
cs.sy是eess.sy的别名。本部分包括理论和实验研究，涵盖了自动控制系统的各个方面。本节主要介绍利用建模、仿真和优化工具进行控制系统分析和设计的方法。具体研究领域包括非线性、分布式、自适应、随机和鲁棒控制，以及混合和离散事件系统。应用领域包括汽车和航空航天控制系统、网络控制、生物系统、多智能体和协作控制、机器人学、强化学习、传感器网络、信息物理和能源相关系统的控制以及计算系统的控制。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--

---
PDF下载：
--> Noise_Robust_Online_Inference_for_Linear_Dynamic_Systems.pdf (662.27 KB)

2022-5-8 03:36:43 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：动态系统 observations Experimental Quantitative Hierarchical

线性动态系统的噪声鲁棒在线推理aikat-sahaab摘要我们重新研究了非高斯环境下线性动态系统（LDS）的贝叶斯在线推理问题。噪声自然可以是非高斯（倾斜和/或重尾）或为了适应虚假观测，噪声可以建模为重尾。然而，以这种噪声鲁棒性为代价，当没有这种虚假观测时，性能可能会下降。因此，任何推理机不仅要对噪声异常具有鲁棒性，还要对潜在的未知和时变噪声参数具有自适应性；然而，它应该是可扩展的，并且易于实现。为了解决这些问题，我们在这里设想了一种新的噪声自适应Rao黑井化粒子滤波器（RBPF），该滤波器使用分层高斯模型作为任何非高斯（过程或测量）噪声密度的代理。这导致了一个条件线性高斯模型（CLGM），这是易于处理的。然而，该框架需要一个有效的过渡内核，用于粒子过滤器（PF）针对的棘手状态。这通常是未知的。我们概述了如何使用辅助潜在变量方法，至少对于包含许多常见非高斯噪声的特定类，可证明地构造这样的核。数值研究证明了RBPF算法的有效性。指数项自适应滤波器；Rao黑井化颗粒过滤器；噪声鲁棒推理；卡尔曼滤波器；不对称噪声；I.简介信号处理界感兴趣的许多应用（例如，跟踪、自主导航和监视）要求必须使用theS在近实时（在线）上进行推理。萨哈是瑞典林克平大学电气工程系自动控制系的成员，saha@isy.liu.seDRAFTstreaming传感器数据。

然而，底层推理机的稳定性和性能在很大程度上取决于传感器数据的质量。通常，在传递给推理机之前，需要检测并丢弃任何虚假的传感器数据，以便后者不易发生永久性故障。近年来，传感器变得越来越便宜，但这是以牺牲其性能可靠性为代价的。这种廉价传感器的普及为探索许多复杂的高维问题（例如，运动跟踪、道路交通监控）提供了可能，而迄今为止，只有数量有限的昂贵传感器无法解决这些问题。这种使用廉价传感器的趋势反过来更加强调处理算法，以至于任何推理算法（可能具有更强大的计算能力）都需要对此类虚假传感器数据具有鲁棒性和稳定性；然而，它的实现非常简单，并且可以极大地扩展到高维问题。在此背景下，我们考虑离散时间LDS的在线推理问题。A.问题背景考虑以下与潜在状态xk相关的离散时间LDS∈ Rnxat时间步长k到观测值yk∈ Rnyasxk=Akxk-1+Bkwk，（1a）yk=Ckxk+ek，（1b）其中wk和ek分别是过程噪声和测量噪声。假设噪声相互独立，也相互独立。模型参数{Ak，Bk，Ck}在这里被认为是已知的。考虑到这个模型，一个初始状态先验（即p（x））和一个直到时间k，y0:k，{y，y，…，yk}的观测流，一个典型的推理任务是以在线方式优化估计（后）密度序列p（xk | y1:k）。这被称为LDS的在线贝叶斯过滤问题，密度p（xk | y1:k）被称为过滤密度。

当上述噪声为高斯噪声时，可使用CeleratedKalman滤波器（KF）[1]–[3]以闭合形式递归获得滤波器密度。然而，如果任何噪声偏离了这种名义高斯假设，这种分析可处理性就会丧失。在现实中，许多噪声源自然看起来是非高斯的（以它们的重尾和/或偏斜为特征）。例如，在语音和音频信号处理、天体物理成像、水下导航、多用户雷达通信、石油钻井井涌检测、金融和保险等许多应用中，都会出现具有脉冲性质的噪声（尖峰和/或偶然爆发）。这种脉冲性质可以通过一个比高斯分布具有更重尾巴的噪声分布来建模。重尾分布也被用来模拟所谓的异常值的存在，这些异常值是数据点，似乎不遵循其他数据点的模式[12]。来自视觉传感器、GPS设备、声纳和雷达的数据经常受到这些异常值的污染。由于复杂性和计算问题，这些离奇观测的根本原因通常是未知的，或者被谨慎地排除在模型之外。因此，在这种复杂现实世界过程的简化模型下，这些不寻常的观察结果可以由噪声异常值来处理。这就要求噪声具有重尾分布[13]。在滤波环境中，当带有特定高斯噪声的标称模型无法解释未知输入信号中的异常值或突变时，滤波器变得不稳定。

由于在现实世界中的应用中，我们对系统的知识往往很薄弱，而且异常值也很常见，因此，重尾噪声下的滤波问题自然引起了相当多的研究关注[14]–[17]。我们注意到，在滤波的情况下，过程和/或观测噪声可能有很重的尾部。虽然重尾观测噪声受到了广泛关注，但在机动目标跟踪等应用中，对飞行员偶尔引起的变化进行建模需要重尾过程噪声[18]。与此相反，尽管偏斜出现在许多应用中[19]，但相关的在线推理问题尚未得到很好的探索。由于建模伪影，也可能出现非高斯噪声。我们通过下面的例子来说明最后一点：1）随机波动率模型：我们考虑以下离散时间模型[21]hk+1=γ+γhk+ηk，（2a）yk=kexp（hk/2），（2b），其中hk和yk是|γ|<1，h的时间步k的潜在对数波动率和观察到的资产回报率~ N（0，σn1）-γ） ηkiid~ N（0，σN）和基德~ N（0，1），其中iid表示独立且相同分布。γ、 假设γ和σn已知。这里ηkis与k、 即不考虑杠杆效应。请注意，测量噪声是乘性的。上述动态模型可等效为线性状态空间模型：hk+1=γ+γhk+ηk，（3a）log（yk）=hk+log(k） 。（3b）一个值得注意的例外是最近的一篇文章[20]，它引起了我们的注意。但是观察到的噪音≡ 日志(k） ，作为χ随机变量的对数，不再是高斯分布。事实上，这种噪声的密度在解析上是可用的，由（例如，[22]）f（ek）给出=√2πexp- 0.5特警（埃克）- 埃克, -∞ < 埃克∞. （4） 从图（1）可以明显看出，密度是高度倾斜的。

因此，我们有一个由-15-10-EkPDF的5 0 500.050.10.150.20.25ekpdf图1（4）中观测噪声的密度图。非高斯（测量）噪声。虽然噪声分布无疑是推理任务的关键因素，但实际考虑的另一个同样重要的方面是噪声统计知识。在许多实际情况下，虽然噪声分布的先验知识相当可用，但相应的噪声参数通常是未知的。因此，此外，还需要在钻井上估计噪声参数。这就是所谓的在线噪声自适应滤波。当噪声参数是平稳的时，已知参数的在线贝叶斯估计是困难的，一个实用的解决方案是假设噪声参数在时间上缓慢变化[23]。然而，如果存在任何潜在的异常值，这个假设很容易被打破。为了去除异常值，通常会使用一些机制来检测并立即丢弃它们。然而，此类外围观测可能包含有关任何未建模系统特征和模型退化的重要信息，因此，如[24]所述，“常规忽略异常观测既不明智，也不可靠”。另一方面，尽管可以通过使用已知参数族中适当指定的重尾噪声分布来适应这些异常值，但如果没有异常值，滤波器的性能可能会严重降低。这是由于使用了固定的分配形式。为了缓解噪声自适应滤波中的这一问题，我们需要使用参数随时间变化的重尾噪声。

然而，在在线设置中处理通风非平稳噪声参数是非常具有挑战性的，因为在实践中，这些参数的相应动力学不容易预先确定。B.之前的工作在非高斯环境下改进KF算法的工作有很长的历史。早期的尝试主要基于存在异常值时的稳健性论证。这些问题主要通过使用椭圆噪声分布的分析近似或KF更新步骤中的启发式成本函数来解决。基于椭圆噪声的方法[25]，[26]不稳健，因为后验平均值作为残差的函数是无界的，而基于特殊成本函数的方法（例如[27]，[28]）需要调整参数，与KF相比，它们的实现非常复杂。后来，基于模拟的方法（例如，PF）[24]，[29]由于易于实现而变得流行。然而，主要的缺点是它们的不可伸缩性和计算成本[30]。最近几篇文章使用变分贝叶斯（VB）[14]、[15]、[17]和基于凸优化的方法[31]解决了过滤问题。尽管VBA方法具有很强的可扩展性，但总体而言，它需要相当复杂的数学推导，并且已知它始终低估了后验协方差。所有这些最新研究的共同点是仅在观测噪声中假设异常值。[15]、[17]、[31]的方法不适用于任何持久性（时间相关）噪声异常值。此外，[15]考虑了噪声参数的启发式转换模型（如[14]所观察到的，滤波器在噪声突变下不稳定），而[14]，[31]需要用户提供额外的输入参数。

最近，观察到VB basedalgorithms对过程噪声异常非常敏感，[16]提出了一种分析近似basedt filter，其中过程噪声和观测噪声都是学生的t。这里的近似要求估计的状态和过程/观测噪声与公共自由度（dof）参数联合。为了保持这些假设，并防止滤波器递归中dof参数的增长，每一步都需要仔细调整。在所有情况下，噪声类都被隐式假定为对称的，而学生则不是。从上述文献中，我们看到许多现有的方法需要手动调整参数，而且与众所周知的KF相比，它们的实现基本上都涉及到。因此，任何未来的推理框架在理想情况下都应该没有这种启发式调优，实现应该简单易懂。此外，任何未来的框架都应该能够处理（a）不对称噪声和（b）对称重尾噪声，而不是学生的t.DRAFTC。鉴于上述观点，我们考虑在一个相当普遍和现实的场景下对LDS进行在线推断。通过连续放弃以下常见假设，分两个阶段解决这一问题：（a）噪声为高斯噪声，（b）噪声参数已知。在第一阶段，我们考虑（已知）平稳非高斯环境下的LDS。相应的推理任务在分析上很难处理。在我们的方法中，我们设想一个层次化的高斯模型（HGM）作为任何非高斯噪声的代理。该模型可以表示非高斯噪声的典型特征——倾斜和/或重尾。这样的表示允许我们利用CLGM，它可以使用KF进行分析处理。

这反过来又导致了在线推理任务的RBPF框架。由于在RBPF框架内，PF被限定为一个低维空间，因此它可以作为扩展到高维问题的一个促成因素。本文提出的框架使用了一个简单易懂的KFs库；复杂之处在于我们如何混合和传播不同KF的输出，以获得目标过滤器密度。尽管这个RBPF框架并不完全是新的[32]，但PF isoften dif fict针对的状态转换内核的一个适当规范以及这一技术方面很少受到关注。我们详细阐述了这个问题，并针对特定类别的噪声（广泛使用的学生t是一种特殊情况）解决了适当的转换内核。对于第二阶段，我们指出RBPF框架已经在进行噪声自适应滤波。然而，为了使滤波器对任何大的噪声偏差都具有鲁棒性，我们需要事先了解这种偏差。在许多实际应用中，这通常是众所周知的。对于这种情况，我们概述了如何在噪声中对这些信息进行编码。这就完成了我们的噪声鲁棒在线推理框架。这篇文章的结构这篇文章的其余部分的结构如下。我们首先在第二节中简要介绍了HGM，在第三节中简要介绍了基于模拟的在线滤波。然后在第四节中为平稳非高斯环境下的LDS开发了拟议的参考框架。然后在第五节中介绍了如何将上述框架用于稳健的噪声自适应滤波，数值实验如第六节所示，第七节为结论。DRAFTII。非高斯密度的分层高斯模型（HGM）非高斯密度通常以重尾和/或偏斜的存在为特征。

许多这样的密度通常可以建模为层次高斯分布。也就是说，密度可以有条件地用一个辅助随机变量（称为“混合参数”）表示为高斯分布。我们概述了这种层次高斯表示的简要描述。为了演示的清晰性，我们考虑了两个基于底层密度对称性的独立类。当密度对称时，HGM表示为标准混合（SMN），也称为标准方差混合（NVM）。对于非对称密度，它表示为正态方差-均值混合（NVMM）模型。A.正态的尺度混合随机向量X具有正态密度的尺度混合，如果它可以表示为以下X=u+κ（λ）Z，（5）其中u是位置向量，Z根据协方差矩阵∑的零均值多元正态分布，κ是正权函数。∧是一个随机变量，称为混合参数，分布在正实线上，与Z无关。注意，在∧=λ的条件下，X遵循多元正态分布，具有平均向量u和协方差矩阵κ（λ）∑，即（X |∧=λ）~ N（x |u，κ（λ）∑）。然后，X的概率密度函数（pdf）可以表示为asp（X）=Z∞N（x |u，κ（λ）∑）p（λ）dλ，（6）其中p（λ）是∧的密度函数。p（λ）被称为SMN表示的混合密度。SMN的对称类包括受欢迎的学生t、Pearson型VIIfamily、斜线和方差gamma分布。与正态分布相比，所有这些分布的特征都是它们的随机尾。