随机分析过滤理论研讨会

例如，如果我们先验地知道X只对几个傅里叶基函数有显著的响应，我们可以通过搜索几个傅里叶系数的域来缩短算法的搜索时间。7.1.2傅里叶变换和带宽滤波器傅里叶变换和快速傅里叶变换（FFT）算法可轻松用作线性滤波器。傅里叶基函数可以用于周期函数的谱分解，但我们可以在不丧失普遍性的情况下扩展观测到的有限向量（Y，…，YN）-1） 只需将一个向后的副本连接起来，就可以转换为一个周期函数。有了周期性，我们可以使用FFT过滤掉我们事先确定不属于信号一部分的频率。换句话说，我们对观察到的数据应用FFT，然后通过只考虑信号所在带宽内系数的逆FFT来重构信号。让我来*表示Y的傅里叶变换，定义为*k=N-1Xn=0e2πInkny和逆傅里叶变换yn=NN-1Xk=0e-2πiNknY*kwhich允许我们重建测量。带宽滤波器的核心思想是，信号存在于特定的频率范围内。例如，从Linearity我们有*= 十、*+ W*如果我们知道X的傅里叶系数的支持度包含在一个集合K中{0，…，N- 1} 这样xn=NXk∈柯-2πiNknX*k、 然后，我们可以根据相关带宽构造一个估计值。bX=NXk∈柯-2πiNknY*k、 图7.1：被认为是信号的随机游动的FFT，以及被认为是噪声的iid随机变量的FFT。噪声占据信号没有的中频。

因此，我们只需在不考虑中间层系数的情况下反转FFT，即可构建和过滤带宽。图7.2：去除中频的带宽滤波器。估计的信号比原始测量结果更清晰，信噪比也有所增加，从sn-RY=kXk/NPnWn=7.53增加到SNRbX=kXk/NPn（Xn）-bXn=55.10，其中MSE=NPn（Xn-bXn）=0.0594。例如，假设X是一个随机游动，Y等于X加上相当大的噪声，Xn=Xn-1+BnYn=Xn+γwn，其中bn和wn是独立的白噪声，γ>0。我们应该尝试通过观察随机游动的FFT支持度，并将其与噪声的FFT进行比较，来识别包含X傅里叶系数支持度的带宽。从图7.1中我们可以看出，随机游动的主要傅里叶系数要么极高，要么极低，而噪声的傅里叶系数均匀分布在所有带宽上。如果我们将KT设为仅包含噪声的高频和低频，则重构信号将具有更高的SNR，SNRY=kX*千瓦*k=kX*凯基*- 十、*k=kX*kPn-1k=0E | Y*K- 十、*k |=kX*kPk∈科伊*K- 十、*k |+Pk/∈科伊*k |<kX*kPk∈科伊*K- 十、*k |=kX*kPk∈KE | bX*K- 十、*k |=kX*kEkbX*- 十、*k=SNRbX。事实上，如图7.2所示，当我们消除中层频率时，信号变得更清晰，信噪比从原始测量值的7.53增加到带宽滤波估计值的55.10，均方误差=0.0594.7.1.3小波滤波器小波是一种有用的工具，可用于识别噪声损坏信号的局部行为。通常情况下，测量值包含足够的信息，以便有人破译潜在的信号，这通常是因为测量值可以忽略噪声并确定测量中的运动是由信号引起的。

这正是小波的工作原理：每个小波表示信号能够做出的运动，任何与小波产生共振的信号片段都会被移除并放置在各自的位置，作为基础信号无噪重建的一部分。小波基由一组自相似函数ψk`n=2k/2ψk（n）组成-`)对于整数k和`，其中无索引函数ψ是“母小波”。有用的小波具有相对于信号长度较小的支持（例如supp（ψ） N） ，and by construction的和应为零，且范数为1，Xn∈supp（ψ）ψn=0，Xn∈supp（ψ）|ψn |=1，其中supp（ψ）表示小波的支持。小波由k和`索引，其中k是一个扩张，而`是一个平移。选择小波的指数来形成正交基N-1Xn=0ψk`nψk`n=1k=k`=`，与任何其他谱方法一样，我们可以从其小波变换中重构函数，Yn=Xk，`DY，ψk`Eψk`n≤ N- 1，h·，·i表示内积。并不是所有的小波都可以用来形成正交基（例如墨西哥帽），但这样的小波不应该被忽略。相反，没有正交基的小波只需要使用谱分解以外的方法。对于一个信号处理问题，选择一个特定的小波是因为它与信号能够处理的局部行为的一般相似性。本质上，我们用不同厚度k的小波对函数进行卷积，这样在每次移位时，小波的局部形状都有机会与输入函数相匹配。人们使用的小波族取决于信号的性质。在离散正交基的构造中，一些可能使用的变量是symlet、coi flet、Daubechies和Haar。

图7.3显示了symlet24、Daubechies24、coi fleet5和Haar的“母小波”。Symlet、coi flet和Daubechie小波可以根据其各自的差异程度来定义。例如，一系列symlet-5小波由一个至少有6个导数的母小波生成，因此前5个小波矩为零，Xn∈对于p=0，1，2，3，4，5，supp（ψ）ψnnp=0。一般来说，具有p+1倍可微性且尾部衰减足够快的小波将产生p个消失矩。当使用小波去噪第7.1.2节中的随机行走示例时，有许多选择，例如使用哪些小波，以及在什么参数值下，我们将去噪，而不是去噪信号。图7.4显示了小波从噪声测量中提取信号的能力，表7.1.3显示了这些小波如何更好地去除第7.1.2节中带宽滤波器的噪声。图7.3：可用于构造正交基的一些小波示例。表7.1：随机行走示例中的小波去噪。小波SNR MSEcoif2 64.90 0.0549sym2 57.89 0.0581db2 57.89 0.0581coif5 59.32 0.0573sym5 58.38 0.0578db5 57.78 0.0581haar 56.09 0.0589图7.4：如果我们使用适当的小波族，并且如果我们知道基波的哪些级别与信号无关，则小波对测量结果的去噪是有效的。7.2线性高斯模型一种特殊情况是，脉冲响应是带有高斯噪声的线性模型，Yn=Xn+Wn，其中R.=EW是平均零高斯噪声的方差/协方差矩阵。简单地假设噪声是高斯噪声，我们就能更好地推断信号的状态。

在最简单的情况下，仅仅知道系统的协方差特性就足以在正交基上进行投影，如果模型可以显示为联合高斯结构，则投影甚至可能是后验期望。如果我们进一步假设信号根据独立的高斯模型演化，我们可以应用卡尔曼滤波器，这对于跟踪隐藏的马尔科夫过程，尤其是多维过程非常有效。7.2.1维纳滤波器将数据Y=（Y，…，YN），信号X=（X，…，XN）与噪声EW=（W，…，WN）组合，因此Y=X+ww，其中EW=0，噪声的协方差矩阵isR=EW W和X isQ的协方差矩阵E[（X）- EX）X]。Y引入的信息可以封装在创新中，V.=Y- X的最佳线性估计是它的投影PYXEX+GV，其中矩阵G是以使投影误差与后验信息正交的方式预先定义的：0=E[（X- PYX）Y]=E（十）- 前任- GV）Y= E（十）- X）X+ 工厂交货- EG（Y）- 前）Y= Q- G（Q+R）(*)我们假设EXW=0，因为结构产生的噪声应独立于信号。如果我们解决(*) 我们得到g=Q（Q+R）-1（7.1），这是最佳投影矩阵。维纳滤波器本质上是一个线性投影，使用（7.1）中的矩阵。

注意，我们对随机变量的分布做了最小的假设；我们假设我们知道X的均值和协方差结构，以及Y中的驱动噪声。如果我们假设（X，Y）是联合高斯分布，那么任何分布与X相同的随机变量在分布上等于一个随机变量，该随机变量是Y和另一个独立于Y的高斯分量的线性和，X=dEX+F（Y）- EX）+Fz，其中Fand是系数的非随机矩阵，Z是均值零高斯且与Y无关。通过这种表示，我们得到了e[X | Y]=dEX+FV。现在，根据Y和Z的独立性，我们必须有0=E（十）- E[X | Y]）Y这导致了解F=G，其中G是（7.1）给出的投影矩阵。总的来说，均方误差以后验平均值EkX为界- E[X | Y]k≤ EkX-PYXk。但如果Y和X不是联合高斯分布，则可以证明投影的均方误差将严格大于后验平均值。在图7.5中，维纳滤波器用于跟踪第7.1.2节中的随机行走示例。对于随机行走示例，矩阵为=1 1 1 1 . . . 11 2 2 2 . . . 21 2 3 3 . . . 31 2 3 4 . . . 4.1 2 3 4 . . . N, R=IN×N病态，但N=1000时舍入误差不显著。事实上，维纳滤波器的信噪比和均方误差分别为85.79和0.0479，两者都优于小波和带宽滤波器中的最佳结果（最好的是具有消失矩的系数，其信噪比=64.90，均方误差=0.0549）。这个例子说明了在所有后验估计量中，维纳滤波器如何是最优的。图7.5：应用于随机行走的维纳滤波器。信噪比=85.69，均方误差=0.0479。与带宽滤波器相比，信噪比/均方误差更高/更低，因为维纳滤波器是最佳后验估计器。备注4。

维纳滤波器与惩罚加权最小二乘问题的相似性从以下最小化的一阶条件minX中可以明显看出XQ-1X- X（Q+R）-1Y.备注5。当X=（X，X，…，XN-1） 是一个联合高斯混合模型的实现，维纳滤波器不仅返回后验平均值，还返回最大似然X的路径。在这种情况下，估计量bxn<n-1可以被认为是平滑而不是滤波，因为它是对状态过去值的估计，bXn=E[Xn | Y0:N-1] 对于n<n- 1.备注6。用于计算Wienfer滤波器的数值线性代数不需要矩阵变换，但只需要解两个线性系统。注意，bX是线性系统（Q+R）Q的解-1bX |{z}=z=Yso首先我们求解一个线性系统的z（Q+R）z=yan，然后我们求解滤波器的bX=QZ。7.2.2卡尔曼滤波器可将卡尔曼滤波器视为维纳滤波器的推广，但对于信号模型更为具体的模型。事实上，卡尔曼滤波器是HMM的滤波器，其动态是高斯和完全线性的，Xn=AXn-1+BnYn=HXn+wn，其中W和B是独立的高斯随机变量，协方差矩阵q=EBnBnR=ewwn（7.2），两者均为正定义，且（X，Y）的分布为联合高斯分布。我们可以把这两个方程写成一个线性系统，XnYn=A 0HA 0Xn-1Yn-1.+√Q 0H√RBnWn（7.3）这显然是一个非退化高斯系统。事实上（7.3）有一个平稳的平均值，如果数字1不包括在a的光谱中。给定数据Y0:n=（Y，…，Yn），卡尔曼滤波器将通过迭代重新定义Xn的最佳投影，找到Xn到Y所跨越的高斯子空间的最佳投影-1到Y0:n所跨越的空间-1.

此外，由于（X，Y）是联合高斯分布的，所以最优投影将与后验平均值等价。在这种情况下，我们可以识别一系列高斯随机变量，它们是Innovationsvn伊恩- 哈布森-1，但这个想法基本上与维纳过滤器中的想法相同。最初，让bx=E[X | Y]我们使用维纳滤波器来获得bx=EX+G（Y）- 其中G=var（X）（R+var（X））-1.显然，X-bX⊥ Y、 我们可以很容易地确定（X，bX，Y）是联合高斯分布的，所以它遵循X-bXis独立于Y，因此后验协方差不是随机变量，∑=呃（X）-bX）XYi=E（X）-bX）X.现在我们进行归纳，以确定Xngiven Y0:n的过滤器。假设我们已经获得了时间n之前的过滤器- 1例为后部平均值bxn-1.=E[Xn-1 | Y0:n-1] ，Xn-1.-bXn-1独立于Y0:n-1，且协方差矩阵∑n-1.=Eh（Xn）-1.-bXn-1） Xn-1.Y0:n-1i=Eh（Xn-1.-bXn-1） Xn-1i。当观测值到达时，最佳投影为pnxnAbXn-1+gnvn，其中gni是在时间n已知的投影矩阵-1.这在伊恩被杀之前就已经知道了。我们可以验证o以Y0:n为条件的（Xn，Yn）分布-1是联合高斯分布，并且ovn与Y0:n无关-1，因此bxn=PnXn。

我们还可以为预测协方差矩阵∑n | n编写以下表达式-1.=Eh（Xn）- AbXn-1） XnY0:n-1i=Eh（AXn-10亿多- AbXn-1） （AXn）-1+Bn）i=A∑n-1A+q根据投影残差与数据的正交性，我们应该有一个满足以下等式的投影矩阵，0=Eh（Xn-bXn）YnY0:n-1i=Eh（Xn- AbXn-1） 新罕布什尔州Y0:n-1i- EhGn伊恩- 哈布森-1.伊恩Y0:n-1i=∑n | n-1小时- GnH∑n | n-1H+R.我们求解该方程以获得最佳投影矩阵，也称为卡尔曼滤波增益矩阵xgn=∑n | n-1小时H∑n | n-1H+R-1（7.4）使用增益矩阵，我们可以将后验平均值作为创新和前一次后验平均值bxn=AbXn的递推函数写入-1+GnVn。（7.5）此外，我们可以验证（Xn，bXn，Yn）的条件分布是jointlyGaussian的，并且因为E[（Xn-bXn）Ym]=0表示所有m≤ n、 因此Xn-bxn与Y0:n无关。因此，协方差矩阵不是数据∑n=Eh（Xn）的函数-bXn）Xni=Eh（Xn-bXn）XnY0:n-1i=Eh（Xn- AbXn-1） XnY0:n-1i- GnEh（Yn- 哈布森-1） XnY0:n-1i=A∑n-1A+Q- GnHA∑n-1A+Q= （一）- GnH）∑n | n-1.总结一下，我们已经证明Xn-bXn~ N（0，∑N）独立于Y0:N，并根据方程（7.4），（7.5）以及∑N | N的方程-1和∑n我们在时间n∑n | n处有卡尔曼滤波器-1=A∑n-1A+QGn=∑n | n-1小时H∑n | n-1H+R-1bXn=AbXn-1+GnVn∑n=（I）-GnH）∑n | n-1xNISP的后验密度（Xn∈ dx | Y0:n）=（2π|∑n |）d/2exp-（十）-bXn）∑-1n（x）-bXn）其中d是Xn的尺寸∈ Rd.在图7.6中，我们看到了卡尔曼滤波器跟踪同一随机游动示例的能力，我们在该示例上测试了第7.1.2、7.1.3和7.2.1节中的滤波器。图7.6：应用于随机行走示例的卡尔曼滤波器。

Kalman滤波器估计的路径总体上不是最优的，但是Kalman滤波器返回的每一条路径在给定信息Y0:n的情况下都是最优的。随机游走模型是Xn=Xn-1+BnYn=Xn+γWn。随机游动的卡尔曼滤波器isGn=（n∑）-1+ 1)∑n-1+ 1 + γ-1bXn=bXn-1+Gn（Yn）-bXn-1） ∑n=（1）- Gn）（n）-1+ 1) .给定Y0:N，卡尔曼滤波器返回XN的最佳估计量，而不是X所采用的整个路径。事实上，卡尔曼滤波器的路径SNR=43.88，MSE=0.0668，两者都比其他滤波器好。但这个例子不应该成为卡尔曼滤波的证据，它只是表明，事先估计信号的整个过程并不是它的特长。当Kalman滤波器应用于X是多维向量的问题时，它远远优于我们讨论过的其他滤波器。当每个观测值都是一个向量时，维数的过程使得无法使用带宽和小波所需的基，维纳滤波器所需的矩阵的大小也非常大。另一方面，卡尔曼滤波器工作高效且实时。备注7。对于HMMs，卡尔曼滤波器和维纳滤波器在估计信号的最新值bXwienerN时是一致的-1=E[XN-1 | Y0:N-1] =bXkalmanN-1.备注8。卡尔曼滤波器确实能够处理高维信号，但在计算增益矩阵时，不存在避免矩阵逆显式计算的通用程序。有时这种逆运算可能是可控的，但我们计算矩阵逆运算能力的局限性代表了卡尔曼滤波器容量的上限。第8章Baum-Welch&ViterbialGorithms完全离散HMM类的滤波方程相对简单，可以通过后验概率的贝叶斯处理来推导。