随机分析过滤理论研讨会

现在注意以下几点：o（Xt，Ys）对于任何s都是联合高斯分布的≤ t、 obXtis Gaussian和{Ys}s的线性函数≤t、 o因此，（Xt，bXt，Ys）对于任何s都是联合高斯的≤ to尤其如此(t、 Ys）对于任何s都是联合高斯且不相关的≤ t、 所以，它独立于FYt（更多详细讨论见[5,36]），因此滤波器为高斯滤波器。如果我们将定理5.2.1中的滤波器应用于g（x）=x，则得出ft=γE[t | FYt]=γEt、 以及第一次过滤力矩Dbxt=abXtdt+h·E演变的SDEtγdνt.（5.4）我们还可以应用It^o引理，然后取期望值，这将导致滤波器协方差演化的Riccative方程[t] =2aE[t] dt+σdt+E[ft]dt=2aE[t] dt+σdt-h·E[t] γdt（5.5），其中我们使用了dνt·dBt=0，E[ft]=γE这一事实E[t] E[[t]=γE[t] 。方程（5.4）和（5.5）是卡尔曼滤波器。第6章逼近非线性滤波器的数值方法在实践中，只能对完全离散的模型或应用卡尔曼滤波器的离散时间线性高斯模型计算精确滤波器。在其他情况下，近似方案的一致性可能相对较小，而在其他情况下，则需要进行大量分析。在本课程中，我们将介绍Kushner[33]关于逼近滤波器一致性的一般理论，以及Dupuis和Kushner[21]的马尔可夫链逼近方法。但首先，我们给出了以下关于滤波近似的简单结果：例6.0.1。设Xt为不可观测的马尔可夫过程，观测过程由SDEdYt=h（t，Xt）dt+γdwt给出，其中Wt为独立的维纳过程，γ>0。对于区间[0，t]的任意分为N个点，设FNt=σ{Ytn:N≤ N} ，并用FYt=σ{Ys:s表示连续观测产生的过滤≤ t} 。

假设是fnt FN+1t . . . ···  FYt，那么从YT的连续性我们知道∞N=1FNt=FYt。然后，根据L’evy的0-1定律，我们知道条件期望收敛，limNE[g（Xt）|FNt]=E“g（Xt）∞_N=1FNt#=E[g（Xt）|FYt]。对于任意可积函数g（x）。这清楚地表明，具有离散观测的滤波器可以是具有连续观测的滤波器的一致估计。然而，使用离散观测值计算滤波器可能仍然需要一些近似值。6.1非线性滤波器的逼近定理在本节中，我们给出了一个定理的证明，该定理本质上是这样的：边界函数的滤波期望可以通过从隐藏状态弱收敛到真实状态的模型中导出的滤波器来逼近。该定理是在连续时间过程和连续观测的背景下提出的，但可以在其他情况下重新应用，且变化相对较小。对一些人来说∞ 还有什么t∈ [0，T]，设Xt是一个不可观测的马尔可夫过程，其生成元Q为域B（Q），且设Bb（Q）表示有界函数inB（Q）的子集。对于任何函数g∈ Bb（Q），我们有以下极限[g（Xt+t） |Xt=x]- g（x）T→ Qg（x）ast&0。观察到的过程由SDEdYt=h（Xt）dt+γdWt（6.1）给出，其中wt是一个独立的维纳过程，γ>0，h是一个有界函数。任何时候都可以∈ [0，T]，设FYt=σ{Ys:s≤ t} 。

从我们对Zakai方程的研究中，我们知道我们可以写出过滤期望asE[g（Xt）|FYt]=E[g（~Xt）~Mt | FYt]E[~Mt | FYt]（6.2），其中| X的路径与X的路径具有相同的规律，但与（X，Y）无关，并且Mt是似然比| Mt exp.=γZth（~Xs）dYs-2γZth（~Xs）ds.Zakai方程可以为我们提供过滤期望的SDE，但计算Zakai方程的直接数值求积方法可能难以证明其合理性。6.1.1弱收敛为了逼近非线性滤波器，我们将用一系列弱收敛于X的过程{Xn}来逼近X。设{Pn}是度量空间D上的一系列测度。定义6.1.1。弱收敛。Pnis弱收敛于P-ifZf（x）dPn（x）→Zf（x）dP（x）as n→ ∞对于任意有界连续函数f:D→ R.对于诱导过程{Xn}n，通过写入Xn，wedenote弱收敛=> 十、定义6.1.2。紧密性。我们说，如果可能的话，这一系列措施都很严格 > 0存在一个紧集K D.这样的结果n（K）) ≥ 1.- .如果是这样，我们也可以说诱导过程{Xn}是紧密的。关于紧密性的一个重要结果是普罗霍罗夫定理：定理6.1.1。普罗霍罗夫。如果D是一个完备的可分度量空间，那么D上所有概率测度空间中包含的{Pn}族在弱收敛拓扑中是相对紧的，如果它是紧的。在我们的研究中，我们将考虑具有左手极限的右连续过程X（c\'adl\'ag）。设D[0，T]表示从[0，T]到R的c\'adl\'ag函数的空间，配备了Skorohod拓扑。

如果一系列概率测度{Pn}是紧的，那么通过证明诱导过程{Xn}的定律收敛于相关鞅问题的解的定律，可以证明Pn对X上测度的弱收敛性g（Xnt）- g（Xns）-ZtsQg（Xnτ）dτ财政司司长→ 概率为0的n→ ∞ 对于任何g（x）∈ Bb（Q），对于任何≤ t、 可以证明这个鞅问题的解的规律是唯一的。给定一个测度{Pn}n族，一个非常有用的工具是Skorohod表示定理，该定理如下所示：定理6.1.2。斯科罗霍德代表。设{Pn}nbe为完备可分度量空间上的测度族。如果pnp弱收敛于P，则存在概率空间（~Ohm,随机变量为X和X，其中oP（Xn∈ A） =Pn（A）对于所有n和任何集合A D[0，T]，o~P（X）∈ A） =P（A）对于任何集合A D[0，T]，o和Xn→~X ~P-a.s.作为n→ ∞.特别是，如果Xn→~X∈ C[0，T]a.s.在Skorohod拓扑中，收敛性在T中保持一致。关于弱收敛、Skorohod拓扑、鞅问题和Skorohod表示的详细处理，请参见Ethier和Kurtz[23]的书以及Yin和Zhang[47]的书。6.1.2一致性定理{Xn}n是与（X，Y）相同概率空间上的一组随机变量，当弱收敛于X时，设~xndnote一个独立于（X，Y）的xn的副本，将近似似然表示为~Mnt，~Mnt经验γZth（~Xns）dYs-2γZth（~Xns）ds并确定近似过滤期望值[g（Xt）]=E[g（~Xnt）~Mnt | FYt]E[~Mnt | FYt]T∈ [0，T]（6.3）对于任何函数g（x）∈ Bb（Q）∩ C（S）。然后我们有以下定理：定理6.1.3。

给定一个进程{Xn}族，它取D[0，T]中的值，在Skorohod拓扑中弱收敛到X∈ C[0，T]，则（6.3）中的近似滤波器将一致收敛≤TEnt[g（Xt）]- E[g（Xt）|FYt]→ 0代表Xt∈ C[0，T]的概率和平均值为n→ ∞, 对于任意函数g（x）∈ Bb（Q）∩ C（S）。证据（摘自[33]）为了证明这一点，我们可以忽略hterms INM和Mnt。设ζ和ζ是独立于W的有界过程，并考虑以下估计，V=E supt≤T经验ZtζsdWs- 经验ZtζsdWs. （6.4）我们将使用适用于实数a和b的下列不等式，|ea- eb|≤ |A.- b |（ea+eb）。（6.5）对于任何实值次鞅Nt，我们有以下不等式（见[30]），E supt≤TNt≤ 4ENT。（6.6）不等式（6.5）和适用于（6.4）收益率的Schwarz不等式，V≤ E监督≤TZt（ζs）- ζs）dWs*E监督≤T经验ZtζsdWs+ 经验ZtζsdWs（6.7）除以（6.6）（（6.7）中的第一项以4ERT |ζs为界- ζs|ds。为了限定第二个术语，我们使用以下事实：ZtζisdWs= E经验Zt |ζ为| ds对于i=1，2along和（6.6）以及expnRtζ是有界次鞅这一事实。利用这些事实，我们可以找到一个常数C，它依赖于T，ζ和ζ，比如v≤ C·EZT|ζs- ζs|ds。（6.8）证明定理是证明这一点的必要条件≤TE[g（~Xnt）~Mnt |FYt]- E[g（~Xt）~Mt | FYt]→ 0的概率为n%∞. 从h和T的有界性可知≤T（Mnt）+E-supt≤T（Mt）<∞. （6.9）设X是独立于（X，Y）的X的副本。根据斯科罗霍德表示定理，我们可以假设W.L.O.G.{Xn}定义在与（~X，X，Y）相同的概率空间上，每个~~Xn独立于（X，Y），并且Xn→ 实际上，因为我们假设Xn在Skorohod拓扑上收敛到一个连续函数，我们知道收敛是一致的，对吗≤T|Xnt-~Xt|→ 0，a.s.作为n→ ∞.

特别是supt≤T | g（~Xnt）- g（~Xt）|Mnt→ 0 a.s.考虑到预期，我们有支持≤TE[g（~Xnt）~Mnt |FYt]- E[g（~Xt）~Mt | FYt]≤ E监督≤|g（|Xnt）- g（~Xt）|·| MntFYti+kgk∞E监督≤|Mnt-~Mt|费蒂≤ E“E”supt≤T|g（~Xnt）- g（~Xt）|·| MntFYt##+kgk∞E“E”supt≤T | Mnt-~Mt|FYt##≤ E“supt≤T|g（~Xnt）- g（~Xt）|·| Mnt#+ Ckgk∞EZTh（~Xns）- h（Xs）ds. （6.10）（6.10）中的第一项归零为n→ ∞ 在应用（6.9）中的界之后，然后调用支配收敛。（6.10）中的第二项由于（6.8）中的界而变为零。因此，近似滤波器在平均值和概率上都收敛。推论1。将定理6.1.3推广到任意X∈ D[0，T]使得Xn=> 十、 我们需要重做证明的结尾，以证明极限在点上成立，Ent[g（Xt）]- E[g（Xt）|FYt]→ 0代表Xt∈ D[0，T]的概率和平均值为n→ ∞, 几乎所有的地方都是这样∈ [0，T]，对于任何函数g（x）∈ Bb（Q）∩ C（S）.6.2马尔可夫链近似定理6.1.3直接适用于观测数据随时可用的情况。此外，连续的观测使我们在选择近似方案时具有一定的灵活性。6.2.1连续时间马尔可夫链的滤波器近似值应为有限状态马尔可夫链。考虑一个时间步长t=n.对于n fite，take=0,1,2,3,4，T/T-1表示马尔可夫链ξnk和转移概率p（ξnk+1=i |ξnk=j）=heQ*对于任何i，j∈ {1，…，m}。马尔可夫链xNK是离散的，但可以通过取Xnt=Pkξnkt来扩展到[0，T]∈[tk，tk+1），但这不是一个连续时间的马尔可夫链。XnT的非马尔可夫结构并不妨碍我们应用定理6.1.3，但如果我们能找到马尔可夫近似，则证明鞅问题的紧性和收敛性将更容易。设k=1，2，3，4。

，拿着νk~ iid exp（1），并设置τk=τk-1+νkτ=0的t。现在让ξnk成为我们已经定义的离散马尔可夫链，但现在考虑k直到τk+1≥ TXtis的连续时间近似，然后xnt=Xk：τk<Tt∈[τk，τk+1）ξnk.为了证明{Xn}在D[0，T]中是紧的，我们如下进行：取任意f∈ D[0，T]对于任何i=01，2，3，4。让Ji表示第i次跳跃的时间，Ji+1（f）=inf{t>Ji（f）：fnt6=fnJi}∧ T、 J（f）=0。f将军∈ D[0，T]这些Ji可能非常小，但它们将为近似连续时间马尔可夫链的过程提供信息。接下来，对于任何δ>0的情况，确定setAδ=F∈ {1，…，m}s.t.|fJi+1- fJi|≥ δ 冀+1≤ T.我们可以很容易地检查这一点∈ 交流δ）≤ 1.- eδmaxjQjj≤ -δmaxjQjj 1对于任何足够小的δ。此外，对于任何序列{fn}n Aδ我们可以找到一个子序列，使得对于任何一个i，我们都有ji（fn`）→ 钛∈ [iδ，T]和fn`Ji（fn`）→ 人工智能∈ {1，…，m}as`→ ∞. 因此，fn的→ 艾夫斯∈ [Ti，Ti+1），这表明存在逐点收敛的子序列。因此，由于D[0，T]配备了逐点度量，因此，Aδ是紧致的。现在，如果我们看鞅问题，我们有eg（Xnt）=Xk:kT≤tEg（Xtk）+Eg（\'X）=Xk:kT≤tEQg（Xtk）t+Eg（X）+O(t） 收敛到鞅问题t&0。因此，Xn=> X弱inD[0，T]。那么对于任何s，t∈ [0，T]当s<T时，任意路径的似然比变化由mns给出，T=exp（γXk:s<τk）≤th（Xn（τk）-1.∨s） ）（Yτk- Y（τk）-1.∨s） )-2γXk:s<τk≤th（Xτk）-1.∨s） （τk）- （τk）-1.∨ s） ））。在时间t，让近似滤波质量函数表示为ωt=（ωt。

，ωmt）。给定ωswe，过滤质量的递推公式如下：ωit=PjEhXt=iMns，tFYt∨ {Xs=j}iωjsPjEhMns，tFYt∨ {Xs=j}iωjs。6.2.2 SDEsLet系统的滤波器近似滤波问题如下：dxt=a（Xt）dt+σ（x）dBtdYt=h（Xt）dt+γdWtwith h有界，γ>0，和Wt⊥ Bt.如果σ（x）≥n | a（x）|代表所有x∈ R、 我们可以用一个马尔可夫链来逼近x，它在D[0，T]中表示路径，在Sn={0，±n，±n，…}中取值，定义如下：tn（x）=nσ（x），并且给定Xnt=x时间t+的条件概率分布tn（x）由p给出Xnt+tn（x）=x±nXnt=x=σ（x）±n | a（x）| 2σ（x）。通过使用指数到达，我们可以从离散时间马尔可夫链构造连续时间马尔可夫链，就像我们在有限状态马尔可夫链中所做的那样。接下来的过程是如下不同的，\'Xnt=X+Zta（\'Xns）ds+Ztσ（\'Xns）dωs+其中ω是一个独立的维纳过程，且n（t）是这样的半鞅≤T(n（t））→ 0as n→ ∞, 根据Ethier和Kurtz[23]第27页的定理2.7b，{Xn}对所有T<∞. 这个过程是[0，T]上X的局部一致逼近。6.2.3离散时间观测对于一般离散观测模型，定理6.1.3适用于所有{tn}n [0，T]的每个时间点都是一个观察时间。为了简单起见，假设Ytis未被观察到∈ （0,1）并且在t=0和t=1，Y=Y+Zh（Xs）ds+W时，只有观测值可用。并且假设Xt是有限状态空间上的马尔可夫链。我们递归地将滤波质量写成π（x）=P（x=x | Y，Y）=cXv∈SEhP（Y | Y，{Xs}s≤1)FY∨ {X=X，~X=v}ieQ*（x | v）π（v）式中，c是一个归一化常数，FY=σ{Y，Y}，过程x是x的一个副本，它独立于（x，Y），等式*t（·|·）是X的转移核，似然函数isP（Y | Y，{xs}s）≤1） =exp-Y- Y-Rh（xs）dsγ！对于任何路径{xs}s≤1.

我们用离散时间马尔可夫链Xnsuch thatP（Xnk+1=X | Xnk=X）=eQ来近似X*/n（x | x）在这种情况下，定理6.1.3在t=1时适用，因为xkh（Xnk）=>Zh（Xs）dsas n→ ∞.理论上，近似滤波器将收敛，但仍存在计算问题，因为随着n变小，我们需要设计一种方法来计算预期的可能性经验-Y- Y-nPn-1k=0h（~Xnk）γ！FY∨ {Xnn=x，~Xn=v}其中xn是独立于（X，Y）的xn的副本。也可以使用蒙特卡罗方法，但对xnn的期望条件可能会减慢收敛速度。第7章线性滤波一般线性模型中的滤波可能是滤波中应用最广泛的分支，但在线性环境中，“滤波”一词指的是与概率模型和方程基本不同的东西，这些概率模型和方程构成了数学家所说的“滤波理论”这些方法不是贝叶斯方法，概率的影响有时是最小的，但滤波理论中一些最重要的思想，例如创新的使用，可以追溯到它们在信号处理和“线性”滤波中的实用根源。7.1一般线性滤波器让整数n∈ {0,2，…，N- 1} 表示时间索引。提出滤波问题的最简单方法是将给定测量值识别为信号加噪声，Yn=Xn+wn，其中W是具有正协方差R的噪声分量，R`=EWn±\'wn表示某些整数值滞后\'。噪声可以被认为是特殊的，本质上意味着它与X正交，EXn+`Wn=0，在任何时间n和任何滞后时间。对于任何线性滤波器H:RN→ RM，脉冲响应是与测量值（H）的卷积* Y）k=（H）*十） k+（H）* W）k其中卷积是移位k（H）的函数* Y）k=M-1Xn=0XnHn-k、 如果k=0，卷积可以看作内积。

对于滤波器H，信噪比（SNR）定义为信号响应与噪声响应之比SNRH=kH* XkEkH* W k.线性滤波的目标是用Y，bX的投影来估计XH* Y、 或者至少提高信噪比，使我们处于更适合进行估计的位置。如果我们选择了信噪比最大的H，我们可以认为这样的估计是“最优的”。如果Bx是无偏估计器，那么最优估计器的SNR将大于原始测量的SNR，SNRY=kXkEkW k<kXkEkbXn- Xnk.=SNRBX显然，主要的障碍在于找到最佳线性滤波器。显然，如果对于所有m，n，如果exnwm=0，那么将H作为已知与X有非零内积但也已知与W正交的函数是有意义的。可能很难找到（更不用说反转）这样的滤波器。更重要的是，我们应该注意到，最大化SN RbXis与最小化均方误差（MSE）相同，MSE（bX）=EkX-bXk≈NXn | Xn-bXn |.7.1.1簧片/匹配滤波器簧片滤波器寻找映射X 7的线性滤波器H→ R具有最佳信噪比。由于Ris为正定义，因此存在一个可逆矩阵A，即R=Aa，我们可以将其与Cauchy-Schwarz不等式一起使用，以获得线性滤波器SNR的界，SNRH=| HX | HRH=| HAA-1X | HAAH=|（AH）（A）-1X）|（啊）（啊）≤|| | | |（A）-1X）（A）-1X）|（AH）（AH）=X（AA）-1X=XR-其中H，X和A分别是相应矩阵/向量的转置。达到该上限的线性滤波器Ishred=R-1X，产生最佳估计值asbXreed=arg maxxxHreed（Y）- x） HRED,但这需要对信号域进行搜索。然而，如果我们能将信号域参数化，就有可能将我们的搜索压缩成一个更简单的过程，只需要测试相对较少参数的信噪比。