随机微分方程的参数辨识

示例数据在本节中，我们考虑以下一般设置：oX是一个Banach空间，B X a凸子集，D Rda有界Lipschitz域，以及具有s>dan L基Sobolev空间的Hs（D）.o运算符F:B的范围→ Hs（D）由概率密度组成，即F（F）≥ 0和rdf（f）dx=1表示所有f∈ B.o存在R>1，因此supf∈BkF（f）kHs≤ R.of+∈ B是精确解，u+：=F（F+），o观测值由独立的随机变量Y，Yn与密度u+。回想一下经验测量Φnin（4）的定义。集中不平等。请注意ZD~ndΦn=ZD~nu+dx和VarZD~ndΦn=nZD k u+dx，只要右手侧定义良好。我们将需要一个浓度不均匀性，该不均匀性在φ中是一致的。我们的出发点是塔拉·格兰德[42]在开创性工作中的一个版本，这是由马萨特[29]引起的，并且有明确的约束。在我们的符号中，这个不等式的一个特例可以表述如下：定理4（文献[29]中的定理3]）。让F L∞（D） 成为一个与kаk可数的函数族∞≤ b为所有人∈ F.此外，letZ:=n sup~n∈FZD~n（dΦn）- u+dx）和v:=n sup~n∈FRD~nu+dx。ThenPhZ≥ （1+）E[Z]+p8vξ+κ（）bξi≤ 经验(-ξ） 对于所有，ξ>0，其中κ（）=2.5+32/。Massart也证明了Z左尾的一个类似不等式，但我们只需要一个上边的内质不等式，所以我们更愿意说一个偏差不等式。与[43]类似，在[35]中使用泊松过程的浓度不等式而不是定理4得出了类似的结果，我们给出了以下推论：推论5。存在一个常数Cc≥ 1仅依赖于D和D，因此对于ρ≥ RCC为一个ll n∈ NP“supk~nkHs（D）≤RZD~ndΦn- u+dx≥ρ√n#≤ 经验-ρRCc. （16） 当然。从定理4推导推论5最困难的部分是E[Z]的估计。

与[43，引理A.2]类似，我们可以证明E[Z]≤√NCR SDEs 9中的参数识别，常数Cd仅限于s和D。因为Hs（D）连续嵌入在L中∞（D） ，我们有k~nk∞≤ CR适用于所有人∈ Hs（D）和k k kHs≤ 其中是嵌入算子的形式≤ n（CR）为ku+kL=1。利用Hs（D）中球的可分性，并在定理4中选择=1，我们得到了“supk~nkHs（D）≤RZD~ndΦn- u+dx≥2C√n+C√8ξ√n+34.5CξnR#≤ 经验(-ξ).Asn≤√nand√ξ ≤ ξ代表ξ≥ 1，这就产生了（16），Cc:=2C+（34.5+√8） cρ=RCcξ。距离测量。为了说明我们的收敛定理，我们需要X和L（D）中的距离度量。与通常的变分正则化方法一样，当与罚项相关的Bregman距离为损失函数时，收敛速度加快。关于R和f的布雷格曼距离*∈ R（f+）isDf*R（f，f+）：=R（f）- R（f+）- 高频*, F- f+i.回想一下，对于希尔伯特空间中的二次惩罚，我们有Df*R（f，f+）=kf- f+k.因杰罗，Df*带Df的Ris非负*R（f+，f+）=0，但它既不是对称的，也不满足三角形不等式。L（D）中对应于（5）中引入的负对数概率的距离度量是Kullback-Leibler发散kL（u；v）：=ZDv- U- u ln似曾相识约定为0 ln 0:=0和ln（x）：=-∞ 为了x≤ 0.注意KL（u+；v）=ES（Φn；v）- S（Φn；u+）, 在另一种情况下，KL是负对数似然函数l的期望值，其加性常数的选择方式为KL（u+；v）≥ 0表示所有v和KL（u+；u+）=0。

如果u和v是概率密度，则上述公式简化了KL（u；v）=RDu ln（v/u）dx，但由于票价线性化的值通常不是密度，因此我们必须使用一般公式。注意这是（Φn；v）- S（Φn；u+）- KL（u+；v）=Z-lnvu+dΦn- u+dx.为了证明收敛速度，我们必须以足够大的概率来限制右手边的绝对值。原则上，这可以通过一个应用推论5来实现，其中的φ=-lnvu+。然而，这个推论只有当我们有一致的边界0<c时才适用≤vu+≤ C<∞ 对所有人来说∈ F（B），情况并非总是如此。因此，我们引入一个偏移参数τ>0，并使用KL（u++τ，v+τ）作为极限数据项，以及相应的经验数据项τ（Φn；v）=ZDvdx-ZDln（v+τ）（dΦn+τdx）使得sτ（Φn；v）- Sτ（Φn；u+）- KL（u++τ；v+τ）=Z-lnv+τu++τdΦn- u+dx.SDEs 10中的参数识别现在我们可以bounderr:=supv∈F（B）Sτ（Φn；v）- Sτ（Φn；u+）- KL（u++τ；v+τ）从supv开始使用推论5的概率很高∈F（B）k- lnv+τu++τkHs<∞ 在我们的假设下。收敛速度结果。为了获得收敛速度，我们需要解的某种光滑条件。源条件通常用于此目的。在Banach空间的正则化理论中，它们被表示为变分不等式（参见[22]和[18]了解与其他源条件公式的关系）。我们假设存在一个常数β>0，f*∈ R（f+）和aconcave，严格递增函数∧：[0，∞[ → [0, ∞[其中∧（0）=0，使得βDf*R（f，f+）≤ R（f）- R（f+）+∧吉隆坡u++τ；F（F）+τ尽管如此∈ B.（17）以下定理的证明现在完全类似于[43，定理4.3]的证明，但我们指出在[43，等式。

（10） 在左手边S（Gt；g+）应替换为S（Gt；g+），右侧ln（g+σ）替换为lng+σg++σ。定理6。如果u+满足某些τ>0的变分源条件（17），则S=Sτ的非线性Tikho-nov正则化（6）具有全局极小值bFα，并且选择正则化参数，使得α-1.∈ -( -Λ)2ρ√N, （18） 然后我们就有了eEhDf*f）i（bf）R+Λ√N, N→ ∞. （19） 为了证明牛顿型迭代的收敛性，我们还必须施加一个与我们的数据误差项相适应的切向锥条件。LetTτ（u；v）：=（KL（u+τ，v+τ）如果v≥ -τ/2∞ 其他的我们假设对于所有的f，g∈ bctctτu+；F（g）- ηTτu+；F（F）≤ Tτu+；F（F）+F′[F]（g）- f）≤ CtccTτu+；F（g）+ ηTτu+；F（F）（20） η足够小且Ctcc>1。我们还设置了Sτ（Φn；v）：=∞ 如果v≥ -τ/2. 然后我们可以在[24]中展示定理7。让我们的假设（17）、（20）成立。Ifbfkis由迭代牛顿法（7）定义，其中k∈ N是最大的指数，因此α-1k≤ 啜饮-(-Λ)2ρ√N, （21）SDEs 11THENHDF中的参数识别*R（buk，f+）i=OΛ√N. （22）备注1。（i） 对于迭代正则化的Gauss-Newton方法和Ldata fidelity项，存在相关结果。这些定理不是（20），而是假设切向锥条件（8）。Ka ltenbacherand Hofmann[26]、Hohage and Werner[24]或Dunker等人[14]证实了类似的结果。二次数据项的收敛率与（22）中的比率进行比较。（ii）选择规则（21）使用了关于指数函数∧的先验信息，这在实践中通常不可用。[24]中显示，可以使用数据驱动的Lepskii型参数选择。在最终的收敛速度中，只有对数因子最慢：EhDf*R（bfkLepskii，f+）i=OΛln（n）-1)√N.4.

漂移估计的收敛为了将定理6和7应用于泊松数据漂移估计问题，我们必须讨论假设（17）和（20）。为此，我们需要对Kullback-Leibler散度进行以下估计：引理8。不平等- ψkL≤k~nk∞+kψk∞KL（ψ；ψ）。（23）适用于所有非负函数ψ，ψ∈ L∞（D） 带- ψ ∈ L（D）。如果ψ从0开始有界，则kL（ψ；ψ）≤ψ∞k~n- ψkL。（24）项目。下限可以在[6]中找到。上界由简单估计x得出- 1.≥ 其中包含（x-1)≥ x ln x- x+1。设置x=ψ/ψ，我们得到ψ（ψ）- ψ)≥ ψ -φ - ~nlnψφ.积分D上的不等式并使用（1/ψ）（ψ）- ψ)≤ ψ/k1∞(φ - ψ） 收益率（24）。提案9。设s>d/2+1，τ>0，并假设d和σ是光滑的。对于每个u+∈ 存在一个球B {u：ku- u+kHs<ρ}以满足B中的Kullback-Leibler切向条件（20）。SDEs 12Prof中的参数识别。如[24，引理5.2]所示，经典切向锥条件（13）等价于toCu+- F（g）L- ~ηu+- F（F）L≤u+- F（F）- F′[F]（g）- f）L≤ Cu+- F（g）L+~ηu+- F（F）l对于某些常数η，C>0和所有f，g∈ B、 接下来，我们将证明F也可以连续地从H¨older空间C1，β（D，Rd）映射→ L∞（D） 。请注意，u到（1）的解决方案满足1u*!uλ！=！，其中1映射一个常数λ∈ R为D上λ值的常数函数，1*isits L-伴随。通过Schauder估计（参见[19]），将（块-）算子作为C2，β（D）×R的映射→ C0，β（D）×R有一个有界逆ifu∈ C1，β（D，Rd）。

由于在这些拓扑结构中，块运算符连续且非常线性地依赖于u，并且由于运算符反转是连续可微分的，因此F从C1，β（D，Rd）到C2，β（D）是连续可微分的，因此从C1，β（D，Rd）到L也是连续可微分的∞（D） 。选择0<β<s- d/2。然后，在球中，每一个球都是紧致的→ kF（u）kL∞和u7→ kF′[u]kC1，β→L∞ 在紧致集上的B连续函数上有界。与引理8一起，这意味着（20）在可能减小B命题10的半径之后。I f R（u）=kukHswith s>d/2+1，然后每u+∈ 在某些Hs球中，Hs（D；Rd）满足形式（17）的变分源条件。当然。由于[30]中的结果，u+满足光谱源条件u+=Θ（F′[u+]*F′[u+]WF对于某些w∈ Hs（D；Rd）和一些指数函数Θ。因此，u+还满足线性算子F′[u+]βDuR（u，u+）的不同源条件≤ R（u）- R（u+）+∧kF′[u]′（u）- u+）吉隆坡无论如何∈ Hs（D；Rd）与另一个指数函数∧（见[18]）。注意，定理2中的L切锥条件意味着kf′[u+]（u+）- u+）吉隆坡≤ （1+Cu+ku+- uk∞)kF（u）- F（u+）KL代表所有u∈ Hs（D；Rd）。因此，u+还满足非线性算子FβDuR（u，u+）的变量源条件≤ R（u）- R（u+）+∧4ku+- F（u）kL无论如何∈ Hs（D；Rd）与~Cu+ku- u+k∞≤ 1.与引理8 a和Hs（D，Rd）在L中的连续嵌入一起∞（D，Rd）这需要与吉隆坡相关的震源条件（17）。SDEs 13中的参数识别综上所述，定理6和7的所有假设都满足我们的问题。当u满足某些经典光滑性条件时，对指数函数∧进行显式表征将是一件有趣的事情。我们打算在未来的研究中解决这个问题。5.数值模拟实现。

迭代方案（7）的实施需要评估正向算子F及其导数F′。我们通过3级的有限元素对两个操作员进行了测试。everyNewton步中出现的凸极小化问题通过[24]中描述的嵌套牛顿迭代来解决。除了迭代（7）之外，我们还使用二次数据项实现了经典的Gauss-Newton方法。由于两种方法都配备了H-二次惩罚项，因此该设置允许对两种方法进行比较。对于latterinversion格式，每个牛顿步的极小化问题都变成了二次问题，可以用共轭梯度法求解。测试示例。为了测试该算法，我们考虑了一个一维随机微分方程（1），其微分σ=0.5，漂移u+（x）=-5倍- 2倍- x为0.25∈ [-1,1]，（25）u+（x）=u+（1）代表x≥ 1，且u+（x）=u+(-1） 为了x≤ -1.图6和图7绘制了drif t。我们用Euler-Maruyama方法在T=1000和10Euler步长的大时间间隔[0，T]上模拟了随机过程的路径。但我们仅使用了125到1000个时域点作为对pAT h的观测。对于x=1和x=-1带有负号forx=-1.当小路从外面跳出来时[-1，1]在模拟中，它以非常小的步数跳回间隔。在间隔之外观测模拟路径的概率接近于0。为了实现forwardoperator，我们使用透明边界条件和-1和1，如第2节所述。0 100 200 300 400 500 600 700 800 900 1000-1.-0.8-0.6-0.4-0.200.20.40.60.81tx0 0.511.522.5-1.-0.8-0.6-0.4-0.200.20.40.60.81 XTX的密度图1：模拟路径和XTT工艺的相应极限密度→ ∞.SDEs 14结果中的参数识别。

我们使用4个不同数量的路径观察数据，即125、250、500和1000个点，重建了漂移。对于每一组观测，我们使用迭代正则化牛顿法（7）和KL数据项重建漂移，此外还使用迭代正则化G auss-牛顿法。在这两种构造方法中，我们假设漂移在半无限区间内已知(-∞, -1] [1，∞). 此外，为了独立于截取规则对两种方法进行比较，在某些情况下，使用了oracle选择的截取指数，即选择截取指数时，平均L误差最小。由于数据中存在随机误差，需要对反演方法进行统计评估。为此，我们重复了模拟磷灰石的过程，从中提取观察结果，并进行了1000次估计。下面的直方图显示了两种方法的误差分布。

误差标准化的方式是，初始猜测的误差为1.0 0.1 0.2 0.3 0.4 0.5 0.6010203405060708L2误差0.1 0.2 0.3 0.4 0.5 0.6010203405060708L2误差重建数图2：一条路径的125次观测：KL（左）和L（右）数据项重建的误差。0.1 0.2 0.3 0.4 0.5 0.601020304050607080L2重建错误0.1 0.2 0.3 0.4 0.5 0.601020304050607080L2重建错误数字图3：一条路径的250次观测：使用KL（左）和L（右）数据可靠性项的重建错误。SDEs 150中的参数识别0.1 0.2 0.3 0.4 0.5 0.601020304050607080重建次数L2错误0.1 0.2 0.3 0.4 0.5 0.601020304050607080L2重建次数图4：一条路径的500次观测：KL（左）和L（右）数据项重建的错误。0.1 0.2 0.3 0.4 0.5 0.6010203405060708L2重建错误0.1 0.2 0.3 0.4 0.5 0.6010203405060708L2重建错误数字图5：一个路径的1000次观察：使用KL（左）和L（右）数据项重建的错误。柱状图表明，使用KL型数据特征项重建的平均误差和方差较小。下表明确了这一点：观测值KL平均KL方差Lmean Lvariance125 0.1832 0.0063 0.2870 0.0093250.1439 0.0031 0.2212 0.0044500 0.1160 0.0018 0.1759 0.00231000 0.0963 0.0010 0.1417 0.0013表1：观测到一条路径时误差分布的平均值和方差。以下图表是使用KL型数据可靠性项对漂移进行的典型重建。

我们为每个样本量选择了具有中值误差的结果。SDEs 16中的参数识别-1.-0.5 0 0.5 1-3.-2.-101234xu（x）真实漂移估计漂移-1.-0.5 0 0.5 1-3.-2.-101234xu（x）真漂移估计图6：使用一条路径的125（左）和250（右）个观测值，使用KL数据的精英项进行中值重建。-1.-0.5 0 0.5 1-3.-2.-101234xu（x）真实漂移估计漂移-1.-0.5 0 0.5 1-3.-2.-101234xu（x）真漂移估计图7：使用一条路径的500（左）和1000（右）个观测值，使用KL数据精细项进行中值重建。我们总结说，在我们的数值模拟中，具有KL型或Ldata-delity项的迭代正则化牛顿方法可以很好地作为漂移系数的非参数估计。随着数据数量的增加，Lerror的均值和方差降低是可以观察到的。KL型数据误差项的优点是，与Ldata-delity项的反演相比，误差的均值和方差要小得多。对设置的修改。除了上述系统的数值研究外，我们还在两种改进的设置中测试了反演方案。上述设置的第一个变化是假设x的漂移值为真值≥ 1和x≤ -1个是未知的。自然，这使得估计靠近边界的漂移更加困难。此外，在我们的例子中，在这个区域的观测是罕见的，这可以从这个过程的有限密度中看出。此外，边界漂移的绝对值相当大，这加剧了问题。下图显示了这种情况下的典型重建。SDEs 17中的参数识别-1.-0.5 0 0.5 1-3.-2.-101234xu（x）-1.-0.5 0 0.5 1-3.-2.-101234xu（x）-1.-0.5 0 0.5 1-3.-2.-101234xu（x）图8：使用一条路径的250（左）、500（中）和1000（右）个观测值，用KL典型数据项进行重建。