离散系统拟似然函数的高效计算

（25）在上边界上使用类似的近似值，联合国十、≈H联合国- 2uN-1+uN-2.（26）及联合国十、≈h（2uN）- 5uN-1+4uN-2.- 联合国-3) . （27）将这些FD近似（24-27）插入等式（19）中，得到与等式（23）类似的等式。在近似空间算子后，我们对Kolmogorov后向方程的近似如下：，联合国τ=Aun（τ）（28），其中A是一个带状矩阵，包含以下元素，Ai，i+1=Aθ（xi）2h-bθ（xi）2h，Ai，i=bθ（xi）h，Ai，i-1= -aθ（xi）2h-bθ（xi）2h。A中的第一行和最后一行具有来自外推边界方程的额外非零列。现在我们已经离散了空间算子，我们转向时间离散。在这篇文章中，我们将使用矩阵指数来预测时间，见Moler和Loan（2003）。由于前面介绍的边界技术，这是可行的。为了说明我们将边界值包含在A中的方法的好处，我们考虑了标准边界条件的情况。g、 使用狄里克莱。然后，半离散化系统成为联合国τ=~Aun（τ）+b（29），其中b包含边界值（此处假设与时间无关）。式（29）的通解由un（tk）给出-1） =exp~A（tk）-1.- （tk）un（tk）+A-1.经验~A（tk）-1.- （tk）- 我b（30）的计算成本比等式（28）的解更高，un（tk）-1） =exp（A（tk）-1.- 联合国（tk）。（31）此外，经典边界值的另一个缺点是模糊（~A）dim（A），因为它需要一个更大的解域，以避免边界值影响解，这是一个额外的计算成本。返回toEq。（31）解析解的近似误差（以指数图的形式）由u（x，tk）给出-1） =exp（L（tk）-1.- tk）u（x，tk）（32）≈ exp（A（tk）-1.- n（tk）=n（tk-1） +O（h）。（33）由于A不正常，出于稳定性原因，我们可能需要及时对解进行子迭代。

当我们需要在非固定时间间隔评估解决方案时，也需要这样做，例如在随机时间实例中收集数据时。从以下等式exp（Aτ）=（exp（Aτ/m））m获得子迭代解，其中m的典型良好值可从以下条件kaτ/mk中找到≤ 1在Moler and Loan（2003）中给出。我们使用三次样条插值来计算不属于有限差分网格的值的条件期望。三次样条函数产生的插值误差为O（h），由Adnese网格的有限差分误差决定。根据第一矩^u（1）（x，tk）的解精确计算条件均值和方差-1） =^E[Xk | Xk-1=x]和二阶矩^u（2）（x，tk）-1） =^E[Xk | Xk-1=x]。然后通过DVAR[Xk | Xk]的组合获得条件方差-1=x]=^E[Xk |Xk-1=x]-^E[Xk | Xk-1=x]=^u（2）（x，tk）-1) - ^u（1）（x，tk）-1). (34)3.1. 收敛由于时间积分，半离散化不会引入任何误差。然而，导数的离散化和插值都会产生误差。我们可以通过对数值解进行加和减来分解插值后的数值解^uinterpb，而不需要插值^u和真解u。这将导致^uinterp=^uinterp±^u±u=^uinterpb- ^u |{z}插值，O（h）+^u- u |{z}离散化，O（h）+u=u+O（h）。（35）因此，如果使用良好的插值方法，插值误差主要由离散化误差控制。这意味着条件平均值可以以任意精度计算。接下来，我们发现条件方差由^u（2）给出，interp- （^u（1），interp）=u（2）+O（h）-u（1）+O（h）（36）=u（2）- （u（1））+O（h）（37）意味着条件方差中的误差也受有限差分网格h的密集度控制。

这意味着均值和协方差的误差可以任意小（我们选择设计参数h），从而得到一致的估计，参见Sorensen（2012）。这与Florens Zmirou（1989年）和Kessler（1997年）中的近似QML估计值形成了对比，在这两个估计值中不可能存在一致性。通过将该方法与Cox-Ingersoll-Ross（CIR）及其逆函数的条件均值和方差（iCIR）进行比较，对该方法的数值质量进行了基准测试。这些模型定义为，dXt=a（b- Xt）dt+σX1/2tdWtCIR（38）dXt=haXt+（σ- ab）~Xtidt- σ~X3/2tdWtiCIR（39）x00 5 10 15绝对误差10-410-310-210-1100101102103It-TaylorEuler-MaruyamaNew方法（a）条件平均误差x00 5 10 15绝对误差10-610-410-2100102It-210-TaylorEuler-MaruyamaNew方法（b）条件方差误差图1：CIR模型在不同方法之间的绝对误差比较，T=1/6。这些方法包括Euler-Maruyama格式、截断的o-Taylor（k=1）公式（17）和建议的方法。请注意，Euler Maruyama和It\'o-Taylor的条件var（右图）相等，而平均值（左图）不相等。选择时间T，使所有方法收敛。如果使用目标T，则丸山函数和生成器近似值的性能会更差。带)Xt=1/Xt。这意味着我们可以（至少在概念上）计算iCIR过程的跃迁概率密度和矩。让xn∈ {xmin，…，xmax}是一个xmin=0.05，xmax=0.15和tm的网格∈ {0，…，T}其中最终时间T=1/6。iCIRprocess的条件平均值相当长，涉及伽马函数，此处不予以表达，见Ahn和Gao（1999）。

所提出的方法、使用It¨o-泰勒展开的条件矩和Euler-Maruyama格式之间的绝对误差与图1中CIR模型的精确矩进行了比较。数值方法的收敛性如图2所示，其中我们使用参数Nx=24:9绘制了相对误差（相对均方误差）作为CIR模型空间离散的函数- 1，其中h=（xmax- xmin）/Nx。4.参数估计为了检验所提出的框架的适用性，我们在两个扩散模型上评估了拟极大似然估计。准最大似然10-1100error10-610-410-2mean:CIRvariance:CIRreference:h2mean:ICIRFigure 2:iCIRand CIR模型条件平均值和CIR模型条件方差的空间相对均方误差。这里τ=1/6，时间步数为Nt=1000。本试验的参数为{a，b，σ}={15,3,2}。发动机罩估计器定义为^θ=argmaxθ∈ΘKXk=1logψxk；^Eθ[xt | xk-1] ，dVarθ[xk | xk-1]（40）式中ψxk；^Eθ[xk | xk-1] ，dVarθ[xk | xk-1]是具有平均值^Eθ[xk | xk]的高斯密度函数-1] 方差varθ[xk | xk-1] 用新方法计算。我们将第3节中伴随方程计算的力矩与Euler Maruyama方法进行比较，并将其与已知的精确力矩进行比较。4.1. 中等数据集的估计我们还考虑了利率建模中常用的逆CIR模型，见等式（39）。在达勒姆（2003）基于可能性的分析中，该模型（或实际上是其简化）是美国利率数据的首选模型。该模型具有挑战性，因为漂移是非线性的，但可以证明条件矩可以通过解析计算得到。测试数据由使用每月时间步长的逆CIR模型生成t=1/12。

使用x=5初始值，我们使用参数{a，b，σ}={15，3，2}生成了N=1000个观测值。前100个观察结果作为burnin被丢弃，剩下900个观察结果。为了在独立的数据集上评估估计器，重复了100次。该估计是在IntelR的准最大似然框架内进行的2.5GHz的i5内核，8GB内存。作为一个优化器，我们在MatlabR中使用了标准的Nelder Mead（fminsearch）（R2014b）带有初始猜测{10,5,1}。iCIR过程的结果如图3所示，我们发现所提出的方法是无偏的，而Euler Maruyama和Durham Gallant（见Durham and Gallant（2002））的近似最大似然估计是有偏的（后者是由于时域内的插补不足）。我们还发现，所提出的方法几乎和基于闭式转移概率密度的最大似然估计一样好。我们还注意到，Euler Maruyama仍然比建议的方法更差，即使该估计器有更密集的采样数据集。4.2. 随机抽样数据集的估计为了进一步测试所提出方法的适用性，我们在随机时间到达样本的CIR过程的模拟数据集上估计参数，参见ait-Sahalia和Mykland（2003）。对于离散时间模型来说，这将是一个具有挑战性的问题，但在建议的框架内，可以用连续时间模型轻松处理。我们模拟了1000次来自CIR过程的观测，参考公式（38），其参数和burnin与具有随机时间间隔的iCIRprocess相同。时间间隔是均匀分布的-tk-1.~ U（[1/252,1/6]）。

图4显示了使用推荐方法、Durham Gallant方法和Euler Maruyama方法估计参数时的结果（注意，我们仅将a和σ参数表示为b，基本上由数据的无条件平均值给出）。可以看出，所提出的方法即使对于随机抽样数据也是无偏的，但所提出的方法的方差也比基于分析转移概率密度的最大似然估计差。这与我们的直觉一致，因为对于稀疏样本数据，跃迁密度将变得不那么高斯，这使得MLE在这种情况下成为首选估计量。4.3. 大数据集的评估大数据集的挑战是开发快速的方法。Euler-Maruyama方法非常快（力矩以闭合形式给出），但需要T→ 0和kT→ ∞ 关于一致性，参见Sorensen（2012）。本文提出的方法在稠密数据集8101214161820上计算分析Euler Maruyama-Durham Gallant新方法Euler地面真值参数：在稠密数据集2上计算分析Euler Maruyama-Durham Gallant新方法Euler。852.92.9533.053.1Groundtruth参数：bAnalytical Euler Maruyama-Durham Gallant新方法Euler-稠密数据集1。41.61.822.22.4Groundtruth参数：σ图3：使用似然函数的分析表达式、Euler Maruyama近似、DurhamGallant方法、我们提出的方法和使用更密集采样数据的Euler Maruyama估计的iCIR模型的估计参数。数据采样间隔为t=1/12，适用于他们的CIR模型。由于该时间步长导致Euler-Maruyama方法存在较大偏差；我们还使用t=1/52，图中的虚线框。

对于这种密集的数据集，Euler Maruyama方法表现更好，但仍然存在偏差。分析型Euler Maruyama-Durham Gallant新方法8101214161820Groundtruth参数：A分析型Euler Maruyama-Durham Gallant新方法1。21.41.61.822.2GroundtruthParameter：σ图4：使用似然函数、Euler-Maruyama近似、Durham-Gallant方法和我们提出的方法的分析表达式，随机采样数据的CIR模型的估计参数。数据采样间隔随机分布如下：T~ U（[1/252,1/6]）。参考图3和图4，当有限差分网格足够密集时，对任何采样间隔进行几乎无偏的估计，因此只需要K→ ∞为了一致性。在这里，我们评估了当数据由K=2000000个观测值组成时，计算拟线性函数时的计算性能，这使得数据集在计算上对大多数其他估计器不可行。参数和取样与第4.1节相同。我们在图5中给出了计算EulerMaruyama和建议方法的一组增加的观测值（图中的每个点代表1000个额外观测值）的准似然函数所需的时间。该图基于三次模拟的平均值。所提出的方法最初比Euler Maruyama更昂贵，因为我们需要计算一个矩阵指数来获得矩。

然而，初始计算后的成本与Euler Maruyama相似（实际上，对于许多观测来说，它有些便宜），尽管我们的方法是一致的，而Euler Maruyama是严重偏差的。这一结果非常令人鼓舞，因为我们不需要频繁采样数据以获得一致性，这意味着我们可以在相同的计算成本下处理更长时间范围内采样的数据集，这意味着我们可以比仅使用Euler Maruyama或类似算法更好地估计某些（通常是漂移参数）。数据集大小：K×1060 0.5 1 1.5 2计算时间：T（K）[s]00.050.10.150.20.25Euler-MaruyamaNew×1040 5 10×10-301020图5：作为数据集大小函数的三次连续测量的平均计算时间（壁时钟时间）。5.结论本文介绍了一种计算扩散模型条件矩的框架，该框架基于Kolmogorov后向方程的数值计算，后向方程是Fokker-Planck方程的伴随，在时域上具有精确积分。与计算条件矩的标准方法相比，数值解非常精确。本文利用计算得到的动量，构造了参数估计的拟极大似然函数。该方法计算速度非常快，因为复杂度是次线性的。所需要的只是计算一个单一的矩阵指数来计算所有的矩，而不考虑观测的数量。这使得该方法非常适合于大型数据集的参数估计，如图5所示，这与许多近似最大似然方法形成了对比，对于这些方法，计算复杂度在观测数量上通常是超线性的。参考文献：德赫·萨恩，高，B.，1999年。期限结构动力学的参数非线性模型。

金融研究回顾12（4），721-762。Ait-Sahalia，Y.，2002年。离散采样扩散的最大似然估计：一种闭式近似方法。《计量经济学》70（1），223-262。Ait-Sahalia，Y.，奥克兰，P.A.，2003年。估计连续时间扩散时随机和离散采样的影响。计量经济学71（2），483-549。Ait-Sahalia，Y.，Yu，J.，2006年。连续时间马尔可夫过程的鞍点近似。《经济计量学杂志》134（2），507-551。贝斯科斯，A.，帕帕斯皮利奥普洛斯，O.，罗伯茨，G.，2009年。离散观测扩散过程的蒙特卡罗最大似然估计。《统计学年鉴》，223-245页。达勒姆，G.B.，2003年。基于可能性的短期利率连续时间模型规格分析。《金融经济学杂志》70（3），463-487。达勒姆，G.B.，格兰特，A.R.，2002年。连续时间扩散过程最大似然估计的数值方法。商业与经济统计杂志20（3），297-338。Ekstr–om，E.，L–otstedt，P.，泰斯克，J.，2009年。单因子项结构方程的边值和有限差分方法。应用数学金融16（3），253-259。费希拉，G.，1956年。这是一个非常复杂的问题。阿蒂·阿克德。纳兹。林茜。男。Cl.Sci。Fis。小地毯纳特。经济特区。I.VIII，爵士。5, 3–30.弗洛伦斯·兹米鲁，哥伦比亚特区，1989年。扩散过程统计的近似离散时间格式。统计学：理论与应用统计学杂志20（4），547–557。Godambe，V.P.，海德，C.C.，2010年。拟似然和最优估计。年：CC海德作品选。斯普林格，第386-399页。霍诺克，J.，林德斯特罗姆，E.，2014年。扩散过程的一种基于伴随的准似然参数快速估计方法。学士学位会议的会议摘要。伊利诺伊州卡拉扎斯，南卡罗来纳州什里夫，2012年。

布朗运动与随机微积分。第113卷。斯普林格科学与商业媒体。凯斯勒，M.，1997年。从离散观测值估计遍历扩散。斯堪的纳维亚统计杂志24（2），211-229。Kloeden，P.E.，Platen，E.，1992年。随机微分方程的数值解。第23卷。斯普林格科学与商业媒体。林德斯特罗姆，E.，2007年。用近似极大似然法估计扩散过程中的参数。运营研究年鉴151（1），269-288。林德斯特罗姆，E.，2012a。离散观测扩散、跳跃扩散和L’evy驱动的随机微分方程的蒙特卡罗EM算法。国际应用科学数学模型和方法杂志6（5）。林德斯特罗姆，E.，2012b。用于稀疏采样扩散的正则化桥采样器。统计与计算22（2），615-623。林德斯特罗姆，E.，马德森，H.，尼尔森，J.N.，2015年。金融统计。华润出版社。罗，A.W.，1988年。离散采样数据广义It^o过程的最大似然估计。计量经济学理论4（02），231-247。莫勒，C.，贷款，C.V.，2003年。二十五年后，十九种计算矩阵指数的可疑方法。暹罗评论45（1），3-49。奥弗贝克，L.，雷登，T.，1997年。Cox-Ingersoll-Ross模型中的估计。计量经济学理论13（03），430–461。彼得森，A.R.，1995年A。离散观测扩散过程的近似极大似然估计的相合性和渐近正态性。伯努利，257-279。佩德森，A.R.，1995年b。基于离散观测的随机微分方程最大似然估计的一种新方法。斯堪的纳维亚统计学院，55-71。Sorensen，M.，2012年。扩散型过程的估计函数。中：随机微分方程的统计方法。华润出版社-查普曼和霍尔，pp。