缺失数据重尾AR模型的参数估计

因为Q（θ，’s）与^Q的形式相同θ、 ^s（k）, Maximizer也将采用sam e形式。从（34）-（37）开始，我们有（(R)s）=s- ИД（(R)s）(R)s，（67）Д（(R)s）=s- “s”s“s”- \'s，（68）（￠σ（\'s））=T- 1.\'\'s+（（\'s））\'\'s+（（\'s））\'\'s- 2英寸（\'s）\'s- 2￠s+2￠s￠s,（69）和/ν（\'s）=arg maxν-<ν<ν+f（ν，’s），（70）其中，si（i=1，’7）是s的第i个分量。可以很容易地验证￠ν（’s），￠Д（’s）和（￠σ（’s））是s的连续函数，并且是相对于s的7倍可微。对于￠ν（’s），f（ν，’s）在￠g（￠，’s）处的梯度o f（ν，’s）=f（ν，(R)s）νν=~ν=日志~ν- Ψ~ν+ 1+(R)sT- 1.=0。（71）根据隐函数定理[38]，sinceg（￠ν，(R)s）是连续可微的7倍g（￠ν，(R)s）~ν=~ν-Ψ′~ν6=0对于任何|ν和|s[30]，对于|ν（s）是7次连续可微的。关于（SAEM2）和（SAEM3）的证明，已在条件（M4）和（M 5）的证明中验证了条件（SAEM2）。该条件（SAEM3.1）基于定理中链的紧性假设。函数s（yo，ym，τ）和^s（k）是c链的连续函数，因此，它们也根据有界定理在紧集中取值，这意味着条件（SAEM3.2）成立。现在我们重点讨论条件的证明（SAEM3.3）和（SAEM3.4）。根据（24）中转移概率∏θ（ym，τ，y′m，τ′）的定义，我们可以很容易地验证转移概率∏θ（ym，τ，y′m，τ′）相对于θ是连续可微的。

此外，由于导数是θ的连续函数∈ V和（ym，τ，y′m，τ′）∈ Ohm, 其中V和Ohm是紧集，根据有界性定理，导数是有界的。因此，∏θ（ym，τ，y′m，τ′）是Lipschitz连续的，即对于ny（ym，τ，y′m，τ′）∈ Ohm, 存在一个实常数（ym，τ，y′m，τ′），使得对于任何θ, θ′∈ 五、πθ（ym，τ，y′m，τ′）- πθ′（ym，τ，y′m，τ′）≤ K（ym，τ，y′m，τ′）|θ- θ′|.（72）它遵循thatsup（ym，τ，y′m，τ′）∈Ohmπθ（ym，τ，y′m，τ′）- πθ′（ym，τ，y′m，τ′）≤ L |θ- θ′|（73），L=最大值（ym，τ，y′m，τ′）∈OhmK（ym，τ，y′m，τ′），这意味着条件（SAEM3.3）得到验证。条件（SAEM 3.4）是关于转移概率∏θ（ym，τ，y′m，τ′）生成的马尔科夫链的统一遍历性。根据文献[39]中的定理8，如果转移概率满足某种极小化条件，即存在α，则阿马尔科夫链是一致遍历的∈ N+和一些概率测度δ（·），使得∏αθ（ym，τ，y′m，τ′）≥ 任意（ym，τ，y′m，τ′）的δ（y′m，τ′）∈Ohm. 回想一下我们的转移概率∏θ（ym，τ，y′m，τ′）是（ym，τ）的一个连续函数∈ Ohm, 根据极值定理，必须存在一个最大g（y′m，τ′，θ）=inf（ym，τ）∈Ohmπθ（ym，τ，y′m，τ′）。它遵循∏θ（ym，τ，y′m，τ′）≥ δ（y′m，τ′）（74），其中=RRg（y′m，τ′，θ）dτ′dy′m，δ（y′m，τ′）=-1g（y′m，τ′，θ）。因此，在我们的情况下，最小化条件成立，因此，由∏θ（ym，τ，y′m，τ′）生成的马尔可夫链是一致遍历的。条件（SAEM3.4）已验证。参考文献【1】M.K.Choong、M.Charbit和H.Yan，“基于自回归模型的DNA微阵列时间序列数据的容许值估计”，IEEETrans。Inf.技术。生物群落。，第13卷，第1期，第131-137页，2009年。[2] A.Schl"ogl和G.Supp，“使用多元自回归参数分析事件相关EEG数据”，Prog。

Brain Res.，第159卷，第135-147页，2006年。[3] Tsay，金融时间序列分析，第二版。霍博肯，新泽西州：约翰·威利父子出版社，2005年。[4] S.C.安德森，T.A。Branch、A.B.Cooper和N.K.Dulvy，《动物种群中的黑天鹅事件》，Proc。自然的。Acad。Sci。，2017年第114卷第12期，第3252-3257页。[5] S.T.Rachev，《金融重尾分布手册：金融手册》。荷兰阿姆斯特丹：Elsevier，2003年。[6] D.Alexander、G.Barker和S.Arridge，“人脑数据中非高斯表观扩散系数的检测和建模”，Magn。原因。医学。，第48卷，第2期，第331-340页，2002年。[7] F.Han和H.Liu，“Eca：非高斯分布中的高维椭圆分量分析”，J.Am。《美国统计协会》，第113卷，第521号，第252-2682018页。[8] K.L.Lange、R.J.Little和J.M.Taylor，“使用t分布的稳健统计建模”，J.Am。《美国统计协会》，第84卷，第408号，第881-8961989页。[9] M.L.Tiku、W.-K.Wong、D.C.Vaughan和G.Bian，“非正常情况下的时间序列模型：对称创新”，J.时间序列。分析。，第21卷第5期，第571-5962000页。[10] B.Tarami和M.Pourahmadi，“多变量t自回归：创新、预测方差和精确似然方程”，J.Time Ser。分析。，第24卷第6期，第739-7542003页。[11] U.C.Nduka，“基于EM的具有tdistributed创新的自回归模型算法”，Common。统计模拟。和计算。，2018年第47卷第1期第206-228页。[12] J.Christmas和R.Everson，“稳健自回归：使用变分贝叶斯的学生t创新”，IEEE Trans。信号处理。，2011年第59卷第1期，第48-57页。[13] R.J.Little和D.B.Rubin，《缺失数据的统计分析》，第二版。新泽西州霍博肯：约翰·威利父子出版社，2002年。[14] G.DiCesare，“金融中的插补、估计和缺失数据”，加拿大滑铁卢大学PhDthesis，2006年。[15] J。

Ding，L.Han和X.Chen，“基于多项式变换的缺失观测时间序列AR建模”，数学。计算机。《建模》，第51卷，第5-6期，第527-5362010页。[16] V.A.V.Yuriy S.Kharin，“AR系数的稳健估计同时影响异常值和缺失值”，J.Stat.Plan。《推论》，第141卷，第9期，第3276-3288页，2011年。[17] J.Sargan和E.Drettakis，“自回归模型中的缺失数据”，内景经济。版次：。，第15卷，第1期，第39-58页，1974年。[18] B.Delyon、M.Lavielle和E.Moulines，“EM算法随机近似版本的收敛性”，Ann。《统计》，第27卷，第1期，第94-128页，1999年。[19] E.Kuhn和M.Lavielle，“将EM的随机近似版本与MCMC过程耦合”，ESAIM Probab。和统计学家。，第8卷，第115-131页，2004年。[20] S.F.Nielsen等人，《随机EM算法：估计和预测结果》，Bernoulli，第6卷，第3期，第457–4892000页。[21]X.-L.Meng和D.B.Rubin，“通过theECM算法的最大似然估计：一般框架”，Biometrika，第80卷，第2期，第267-2781993页。[22]X.Yi和C.Caramanis，“正则化EM算法：统一框架和统计保证”，在Proc。高级神经信息处理。系统。，2015年，第1567-1575页。[23]A.P.Dempster，N。M、 Laird和D.B.Rubin，“通过EM算法获得不完整数据的最大可能性”，J.R.Stat.Soc。BStat系列。方法：。，1977年，第39卷，第1期，第1-38页。[24]C.J.Wu，“关于EM算法的收敛性”，Ann。《统计》，第11卷，第1期，第95-103页，1983年。【25】Y.Sun、P.Babu和D.P.Palomar，“信号处理、通信和机器学习中的优化最小化算法”，IEEE Trans。信号处理。，2017年第65卷第3期第794-816页。[26]G.C.Wei和M.A。

Tanner，“theEM算法和穷人数据增强算法的蒙特卡罗实现”，J.Am。《美国统计协会》，第85卷，第411号，第699-704200页。[27]E.Kuhn和M.Lavielle，“非线性混合效应模型中的最大似然估计”，计算机。统计数据分析。，第49卷，第4期，第1020-10382005页。[28]C.Liu，“多元t分布的ML估计和EMalgorithm”，J.Multivar。分析。，第63卷，第2期，第296-3121997页。【29】A.DasGupta，《指数族与统计应用》。纽约州纽约市：Springer New York，2011年，第583-612页。[30]C.Liu和D.B.Rubin，“使用EMand及其扩展、ECM和ECME对t分布的ML估计”，Stat.Sin。，第5卷，第1期，第19-391995页。【31】B.Carnahan和H.A.Luther，应用数值方法。纽约：约翰·威利，1969年。[32]K.Chan和J.Ledolter，“涉及计数的时间序列模型的蒙特卡罗EM估计”，J.Am。《美国统计协会》，第90卷，第429号，第242-2521995页。[33]M.G.Gu和F.H.Kong，“不完全数据估计问题的马尔可夫链蒙特卡罗随机逼近算法”，Proc。自然的。Acad。Sci。，1998年，第95卷，第13期，第7270-7274页。[34]G.Fort，E.Moulines等人，《曲线指数族蒙特卡罗期望最大化的收敛》，Ann。《统计》，第31卷，第4期，第1220-12592003页。[35]R.C.Neath等人，《关于蒙特卡罗算法的收敛性质》，摘自Proc。现代统计理论应用。仪器数学。《统计》，2013年，第43-62页。[36]R.Maronna、R.D.Martin和V.Yohai，《稳健统计：理论与方法》。纽约：Wiley，2006，《时间序列》，第247-323页。[37]C.Caroni和V.Karioti，“在一组时间序列中检测一个创新的异常值”，计算机。统计数据分析。，第46卷，第3期，第561-5702004页。【38】S.G.Krantz和H。R、 Parks，隐函数定理简介。

纽约州纽约市：Springer New York，2013年，第1-12页。[39]G.O.Roberts，J.S.Rosenthal等人，《一般状态空间马尔可夫链和MCMC算法》，Probab。Surv。，第1卷，第20-71页，2004年。补充材料Junyan Liu、Sandeep Kumar和Daniel P.Palomarf2019年2月12日在本补充材料中，我们给出了引理3和4的详细证明：引理3对于任何Yo和θ∈ Θ，p（yo；θ）=RRp（y，τ；θ）dymdτ=Rp（y；θ）dym<∞.引理4表示任意yo，θ∈ Θ和1<t≤ TZZg（y，τ）p（y，τ；θ）dymdτ<∞, （1） 式中，g（y，τ）可以是τt，τt，yt，τtyt-1，τtyt，或-对数（τt）。为了建立这些引理，我们首先在第一节介绍一些方程和不等式。它们是proo f的关键要素。然后，我们分别在第二节和第三节中建立引理3和引理4。为了简化符号，我们使用ft（yj；yj-1） 表示英尺yj；Д+Дyj-1, σ, ν,fN（yj；yj-1，τj）表示fNyj；Д+Дyj-1，στj, fg（τj）表示fgτj；ν,ν.1根据给定的Д、Д、σ、ν和yj，应称为t-1，变量yj遵循学生的t分布：yj~t型Д+Дyj-1, σ, ν. 根据学生t分布的性质，我们可以得到变量yj[1]：1的下列方程和不等式。pdf的积分应为1:Zft（yj；yj-1） dyj=1。(2)2. 第一个原始力矩可以表示为zyjft（yj；yj-1） dyj=Д+Дyj-1. (3)3. 第二原始力矩可表示为Zyjft（yj；yj-1） dyj=νσν- 2+（Д+Дyj）-1). (4)4. 由于学生的t分布可以表示为高斯混合[2]，pdf可以写成FT（yj；yj-1） =Zfg（τj）fN（yj；yj-1，τj）dτj.（5）5。对于ν>ν-≥ 2，yjc的pdf可以有界为asft（yj；yj-1) =Γν+1√νπσΓν1+（yt- φ- ^1yt-1)νσ!-ν+1≤Γν+1√νπσΓν< ∞. （6） 然后，我们介绍了关于τj的两个重要不等式，我们将在后面使用它们。1.

第一个是关于τbj的预测，其中b=1，2:Zτbjfg（τj）fN（yj；yj-1，τj）dτj=ZννΓν√2πστν+2b-1试验-（年初至今）- φ- ^1yt-1)2σ+ν!τt！dτj（7a）=ννΓν√2πσΓν+2b+1（yj-φ-^1yj-1)2σ+νν+2b+1（7b）=英尺（yj；yj-1)Γν+2b+1Γν+1（yj-φ-^1yj-1)2σ+νb（7c）≤ 英尺（yj；yj-1） bΓν+2b+1νbΓν+1, （7d）如果方程式（7a）和（7c）遵循这些pdf的定义，方程式（7b）遵循RβαΓ（α）xα-1exp(-βx）dx=1（g amma分布的pdf的积分为1），最后的不等式（7d）从m（yj-φ-^1yj-1)2σ+νb≥νb、 2。第二个不等式是log（τj）、Zlog（τj）fg（τj）fN（yj；yj）的期望值-1，τj）dτj=ZννΓν√2πσlog（τj）τν-1试验-（年初至今）- φ- ^1yt-1)2σ+ν!τt！dτj（8a）=ννΓν√2πσΓν+1（yj-φ-^1yj-1)2σ+νν+1Ψν + 1- 日志（yj- φ- ^1yj-1)2σ+ν!!（8b）=ψν + 1- 日志（yj- φ- ^1yj-1)2σ+ν!!英尺（yj；yj-1） （8c）≥Ψν + 1-（yj- φ- ^1yj-1)2σ-ν!英尺（yj；yj-1） （8d）≥Ψν + 1-（yj- Д）+Дyj-1σ-ν!英尺（yj；yj-1） （8e）≥Ψν + 1-2yj+2Д+Дyj-1σ-ν!英尺（yj；yj-1） ，（8f）式（8a）和（8c）源自这些pdf的定义，式（8b）源自rlog（x）xα-1exp(-βx）dx=Γ（α）βα（ψ（α）- log（β））[3]，不等式（8d）如下-日志（x）≥ -x、 不等式（8e）和（8f）来自（x+x）≤ 2x+2x。引理3的证明引理3是关于边缘pdf p（yo；θ）的有界性。pdf可以写成asp（yo；θ）=Zp（y；θ）dym=ZTYj=2ft（yj；yj-1） dym公司=DYd=0td+1Yj=td+nd+2ft（yj；yj-1)DYd=1Ztd+nd+1Yj=td+1ft（yj；yj-1） dyd公司,（9） 我们把不涉及y的项移到积分的外侧。自学生t分布ft（yj；yj）的pdf-1） 是正的且有界的，我们可以得到模式c（yo，θ）=QDd=0Qtd+1j=td+nd+2ft（yj；yj-1) < ∞. 因此，为了建立引理3，有必要建立第二项的有界性，即Ztd+nd+1Yj=td+1ftyj；yj公司-1, σ, νdyd<∞.

（10） 在对上述不等式（10）进行一般性证明之前，我们用一个简单的例子演示了原理图和不等式。我们认为时间序列如下：y，y，NA，NA，NA，y，y。本例中对应的第二项（10）可以表示为zyj=3ft（yj；yj-1） dy=ZZZft（y；y）ft（y；y）dyft（y；y）dyft（y；y）dy（11a）≤Z（ZZΓν+1√νπσΓνft（y；y）dy！ft（y；y）dy）ft（y；y）dy（11b）=Z（ZΓν+1√νπσΓνft（y；y）dy）ft（y；y）dy（11c）=ZΓν+1√νπσΓνft（y；y）dy（11d）=Γν+1√νπσΓν（11e）<∞, （11f）其中不等式（11b）来自（6），等式（11c）-（11e）来自（2），不等式（11f）来自有界定理。通过应用（6），我们找到一个上界Γ（ν+1）√νπσΓ（ν）对于ft（y；y），它不涉及y。然后关于y的积分，RΓ（ν+1）√νπσΓ（ν）ft（y；y）dy，很容易从（2）计算sinceRft（y；y）dy=1，结果是一个函数（ν+1）√νπσΓ（ν），不涉及y.Nex t，关于y的积分，RΓ（ν+1）√νπσΓ（ν）ft（y；y）dy也变得简单，结果不涉及y。最后，我们可以得到关于叶等式的积分为连续函数Γ（ν+1）√νπσΓ(ν). 根据有界定理，闭有界集上的连续函数是有界的[4]，因此，Γ（ν+1）√νπσΓ（ν）有界。现在我们来讨论不等式（10）的一般性质。想法与示例中的相同：Ztd+nd+1Yj=td+1ft（yj；yj-1） dyd=Z···Z Zft（年初至今+nd+1；年初至今+nd）ft（年初至今+nd；年初至今+nd-1） dytd+nd（年初至今+nd-1.年初至今+年末-2） dytd+nd-1.ft（年初至今+1；年初至今）dytd+1（12a）≤Z···Z（ZΓν+1√νπσΓν英尺（年初至今+nd；年初至今+nd-1） dytd+nd）（年初至今+nd-1.年初至今+年末-2） dytd+nd-1.ft（年初至今+1；年初至今）dytd+1（12b）=Z···ZΓν+1√νπσΓν（年初至今+年末）-1.年初至今+年末-2） dytd+nd-1.ft（年初至今+1；年初至今）dytd+1（12c）=Γν+1√νπσΓν（12d）<∞, （12e）其中不等式（12b）来自（6），等式（12b）和（12c）来自（2），不等式（12e）来自有界定理。

因此，p（yo；θ）<∞. 证明了emma 3。引理4的证明引理4是关于g（y，τ）的期望的有界性。为了便于证明，我们将g（y，τ）的不同情况分为四组：（1）g（y，τ）=τtorτt，（2）g（y，τ）=yt，（3）g（y，τ）=τtyt-1或τtyt，和（4）-对数（τt）。我们将逐一证明这些群体满足不等式（1）。3.1 g（y，τ）=τtorτtFo r g（y，τ）=τbt当b=1，2时，我们有zzg（y，τ）p（y，τ；θ）dymdτ=ZZτbtp（τ；θ）p（y |τ；θ）dymdτ（13a）=ZZτbtTYj=2{fg（τj）fN（yj；yj-1，τj）}dymdτ（13b）=Z（Zτbtfg（τt）fN（yt；yt-1，τj）dτtYj6=tZfg（τj）fN（yj；yj-1，τj）dτj)dym（13c）≤Z2Γν+2b+1νΓν+1英尺（yt；yt-1） Yj6=tft（yt；yt-1） dym（13d）=bΓν+2b+1νbΓν+1p（yo；θ）（13e）<∞. （13f）在（13c）中，我们将{τj}的积分分为两部分：第一部分涉及τt，而第二部分不涉及τt。在（13d）中，我们将不等式（7d）应用于（13c）的第一部分。不等式（13f）源自引理3和有界定理。3.2 g（y，τ）=ytFo r g（y，τ）=yt，我们需要考虑两种不同的情况：观察到的ytis和缺失的ytis。如果ytisobserved，那么我们可以很容易地得到ZZG（y，τ）p（y，τ；θ）dymdτ=ZZytp（y，τ；θ）dymdτ=ZytZp（y，τ；θ）dτdym=ytZp（y；θ）dym=ytp（yo；θ）<∞. （14） 其中最后一个不等式来自引理3和yois有限的事实。如果ytis缺失，假设ytis在t=td+i的第d个缺失块中，我们有zzg（y，τ）p（y，τ；θ）dymdτ=ZZytp（y，τ；θ）dymdτ（15a）=ZytZp（y，τ；θ）dτdym（15b）=Zytp（y；θ）dym（15c）=DYd=0td+1Yj=td+nd+2ft（yj；yj-1） ZytDYd=1td+nd+1Yj=td+1ft（yj；yj-1） dyd（15d）=dyd=0td+1Yj=td+nd+2ft（yj；yj-1)Yd6=dZtd+nd+1Yj=td+1ft（yj；yj-1） dyd公司Zytd+itd+nd+1Yj=td+1ft（yj；yj-1） dyd公司.（15e）在（15d）中，我们将不涉及ym={yd}的项移到积分之外。

在（15e）中，我们将{yd}的积分分为两部分：第一部分不涉及ytd+i，而第二部分涉及ytd+i。自pdf ft（yj；yj-1） 从（6）开始有界，（15e）的第一项有界：DYd=0td+1Yj=td+nd+2ft（yj；yj-1) < ∞. （16） 此外，从（1 2d）开始，第二项也有界：Yd6=dZtd+nd+1Yj=td+1ft（yj；yj-1） dyd<∞. （17） 因此，为了证明（15e）有界，有必要建立第三项的有界性，即Zytd+itd+nd+1Yj=td+1ft（yj；yj-1） dyd<∞. （18） 在对不等式（18）进行一般性证明之前，我们用一个简单的例子演示了原理图和直觉。同样，我们将时间序列考虑如下：y，y，NA，NA，NA，y，y。然后，wehaveZyYj=3ft（yj；yj-1） dy=ZZZft（y；y）ft（y；y）dyyft（y；y）dyft（y；y）dy（19a）≤Z（ZZΓν+1√νπσΓνft（y；y）dy！yft（y；y）dy）ft（y；y）dy（19b）=Z（ZΓν+1√νπσΓνyft（y；y）dy）ft（y；y）dy（19c）=ZΓν+1√νπσΓννσν - 2+（Д+Дy）ft（y；y）dy（19d）=ZΓν+1√νπσΓννσν - 2+Д+2ДИy+Дyft（y；y）dy（19e）=Γν+1√νπσΓννσν - 2+ φ+Γν+1√νπσΓν2ДИZyft（y；y）dy+Γν+1√νπσΓν^1Zyft（y；y）dy（19f）=Γν+1√νπσΓννσν - 2+ φ+Γν+1√νπσΓν2ДИ（Д+Дy）+Γν+1√νπσΓνφνσν - 2+（Д+Дy）（19g）<∞, （19h）其中不等式（19b）来自（6），方程（19c）-（19g）来自（2）-（4），并且不等式（19h）由于有界定理成立。通过应用（6），我们找到一个上界Γ（ν+1）√νπσΓ（ν）对于ft（y；y），它不涉及y，因此关于y的积分，RΓ（ν+1）√νπσΓ（ν）ft（y；y）dy是简单的，等于Γ（ν+1）√νπσΓ（ν），它不涉及y。然后，关于yand yare的以下积分是简单的，最终结果是有界的。现在我们来谈谈不平等的一般主张（18）。该想法与上述示例中的想法相同：Zytd+itd+nd+1Yj=td+1ft（yj；yj-1） dyd=Z···Z···ZZft公司年初至今+nd+1；年初至今+年末英尺年初至今+年末；年初至今+年末-1.dytd+nd英尺年初至今+年末-1.年初至今+年末-2.dytd+nd-1.