开始使用粒子Metropolis Hastings进行推理

这包括参数建议的初始化和调整，这是重要的实际问题。此外，我们还为希望继续学习粒子过滤和PMH的读者提供了许多参考资料。在本教程中开发的实现可以被看作是对最少工作示例的汇编。希望这些代码片段可以作为感兴趣的读者开发自己的算法实现的起点。本教程中开发的实现可以作为来自Cran的pmhtutorial包获得。在R中实现的源代码以及MATLAB和Python的类似代码可从GitHub获得，网址为https://github.com/compops/pmh-tutorial.见特蕾德。目录中的md文件对应于每种编程语言的特定内容和依赖关系。确认该工作得到了以下项目的支持：动力系统概率建模（合同号：621-2013-5524）、CADICS，一个林纳中心，均由瑞典研究委员会资助，并由瑞典战略研究基金会（SSF）资助（合同号：RIT15-0012）。作者非常感谢克里斯汀·安德森·纳塞思、威尔弗里德·博努、马农·科克、乔尔·克罗南德、弗雷德里克·林德斯坦、安德烈亚斯·斯文森和帕特里西奥·瓦伦苏埃拉的评论和建议，这些评论和建议极大地改进了本教程。大部分工作是在Johan Dahlin与瑞典林克平大学自动控制系合作期间进行的。参考文献：阿拉·卢塔拉J，怀特利N，海涅K，皮彻（2016）。“非线性状态空间模型中扭曲粒子滤波器和参数估计的介绍。”IEEE TransactionsonSignal Processing，64（18），4875–4890。doi:10.1109/tsp。2016.2563387.Anderson BDO，Moore JB（2005）。最佳过滤。

快递出版物。Andrieu C，Doucet A，Holenstein R（2010）。“粒子马尔可夫链蒙特卡罗方法。”《皇家统计学会期刊B》，72（3），269-342。内政部：10.1111/j.1467-9868.2009.00736。x、 Andrieu C，Roberts GO（2009）。“有效蒙特卡罗计算的伪边际方法。”《统计年鉴》，37（2），697-725。内政部：10.1214/07-aos574。36非线性动力学Mo delsArulampalam MS中PMH推理入门，Maskell S，Gordon N，Clapp T（2002）。“用于在线非线性/非高斯贝叶斯跟踪的粒子过滤器教程。”IEEE信号处理交易，50（2），174–188。内政部：10.1109/78.978374。Bos C（2011）。“使用Ox对未观测组件模型进行贝叶斯分析”，《Journalof统计软件》，41（13），1-24。内政部：10.18637/jss。v041。i13。布罗克韦尔PJ，戴维斯·拉（2002）。时间序列和预测简介。斯普林格·维拉格。内政部：10.1007/b97391。CappéO，Godsill SJ，Moulines E（2007）。“对顺序蒙特卡罗中现有方法和进展的概述。”IEEE会议记录，95（5），899–924。doi:10.1109/jproc。2007.893250.卡萨林R、格拉西S、拉瓦佐罗F、范迪克H（2015）。“并行顺序蒙特卡罗或有效密度组合：DeCo MATLAB工具箱。”《统计软件杂志》，68（3），1-30。内政部：10.18637/jss。v068。103。陈锐，刘建生（2000）。“混合卡尔曼滤波器。”《皇家统计学会杂志》B，62（3），493-508。内政部：10.1111/1467-9868.00246。肖邦N、雅各布·佩、帕帕斯皮利奥普洛斯（2013）。“SMC：对状态空间模型进行顺序分析的有效算法。”《皇家统计学会期刊B》，75（3），397-426。内政部：10.1111/j.1467-9868.2012.01046。x、 乔帕拉P，古纳万D，陈杰，明尼苏达州特兰，科恩R（2016）。

“使用块和相关伪边际方法对状态空间模型进行贝叶斯推理。”arXiv:1612.07072v1[stat.ME]，URLhttp://arxiv.org/abs/1612.07072v1.CrisanD，Doucet A（2002年）。“针对从业者的粒子滤波方法收敛结果调查。”IEEE信号处理学报，50（3），736-746。内政部：10.1109/78.984773。达林J（2016）。动态模型中贝叶斯推理的加速蒙特卡罗方法。林克平大学博士论文。Dahlin J（2018）。pmhtutorial：粒子Metropolis Hastings的最小工作示例。R软件包版本1.3，URLhttps://CRAN.R-project.org/package=pmhtutorial.Dahlin林德斯滕·F，克罗南德·J，舍恩·TB（2015a）。“通过关联辅助变量加速伪边缘化。”arXiv:1511.05483v1[stat.CO]，URLhttp://arxiv.org/abs/1511.05483v1.DahlinJ，Lindsten F，Sch"on TB（2015b）。“使用梯度和Hessian信息的粒子Metropolis Hastings。”统计与计算，25（1），81-92。内政部：10.1007/s11222-014-9510-0。Dahlin J，Lindsten F，Sch"on TB（2015c）。“准牛顿粒子。”第17届IFAC系统识别研讨会（SYSID）的筹备工作。中国北京。德尔莫拉普（2013）。蒙特卡罗积分的平均场模拟。华润出版社。内政部：10.1201/b14924。约翰·达林，托马斯·B·舍恩37Del Moral P，杜塞特A，贾斯拉A（2006）。“顺序蒙特卡罗采样器。”theRoyal统计学会杂志B，68（3），411-436。内政部：10.1111/j.1467-9868.2006.00553。x、 Deligiannidis G，杜塞特A，皮特MK（2018）。“相关伪精氨酸法。”《皇家统计学会学报B》，80（5），839-870。内政部：10.1111/rssb。12280.Dellaportas P，Kontoyiannis I（2012）。“基于可逆马尔科夫链蒙特卡罗采样器的估计控制变量。”《皇家统计学会期刊B》，74（1），133–161。

内政部：10.1111/j.1467-9868.2011.01000。x、 邓普斯特A，莱尔德N，鲁宾D（1977）。“通过theEM算法获得不完整数据的最大可能性。”《皇家统计学会期刊B》，39（1），1-38。Doornik JA（2007）。使用Ox的面向对象矩阵编程。第三版。Timberlake咨询出版社和牛津大学，伦敦。杜克·R，卡佩奥（2005年）。“粒子滤波重采样方案的比较。”《第四届图像和信号处理与分析国际研讨会论文集》，第64-69页。克罗地亚萨格勒布。杜塞特A，德弗雷塔斯N，戈登N（2001）。实践中的序贯蒙特卡罗方法。工程和信息科学统计。斯普林格·维拉格。内政部：10.1007/978-1-4757-3437-9。杜塞特A，德弗雷塔斯N，墨菲K，罗素S（2000）。“Rao Blackwellised粒子过滤器用于动态贝叶斯网络。”《第16届国际情报不确定性会议记录》，第176-183页。斯坦福，美国。杜塞特A，约翰森A（2011）。“粒子过滤和平滑教程：十五年后。”在D Crisan，B Rozovsky（编辑），牛津非线性滤波手册。牛津大学出版社。杜塞特A，皮特MK，德利吉安尼迪斯G，科恩R（2015）。“当使用无偏似然估计时，马尔科夫链蒙特卡罗的有效实现。”Biometrika，102（2），295-313。doi:10.1093/biomet/asu075。杜宾J，库普曼SJ（2012）。用状态空间方法进行时间序列分析。第二版。牛津大学出版社。伊顿JW，贝特曼D，豪伯格S，韦伯林R（2017）。GNU Octave版本4.2.1手册：用于数值计算的高级交互语言。CreateSpace独立发布平台。统一资源定位地址https://www.gnu.org/software/octave/.EddelbuettelD，Johansen AM（2018年）。RcppSMC：顺序蒙特卡罗的Rcpp绑定。R软件包版本0.2.1，URLhttps://CRAN.R-project.org/package=RcppSMC.FluryT，Shephard N（2011）。

“仅基于模拟可能性的贝叶斯推断：动态经济模型的粒子滤波分析。”计量经济学理论，27（5），933-956。内政部：10.1017/s0266466610000599。Fulop A，Li J（2013）。“通过模拟进行高效学习：边缘化的重采样方法。”《计量经济学杂志》，176（2），146-161。doi:10.1016/j.jeecom。2013.05.002.38开始使用PMH进行非线性动力学中的推理莫·德尔斯格尔曼A、卡林·JB、斯特恩HS、邓森DB、维塔里A、鲁宾DB（2013）。贝叶斯数据分析。第三版。查普曼和霍尔/华润。格伯·M，肖邦N（2015）。“顺序准蒙特卡罗。”《皇家统计学会杂志B》，77（3），509-579。内政部：10.1111/rssb。12104.Girolami M，Calderhead B（2011年）。“Riemann流形Langevin和Hamiltonian MonteCarlo方法。”《皇家统计学会期刊B》，73（2），123–214。内政部：10.1111/j.1467-9868.2010.00765。x、 Gordon NJ，Salmond DJ，史密斯AFM（1993）。“非线性/非高斯贝叶斯状态估计的新方法。”IEEE雷达和信号处理会议录，140（2），107–113。内政部：10.1049/ip-f-2.1993.0015。霍尔JD，Sch"on TB，Gustafsson F（2006）。“关于粒子过滤器的重采样算法。”非线性统计信号处理研讨会论文集。英国剑桥。赫尔J（2009）。期权、期货和其他衍生品。第七版。皮尔逊。赫尔J，怀特A（1987）。“随机波动资产的期权定价。”《金融杂志》，42（2），281-300。内政部：10.2307/2328253。约翰森·阿姆（2009）。“SMCTC：C++中的顺序蒙特卡罗。”《统计软件杂志》，30（6），1-41。内政部：10.18637/jss。v030。106。坎塔斯N、杜塞特A、辛格SS、马切乔夫斯基JM、肖邦N（2015）。“关于一般状态空间模型中参数估计的粒子方法。”统计科学，30（3），328-351。内政部：10.1214/14-sts511。King A，Nguyen D，Ionides E（2016年）。

“通过pomp软件包对部分观测到的马尔科夫过程进行统计推断。”统计软件杂志，69（12），1-43。内政部：10.18637/jss。v069。i12。Kronander J，Sch"on TB（2014）。“使用多个重要采样的强大辅助粒子过滤器。”在2014年IEEE统计信号处理研讨会（SSP）上发表。澳大利亚黄金海岸。朗洛克R（2011）。“通过隐马尔可夫模型进行非线性和非高斯状态空间建模的一些应用。”《应用统计学杂志》，38（12），2955-2970。内政部：10.1080/02664763.2011.573543。Lee A，Whiteley N（2016）。“分布式顺序蒙特卡罗森林重采样。”统计分析和数据挖掘：美国科学院数据科学杂志，9（4），230-248。doi:10.1002/sam.11280。李A、邱C、贾尔斯MB、杜塞特A、霍姆斯CC（2010）。“利用图形卡对高级蒙特卡罗方法进行大规模并行模拟。”《计算和图形统计杂志》，19（4），769-789。内政部：10.1198/jcgs。2010.10039.林德斯滕·F，佐敦·密苏里州，舍恩·TB（2014年）。“带祖先采样的粒子吉布斯。”机器学习研究杂志，152145-2184。约翰·达林，托马斯·B·舍恩39L·荣格（1999）。系统识别：面向用户的理论。普伦蒂斯庄园。卢恩D，斯皮格尔哈特D，托马斯A，贝斯特N（2009）。“BUGS项目：进化、批判和未来方向。”医学统计，28（25），3049-3067。doi:10.1002/sim。3680.Mansingha VK，Selsam D，Perov YN（2014）。“Venture：具有可编程推理的高阶概率编程平台。”arXiv:1404.0099[cs.AI]，网址http://arxiv.org/abs/1404.0099.MarinJM，Pudlo P，Robert CP，Ryder RJ（2012）。“近似贝叶斯计算方法。”《统计与计算》，22（6），1167-1180。内政部：10.1007/s11222-011-9288-2。梅西Jr FJ（1951）。

“Kolmogorov-Smirnov拟合优度测试。”《美国统计协会期刊》，46（253），68-78。内政部：10.1080/01621459.1951.10500769。McLachlan GJ，Krishnan T（2008）。EM算法及其扩展。第二版。约翰威利父子公司。Meyn SP，Tweedie RL（2009年）。马尔可夫链与随机稳定性。剑桥大学出版社。Mijatovi'cA，Vogrinc J（2018年）。“关于大都会黑斯廷斯链的泊松方程。”伯努利，24（3），2401-2428。内政部：10.3150/17-bej932。米拉·A·索尔吉·R·英帕拉托·D（2013）。“零方差马尔可夫链蒙特卡罗或贝叶斯估计。”《统计与计算》，23（5），653-662。内政部：10.1007/s11222-012-9344-6。Murray LM（2015）。“使用libbi对高性能硬件进行贝叶斯状态空间建模。”统计软件杂志，67（10），1-36。内政部：10.18637/jss。v067。i10。加利福尼亚州奈塞斯，林德斯滕F，舍恩TB（2015年）。“嵌套顺序蒙特卡罗方法。”第32届国际机器学习会议记录（ICML）。法国里尔。Nemeth C、Sherlock C、Fearnhead P（2016）。“粒子都市调整的朗之万算法。”Biometrika，103（3），701-717。doi:10.1093/biomet/asw020。诺德·J（2017）。“PyParticleTest：用于基于粒子的估计方法的Python框架。”《统计软件杂志》，78（3），1-25。内政部：10.18637/jss。v078。103。Paige B，Wood F（2014）。“概率编程语言的编译目标。”第31届国际机器学习会议记录（ICML）。中国北京。帕帕马库T、米拉A、吉拉米M（2014）。“零方差微分几何马尔科夫链蒙特卡罗算法。”贝叶斯分析，9（1），97-128。内政部：10.1214/13-ba848。Pharr M，Humphreys G（2010）。基于物理的渲染：从理论到实现。摩根·考夫曼。40非线性动力学Mo delsPitt MK中PMH推理入门，Shephard N（1999）。

“通过模拟进行过滤：辅助粒子过滤器。”《美国统计协会杂志》，94（446），590-599。内政部：10.1080/01621459.1999.10474153。皮特·MK，席尔瓦·R，乔达尼·P，科恩·R（2012）。“基于粒子滤波器的马尔可夫链蒙特卡罗模拟方法的一些性质。”《计量经济学杂志》，171（2），134-151。doi:10.1016/j.jeecom。2012.06.004.Plummer M（2003）。“JAGS：使用吉布斯抽样分析贝叶斯图形模型的程序。”在K Hornik，F Leisch，A Zeileis（编辑），第三届国际分布式统计计算研讨会论文集（DSC 2003）。维也纳科技大学，奥地利维也纳。统一资源定位地址https://www.R-project.org/conferences/DSC-2003/Proceedings/Plummer.pdf.R核心团队（2018年）。R：用于统计计算的语言和环境。R统计计算基金会，奥地利维也纳。统一资源定位地址https://www.R-project.org/.RobertCP，Casella G（2004年）。蒙特卡罗统计方法。第二版。斯普林格·维拉格。内政部：10.1007/978-1-4757-4145-2。Robert CP，Casella G（2009）。与R.Springer Verlag一起介绍蒙特卡罗方法。罗斯·SM（2012）。模拟第五版。学术出版社。Sch"on T，Gustafsson F，Nordlund PJ（2005）。“用于混合线性/非线性状态空间模型的边缘化粒子滤波器。”IEEE信号处理学报，53（7），2279–2289。doi:10.1109/tsp。2005.849151.Sch"on TB，Lindsten F，Dahlin J，Wagberg J，加利福尼亚州纳塞斯，斯文森A，戴L（2015）。“系统识别的顺序蒙特卡罗方法。”在第17届IFACSymposium on System Identification（系统识别）会议记录中。中国北京。夏洛克·C，蒂里·阿，罗伯茨·戈，罗森塔尔JS（2015）。“关于伪边缘随机游走Metropolis算法的有效性。”《统计年鉴》，43（1），238-275。内政部：10.1214/14-aos1278。Spall JC（1987）。

“生成最大似然参数估计的随机近似技术。”《第六届美国控制会议记录》（ACC），第1161-1167页。美国明尼苏达州明尼阿波利斯，斯文森·A，施恩·TB（2016）。“比较最近两种粒子滤波器实现的贝叶斯系统识别。”2016-008技术报告，瑞典乌普萨拉信息技术部。MathWorks公司（2017年）。MATLAB——技术计算语言，版本R2017B。马萨诸塞州纳蒂克。统一资源定位地址http://www.mathworks.com/products/matlab/.TierneyL（1994年）。“探索后验分布的马尔可夫链。”《统计学年鉴》，22（4），1701-1728年。内政部：10.1214/aos/1176325750。托德斯基尼A、卡隆F、富恩特斯M、罗格朗P、德尔莫拉利P（2014）。“Biips：用交互粒子系统进行贝叶斯推理的软件。”arXiv:1412.3779[stat.CO]，网址https://arxiv.org/abs/1412.3779.Johan达林，托马斯·B·舍恩41Tolpin D，范德梅恩特JW，杨H，伍德F（2016）。“概率编程语言圣公会的设计和实现。”第28届函数式编程语言的实现和应用研讨会论文集。内政部：10.1145/3064899.3064910。蔡瑞斯（2005）。金融时间序列分析。第二版。约翰·威利父子公司。内政部：10.1002/0471746193。van Rossum G等人（2011年）。Python编程语言。统一资源定位地址http://www.python.org.WilkinsonD（2018年）。smfsb：系统生物学的随机建模。R软件包版本1.3，URLhttps://CRAN.R-project.org/package=smfsb.WilkinsonDJ（2011）。系统生物学的随机建模。第二版。查普曼和霍尔/华润。内政部：10.1201/b11812。周瑜（2015）。“vSMC：C++中的并行顺序蒙特卡罗。”《统计软件杂志》，62（9），1-49。

内政部：10.18637/jss。v062。2009年。联系：约翰·达林计算机与信息科学系林克平大学E-581 83林克平，瑞典电子邮件：uni@johandahlin.comURL: http://www.johandahlin.com/ThomasB.斯威登乌普萨拉大学信息技术系，邮箱337SE-751 05乌普萨拉，邮箱：托马斯。schon@it.uu.seURL: http://user.it.uu.se/~thosc112/