ABC中的模型规格错误：后果和诊断

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Model Misspecification in ABC: Consequences and Diagnostics》
---
作者：
David T. Frazier, Christian P. Robert and Judith Rousseau
---
最新提交年份：
2019
---
英文摘要：
  We analyze the behavior of approximate Bayesian computation (ABC) when the model generating the simulated data differs from the actual data generating process; i.e., when the data simulator in ABC is misspecified. We demonstrate both theoretically and in simple, but practically relevant, examples that when the model is misspecified different versions of ABC can yield substantially different results. Our theoretical results demonstrate that even though the model is misspecified, under regularity conditions, the accept/reject ABC approach concentrates posterior mass on an appropriately defined pseudo-true parameter value. However, under model misspecification the ABC posterior does not yield credible sets with valid frequentist coverage and has non-standard asymptotic behavior. In addition, we examine the theoretical behavior of the popular local regression adjustment to ABC under model misspecification and demonstrate that this approach concentrates posterior mass on a completely different pseudo-true value than accept/reject ABC. Using our theoretical results, we suggest two approaches to diagnose model misspecification in ABC. All theoretical results and diagnostics are illustrated in a simple running example.
---
中文摘要：
我们分析了当生成模拟数据的模型与实际数据生成过程不同时，近似贝叶斯计算（ABC）的行为；i、 例如，当ABC中的数据模拟器指定错误时。我们在理论上和简单但实际相关的例子中都证明，当模型被错误指定时，不同版本的ABC可以产生实质上不同的结果。我们的理论结果表明，即使模型被错误指定，在规则性条件下，接受/拒绝ABC方法将后部质量集中在适当定义的伪真参数值上。然而，在模型错误指定的情况下，ABC后验不能产生具有有效频率覆盖的可信集，并且具有非标准的渐近行为。此外，我们检验了在模型错误指定情况下流行的局部回归调整ABC的理论行为，并证明这种方法将后验质量集中在与接受/拒绝ABC完全不同的伪真值上。利用我们的理论结果，我们提出了两种诊断ABC中模型错误的方法。所有理论结果和诊断都在一个简单的运行示例中进行了说明。
---
分类信息：

一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--
一级分类：Statistics        统计学
二级分类：Methodology        方法论
分类描述：Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计，调查，模型选择，多重检验，多元方法，信号和图像处理，时间序列，平滑，空间统计，生存分析，非参数和半参数方法
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
--> Model_Misspecification_in_ABC:_Consequences_and_Diagnostics.pdf (521.74 KB)

2022-6-1 05:20:41 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：ABC Multivariate Quantitative Consequences Theoretical

ABC中的模型规格错误：序列和诊断。*David T.Frazier+、Christian P.Robert和Judith Rousseau§2019AbstractWe分析了模型生成模拟数据时近似贝叶斯计算（ABC）的行为与实际数据生成过程不同；i、 例如，当ABC中的数据模拟器被错误指定时。我们在理论上和简单但实际相关的例子中证明，当模型被错误指定时，不同版本的ABC可以产生实质性不同的结果。我们的理论结果表明，即使模型定义错误，在规则性条件下，接受/拒绝ABCapproach将后验概率集中在适当定义的伪真参数值上。然而，在模型误判下，ABC后验不能产生具有有效频率覆盖率的可信集，并且具有非标准的渐近行为。此外，我们还研究了流行的局部回归调整ABC模型下的误判的理论行为，并证明这种方法将后验质量集中在与接受/拒绝ABC完全不同的伪真值上。利用我们的理论结果，我们提出了两种诊断ABC中模型错误的方法。所有理论结果和诊断都在一个简单的运行示例中进行了说明。关键词：无似然法、模型误判、近似贝叶斯计算（ABC）、渐近性、回归调整ABC*我们要感谢编辑David Dunson，一位副编辑和两位匿名推荐人的建设性评论，这些评论极大地改进了论文。+澳大利亚墨尔本莫纳什大学。电子邮件：david。frazier@monash.edu.巴黎多芬大学巴黎分校，Ceremake CNRS，巴黎，法国。

电子邮件：xian@cerema德多芬。fr§牛津大学，巴黎多芬大学，法国巴黎Ceremake CNRS。电子邮件：rousseau@ceremade.dauphine.fr1在天文、生态和遗传科学以及经济学和金融学中，用于描述观测数据的模型非常复杂，因此与这些模型相关的可能性在计算上很难解决。在贝叶斯推理范式中，这些情况导致了近似贝叶斯计算（ABC）方法的兴起，该方法避免了可能性计算，而支持模拟；有关ABC方法的审查，请参见Marin et al.（2012）、Robert（2016）和Sisson et al.（2018）。ABC的前提是，观测数据y：=（y，y，…，yn）来自模型类{θ∈ Θ：Pnθ}，其中θ∈ Θ  Rkθ是未知的参数向量，其中π（θ）描述了我们对θ的先验信念。ABC的目标是通过模拟伪数据z，z:=（z，…，zn）对未知θ进行推理, 从Pnθ开始，然后“比较”y和z。在大多数情况下，这种比较是使用汇总统计向量η（·）和度量d（·，·）进行的。一般来说，在ABC中，θ的值是可接受的，如果它们满足取决于公差参数的接受规则，则用于建立精确后验值的近似值。算法1 ABC算法1：模拟θi，i=1，2。。。，N、 从π（θ），2：模拟zi=（zi，zi，…，zin）, i=1，2。。。，N、 来自Pnθi；3： 对于每个i=1。。。，N、 接受θiif d（η（zi），η（y））≤ 其中，表示用户选择的公差参数。算法1详细说明了ABC的常见接受/拒绝实现，可以通过额外的步骤来增加采样效率；例如，参见Marjoram et al.（2003）的MCMC-ABC方法，或Sisson et a l.（20 07）的SMC-ABC方法。

还提出了模拟对{θi，η（zi）}的后处理方法，以获得更精确的后验近似值（例如，见Beaumont et al.，2002的局部线性回归调整方法，Nott et al.，2014的边际调整方法，或Rodrigues et al.，2018的再校准方法）。虽然存在几种后处理策略，但最常见的方法是所谓的局部线性回归调整（Beaumont et al.，2002），它涉及使用线性回归模型对算法1的输出进行后处理，以改进所得的后验近似值；我们请感兴趣的读者参阅Blum（2018），了解ABC中回归调整方法的概述。对于{θi，η（zi）}i≥1基于算法1，从ABC后验中选取样本，局部线性回归调整使用样本{θi，η（zi）}i≥1生成调整后的后验样本{θi-^β[η（z）- η（y）]}i≥1，其中^β是从θ离子{η（zi）的回归中获得的- η（y）}。无论选择哪种ABC算法，ABC的本质是，研究人员必须相信，在先前的支持中存在θ值，可以生成“接近”观察到的总结η（y）的模拟总结η（z）。因此，为了让ABC产生关于θ的有意义的推断，必须存在θ的值∈ Θ使得η（z）和η（y）相似。虽然复杂的模型允许我们解释观测数据的许多特征，但不可能有任何研究人员能够构建一个能够完美再现y的所有特征的模型Pnθ。换句话说，根据应用ABC的复杂模型的本质，模型类{θ∈ Θ：Pnθ}用于模拟伪数据z，可能有误。

即使考虑到汇总统计数据的使用不充分，并且可能与几个模型兼容，这些汇总数据对观察数据的价值也可能与假设模型中这些统计数据的实际值不兼容，即极不可能。考虑到实证应用中模型误判的可能性，了解流行ABC方法在模型误判下的行为，以及这种行为的后果，对从业者来说至关重要。如以下示例所示，模型误判的一个特殊后果是，不同的ABC方法可能会产生显著不同的结果。示例1：考虑一个特别简单的示例，其中假定的数据生成过程（DGP）为z，zniid为N（θ，1），但实际DGP为y，yniid为N（θ，σ）。也就是说，对于σ6=1，假设的DGP对观测数据的方差保持了错误的假设。我们将以下汇总统计数据作为ABC分析的基础：o样本平均数η（y）=nPni=1yi，o样本方差η（y）=n-1Pni=1（yi-η（y））。考虑根据ABC的两个版本对θ进行推断：接受/拒绝方法（以下简称ABC-AR），其中我们取d（x，y）=kx- yk是欧几里德范数，是ABC的局部线性回归调整方法（以下简称ABC Reg）。ABC Reg使用θ离子{η（zi）的加权线性回归调整来自ABC-AR的已接受图纸- η（y）}，带权重K（Kη（zi）- η（y）k），其中k（·）是核函数，其中公差运算是核函数的带宽。遵循Beaumont et a l。

（20 02），我们将其视为核函数K（t），Epanechnikov核：K（t）=1lt≤·c-1(1 - （t/）），其中1lt≤表示事件t上的指示器功能≤ 其中c是一个归一化常数。为了确定这两种ABC方法在不同模型误判水平下的表现，我们确定θ=1，并根据σ的不同值模拟“观测数据”。整个实验的样本大小取n=100。我们考虑y的一系列模拟数据集，每个数据集对应于σ的不同值，σ取σ=。5至σ=5，均匀间隔增量为0.05。在所有数据集中，我们确定了用于生成模拟观测数据的随机数，并仅改变σ值，以隔离模型误判的影响；i、 例如，我们生成一组公共的随机数νi~ N（0，1），i=1。。。，100，则对于σ值，我们根据yi=1+νi·σ生成观测数据。我们的先验信念由θ给出~ N（0，25）。我们使用N=25000个根据zji生成的iid模拟伪数据集来实现ABC-AR~ N（θj，1）。对于ABC-AR和BC Reg，我们将设置为模拟距离kη（y）的1%分位数- η（zj）k.为了进一步隔离随机性对该过程的影响，我们在不同的观测数据集中使用相同的模拟数据；i、 例如，两个ABC程序将在σ的不同值上使用相同的模拟数据。

通过对实验中的模拟数据进行筛选，并对观察数据中的随机数进行筛选，可以将实验中ABC输出的差异归因于σ的变化值。图6比较了ABC-AR和ABC Reg在σ不同值上的后均值。结果表明，即使在相对较小的样本量下，模型误判也会导致两种ABC方法之间的显著差异。我们从图6中得出了两个具体结论：一，ABC-AR的后验平均值在不同的误判水平上保持相对稳定，但随着模型误判水平的增加，它确实偏离了真实值（θ=1）；第二，即使在相对较小的误判水平下，ABC Reg的概率均值也变得不稳定。局部线性回归调整的性能尤其令人感兴趣，因为当模型被正确指定时，这种方法比BC AR（即算法1）具有理论上的优势（Li和Fearnhead，2018b）。我们在第二节和第三节中正式探讨了这些问题，但请注意，当σ≈ 1（即，正确的模型规格）bot h ABC方法给出了类似的结果。0.5 1 1.5 2.5 3 3.5 4 4.5 50.40.60.81.21.4σn=100，n=25000，真值：θ=1ABC-AR ABC Reg图1：ABC-AR和ABC-R eg的后验平均值比较，用^θ表示，跨越不同的模型误判水平。在本文的其余部分，我们阐述了上述问题，并严格描述了当生成伪数据的模型被错误指定时，接受/拒绝ABC和局部回归调整ABC的合意行为。

在第二节中，我们讨论了ABC背景下的模型误判，并证明在模型误判下，对于公差的特定选择，与算法1相关的后验值逐渐集中在适当定义的伪真值上。此外，我们还证明，在模型误判情况下，ABC后验的渐近形状是非标准的，并且可以产生具有任意覆盖水平的可信集合。在第三节中，我们对图6中观察到的行为进行了严格的论证：我们证明，在模型误判下，从这些实验中获得的ABC-AR和ABC-Reg的后验密度也显示出类似的行为模式，并在附录中给出。尽管z的DGP是误判的，但由于模型误判的性质和η（y）的限制行为，如果只使用第一次汇总统计（样本平均数）模型误判，在本例中影响不大。然而，一般来说，模型误判的性质和η（y）a的精确极限形式都是未知的。因此，在ABC的实际应用中，如果不是不可能的话，那么选择一组能够减轻模型误判影响的总结将是困难的。对于局部线性（和非线性）回归调整，与接受/拒绝ABC（算法1）相比，ABC可以渐进地集中在完全不同的参数空间区域。然后，我们利用这些理论结果设计出一种替代性回归调整方法，该方法在模型规格方面表现良好。

基于我们的渐近结果，第四章，我们开发了两种模型误判检测程序：基于比较算法1的接受概率的图形检测方法和基于比较算法1及其线性回归调整对应物的输出的方法。第五节最后简要概述和讨论了我们的结果。补充附录中包含了所有理论结果的证明。2 ABC中的模型错误定义在严格描述ABC在模型错误定义下的行为之前，我们首先设置了本文其余部分使用的符号。对于表示观测数据的y，welet pn表示生成y的真实分布。ABC中用于模拟伪数据的隐含分布类用P表示：={θ∈ Θ  Rkθ：Pnθ}，而z表示伪数据，支持z根据Pnθ生成。模拟汇总统计η（z）=（η（z）。。。，ηkη（z））是一个kη维r andom向量，支持度为B：={η（z）：z∈ Z} Rkη。我们让d（·，·）表示Θ上的度量，d（·，·）表示B上的度量。然而，当不会产生混淆时，我们只需用d（·，·）表示通用度量。π（θ）表示先验测度，π（θ）表示其对应的密度。为了节省记法，在下面的内容中，我们忽略了Pn和Pnθ对n的依赖性，并将这些量分别表示为Pand Pθ。2.1关于ABCRecall中模型误判的概念，在基于可能性的推理中，模型误判是指P/∈ P、 该模型误判的结果是Kullback-Leibler散度D（P | | Pθ）=-兹洛格dPθ（y）dP（y）dP（y），满足θ∈ΘD（P | Pθ）>0。在这种情况下，参数值θ*= arg infθ∈ΘD（P | | Pθ）被称为伪真值。

即使该模型是错误的，在合理的规则性条件下，贝叶斯程序预测Pθ产生后验概率的可能性集中在θ上*; 例如，参见Kleijn和van der Vaart（2012）和Muller（2013）。在本文中，我们假设当观测样本y根据P生成时，研究者通过ABC对θ进行后验推断，并且在P/∈ P、 然而，与基于可能性的程序不同，ABC不是基于完整数据y，而是基于两个单独的近似值，即汇总统计η（y）和阈值。因此，即使P/∈ P模型类P可能仍然能够生成与观察到的摘要η（y）兼容的模拟摘要η（z），或在η（y）的-邻域内。ABC的近似性质意味着，在基于可能性的设置中，模型误判的概念，即infθD（P | | Pθ）>0，不一定是与ABC算法的输出或ABC后验分布相关的模型误判的有意义的概念。回顾ABC后验测度由、f或A给出 Θ，∏[A |η（y）]=ZAPθ[d（η（y），η（z））≤ ]d∏（θ）ZΘPθ[d（η（y），η（Z））≤ ]d∏（θ），我们看到，ABC中的错误指定将由η（y）、η（z）和集合{θ的行为驱动∈ Θ：d（η（y），η（z））≤ }. 因此，为了严格计算ABC中模型误判的概念，我们必须研究ABC似然Pθ[d（η（y），η（z））的极限行为≤ ]随着数据中信息量的积累。为此，我们遵循Marin et al.（2014）、Frazier et al.（2018）以及Li和Fearnhead（2018a，b）的框架，其中假设汇总统计集中在某个固定值上，即η（y）到b（P下）和η（z）到b（θ）（Pθ下）。在Marin et al.（2014）中，作者研究了=0的情况，而Frazier et al。