基于神经网络的经济仿真模型贝叶斯估计

这提供了一些证据，表明即使对于大大减小的集合大小，我们的方法仍然是可行的，并意味着候选模型的复杂性以及因此使用的神经网络可能需要大幅增加，然后才需要将R增加到100以上。除了与模拟集合的大小有关的问题外，还应考虑神经网络训练过程相对于生成单一模型实现的实际计算成本。因此，图6显示了各种神经网络配置所需的总训练时间，其中大多数都大于本次调查中使用的网络，通常需要~ 5秒完成训练。我们发现，即使对于比我们研究中考虑的更复杂的神经网络，总体训练时间仍然是21。感兴趣的读者应参考附录C进行更多讨论。22参见附录A.4.23，此处LSKDEis是根据Grazziniet al.（2017）方法的原始实验结果确定的，R=100，而LSMDNis是根据我们提出的方法的补充实验结果确定的，R=50。通常不到40秒，这与大型模型的模拟时间相比是有利的，我们还发现，计算时间的增加对于滞后长度和网络宽度的增加都是线性的。0 5 10 15 20 25 30 L46810214161820训练时间3个隐藏层4个隐藏层5个隐藏层0 10 20 30 40 50神经元51015202530训练时间3个隐藏层4个隐藏层5个隐藏层图6：使用参数集1初始化的Brock and Hommes（1998）模型生成的100个实现长度1000的集合上各种MDN配置的训练时间。

左右面板上显示的点与我们估算实验中使用的配置相对应。此外，应该注意的是，在生成上述计算成本图时，没有采用GPU并行化。考虑到使用此类硬件可以预期的显著加速，通常在20×（Oh和Jung 2004）的范围内，我们发现至少有一些证据表明，与生成单个模型实现所需的时间相比，训练神经网络所需的时间通常可以忽略不计，即使对于更复杂的神经网络和候选模型也是如此。然而，这将需要进一步的测试，这超出了本次调查的范围，因此我们建议，在未来的工作中，将推荐的程序应用于更复杂的模型。6结论在前面的章节中，我们介绍了一种基于神经网络的经济模拟模型贝叶斯估计协议（特别关注BMS），并展示了其相对于现有文献中领先方法的估计能力。总的来说，我们发现，我们的方法在许多场景中都提供了令人信服的性能，包括通常用于测试估计过程的异构代理模型的估计，以及不太传统的示例，例如识别随机游走模型生成的数据中的动态变化。在所有测试的案例中，我们发现，与Grazzini等人（2017）提出的方法相比，我们提出的方法产生的估计值更接近已知的基本真值，并且还发现，对于较大的自由参数集，它通常会导致后验值更窄、峰值更尖锐。除了我们的主要发现外，我们还讨论了与拟议例程的适用性相关的实际问题。

我们证明，滞后长度可以被视为我们的方法的主要超参数，可以系统地保持不变，并且总体估计性能至少对这种选择具有一定的鲁棒性。此外，我们还提供了一些关于该协议计算效率的论据，这些论据与文献中的一些重要替代方案有关，因此建议在未来的研究中尝试将其应用于更大规模的模型。致谢作者要感谢J.Doyne Farmer进行了有益的讨论，这些讨论极大地帮助了本手稿的编写过程，也帮助了英国政府获得英联邦奖学金。本文的结论完全由作者负责。参考访问。Alfarano、T.Lux和F.Wagner。基于agent模型的估计：不对称放牧模型的情况。计算经济学，26（1）：19–492005。S、 Alfarano、T.Lux和F.Wagner。一个简单的基于代理的金融市场模型的估计：澳大利亚股票和外汇数据的应用。Physica A：统计力学及其应用，370（1）：38–422006。S、 Alfarano、T.Lux和F.Wagner。相互作用剂随机模型的经验验证。《欧洲物理杂志B：凝聚态物质与复杂系统》，55（2）：183–1872007。S、 巴德。金融市场中基于代理的羊群效应模型的直接比较。《经济动态与控制杂志》，73:326–3532016。S、 巴德。n阶马尔可夫过程的一个实用、准确的信息准则。计算经济学，50（281-324），2017年。C、 主教。混合密度网络。技术报告，阿斯顿大学，1994年。W、 Brock和C.Hommes。simpleasset定价模型中的异质信念和混沌路径。《经济动态与控制杂志》，22（8-9）：1235-12741998。S、 陈。

基于Agent的计算宏观经济学：综述。在T.Terano、H.Deguchi和K.Takadama的《通过基于代理的模拟迎接社会问题的挑战》一书中，编辑们，第141-170页。Springer Verlag，2003年。Z、 Chen和T.Lux。金融市场情绪效应的估计：模拟矩方法。计算经济学，https://doi.org/10.1007/s10614-016-9638-4, 2016.S、 Cincotti、M.Raberto和A.Teglio。基于代理的模型和模拟器eurace中的信贷资金和宏观经济不稳定性。经济学：开放获取，开放评估电子期刊，4:1–32，2010年。G、 Dosi、G.Fagiolo和A.Roventini。熊彼特与凯恩斯的会面：内生增长和商业周期的政策友好型模型。《经济动力学与控制杂志》，34（9）：1748–17672010。A、 法布雷蒂。关于校准金融市场基于代理的模型的问题。《经济互动与协调杂志》，8（2）：277–2932013年。G、 Fagiolo和A.Roventini。dsge和基于代理模型的宏观经济政策REDUX：新的发展和未来的挑战。《艺术社会与社会模拟杂志》，20（1）：12017年。G、 Fagiolo、M.Guerini、F.Lamperti、A.Moneta和A.Roventini。经济学和金融学中基于代理的模型的验证。LEM论文系列，意大利比萨圣安娜高等研究学院经济与管理实验室，2017/232017。J、 Farmer和D.Foley。经济需要基于代理的建模。《自然》，460:685–6862009。R、 弗兰克。应用模拟矩法估计一个基于代理的小资产定价模型。《实证金融杂志》，16（5）：804–8152009。R、 Franke和F.Westerhoff。资产定价动态中的结构随机波动：估计和模型竞赛。《经济动力与控制杂志》，36（8）：1193–121112012。J、 Geanakoplos和J.Farmer。

均衡的优点和缺点以及金融经济学的未来。《复杂性》，14（3）：2008年11月至38日。J、 Grazzini和M.Richiardi。通过模拟最小距离估计基于代理的遍历模型。《经济动力与控制杂志》，51:148–1652015。J、 Grazzini、M.Richiardi和M.Tsionas。基于agent模型的贝叶斯估计。《经济动力与控制杂志》，77:26–47，2017年。J、 Grif fin和S.Walker。关于适应性大都市——黑斯廷斯方法。《统计与计算》，23（1）：123–134，2013年。M、 Guerini和A.Moneta。基于代理的模型验证方法。《经济动力学和控制杂志》，82:125–141，2017年。五十、 哈米尔和N.吉尔伯特。经济学中基于代理的建模。John Wiley and Sons，2016年。K、 霍尼克、M.斯丁奇科姆和H.怀特。多层前馈网络是一种通用的逼近器。神经网络，2（5）：359–3661989。D、 Kingma和J.Ba。Adam：一种随机优化方法。2015年5月7日至9日，在美国加利福尼亚州圣地亚哥举行的第三届学习表征国际会议（ICLR）上。J、 库卡卡和J.巴鲁尼克。用模拟最大似然法估计基于金融代理的模型。《经济动力与控制杂志》，85:21–452017。F、 兰帕蒂。模拟模型经验验证的信息论准则。《计量经济学与统计学》，5:83–106，2017年。F、 Lamperti、A.Roventini和A.Sani。使用机器学习代理进行基于代理的模型校准。《经济动力与控制杂志》，90:366–3892018。B、 勒巴龙。基于代理的计算金融。L.Tesfatsion和K.Judd，《计算经济学手册》，第2卷，第24章，第1187-1233页。Elsevier，2006年。T、 勒克斯。使用顺序蒙特卡罗方法估计基于代理的模型。《经济动力与控制杂志》，91:391–4082018。C、 Macal和M.North。基于代理的建模和仿真教程。

《模拟杂志》，4（3）：151–1622010。D、 麦克法登。无需数值积分的离散响应模型估计的模拟矩法。《计量经济学》，57（5）：995–10261989。K、 墨菲。机器学习：概率视角。麻省理工学院出版社，2012年。K、 哦，还有K.Jung。神经网络的Gpu实现。模式识别，37（6）：1311–13142004。D、 普拉特。基于经济代理的模型校准方法的比较。arXiv，1902.059382019年。D、 Platt和T.Gebbie。基于代理的模型能否探测市场微观结构？Physica A：统计力学及其应用，503:1092–11062018。五十、 预直升机。提前停车-但什么时候？《神经网络：交易的诀窍》编辑G.Orr和K.Müller著。斯普林格，1998年。M、 Recchioni、G.Tedeschi和M.Gallegati。在基于代理的框架中分析股票价格动态的校准程序。《经济动态与控制杂志》，60:1-252015。C、 罗伯特和G.卡塞拉。介绍蒙特卡罗方法，R.Springer Verlag，2010年。J、 Rothfuss、F.Ferreira、S.Walther和M.Ulrich。神经网络条件密度估计：最佳实践和基准。arXiv，1903.009542019年。一、 Salle和Yildizoglu。计算经济模型的有效抽样和元建模。计算经济学，44（4）：507–5362014。D、 斯科特。多元密度估计：理论、实践和可视化。John Wileyand Sons，2015年。S.西森、Y.范和M.博蒙特。近似贝叶斯计算概述。在S.Sisson、Y.Fan和M.Beaumont主编的《近似贝叶斯计算手册》第1章中。CRC出版社，2018年。拟议估算程序的技术细节虽然我们在第2节中概述了估算程序，但相关讨论主要是说明性的，省略了几个关键细节。

Wethus在本节中对我们的方法进行了更技术性的逐步讨论。a、 1训练集构建我们方法的主要目的是为给定的一组参数值θ构建似然函数的近似值。为了简化这一过程，我们假设xsimt，i（θ）只依赖于xsimt-五十、 i（θ），xsimt公司-1，i（θ），对于所有L<t≤ T、 因此，我们的问题归结为形式p的条件密度的估计xsimt，ixsimt公司-五十、 我，xsimt公司-1，i：θ.为了估计上述条件密度，我们需要一个适当的数据集，该数据集分多个阶段构建。这些阶段中的第一个阶段涉及使用候选模型生成R蒙特卡罗应用的集合，Xsim（θ，Tsim，i），i=i，i+1，i+R-1，对于给定的θ值。然后，为集合中的每个蒙特卡罗复制i构造两个有序集，Xtraini（θ）=nnxsim1，i（θ），xsimL，i（θ）o，nxsim2，i（θ），xsimL+1，i（θ）o，nxsimT公司-五十、 i（θ），xsimT公司-1，i（θ）oo，（28）andYtraini（θ）=nxsimL+1，i（θ），xsimL+2，i（θ），xsimT，i（θ）o.（29）最后，集合Xtraini（θ），i=i，i+1，i+R-1按顺序连接起来，生成一个更大的单有序集，Xtrain（θ），并对Ytraini（θ）应用一个类似的过程来生成Ytrain（θ）。本质上，Xtrain（θ）由长度为L的滚动窗口组成，这些窗口是从蒙特卡罗复制的集合中提取的，而Ytrain（θ）由xsimt，i（θ）值组成，这些值直接跟随Xtrain（θ）中的每个窗口。

它们一起构成了一个大小为R（T）的训练集- 五十） 可用于近似所需的条件密度。a、 2神经网络规格和训练利用现在构建的适当数据集，我们继续对MDN本身进行更详细的讨论。作为起点，设H为前馈神经网络，输入层H（取长度为L的窗口），隐层H，H，hn公司-1，输出层hn，以及权重和偏差ψ。然后，将混合物参数定义为α=so f tmax（Wαhn+bα），（30）uk=Wukhn+buk，（31）和∑k=diag（σk），（32），其中diag（x）是具有对角线x和logσk=Wσkhn+bσk的对角矩阵。（33）这导致了具有权重和偏差φ的扩展神经网络=ψ、 Wα，bα，Wuk，buk，Wσk，bσk（34）将长度为L的窗口作为输入，并输出上述α、uk和∑kas。在这一阶段，有许多细微差别值得强调。在等式中。注意，我们使用了so f tmax函数。这确保了混合权重α严格为正，并根据需要求和为1。此外，请注意等式中的内容。32我们考虑对角矩阵，而不是全协方差矩阵。如果我们没有做出这样的假设，我们就必须确保我们的神经网络返回的协方差矩阵是正定义的。虽然这在原则上是可能的，但这将显著增加网络参数的数量，并对计算性能产生潜在的不利影响（Rothfuss等人，2019年）。最后，从等式中可以明显看出。33神经网络输出的是对数方差向量，而不是对角协方差矩阵，这使我们能够避免对网络输出施加正约束。现在，剩下的就是我们构建的网络的训练，这是通过对我们的训练集应用最大似然估计来实现的。

通过xtraimt表示Xtrain（θ）中的第m个条目（与ytraimbeing的定义类似），最大似然估计相当于求解arg minφ-R（T-L）∑m=1洛格∑k=1αkXTRANM公司NYtrainm公司ukXTRANM公司, ∑kXTRANM公司（35）使用随机梯度下降法。24应该注意的是，高斯混合的通用密度近似特性仍然适用于对角协方差矩阵。a、 3数据规范化和正则化虽然我们刚才描述的方案可以按原样应用，但其目前的形式可能表现不佳。这是因为神经网络与大多数具有大量自由参数的机器学习技术一样，倾向于过度拟合训练数据，因此在样本外表现不佳，尤其是在训练集很小的情况下（Murphy 2012）。在实践中，这通常使用提前停止来解决，这是一种需要将一定百分比的数据与训练集分开保存的技术，以便评估每个时期的样本外性能（Prechelt 1998）。然而，这种解决方案在我们的环境中是不可取的，因为它需要生成额外的数据，这对于大规模仿真模型来说是一项昂贵的任务。幸运的是，Rothfuss等人（2019年）提出了一套使用神经网络进行条件密度估计的最佳实践，为过度拟合提供了替代解决方案。特别是，采用了一种称为噪声正则化的技术，在训练过程中对数据应用小的随机扰动。可以证明，这最终会导致复杂度降低，有利于更平滑的密度估计，而不太容易过度拟合（Rothfuss et al。

2019).因此，我们将高斯扰动应用于Xtrain（θ）和Ytrain（θ）中的训练示例，我们用ξx表示~ N（0，ηxI）和ξy~ N（0，ηyI），（36）。显然，正则化程度直接取决于与训练数据中的变化范围相关的标准偏差ηx和ηy的大小。这意味着必须针对每个随机模型调整ηx和ηy，以获得相同程度的正则化。因此，Rothfusset al.（2019）提出了一种数据归一化方案，确保训练数据的平均值和单位方差为零，消除了为每个候选模型重新调整这些超参数的需要。这是通过对每个培训示例应用简单的转换来实现的。让^uxand^σxbe向量包含沿每个维度的平均值和标准偏差的估计值，以Xtrain（θ）为训练示例，此转换由^Xtrainm=diag（^σx）给出-1（Xtrainm- ^ux），（37）与^uy，^σyand▄yTraining定义类似。一旦网络在标准化数据集上进行了训练，我们需要评估最初在Eqn中定义的▄f（x，y，φ）。这是通过一个简单的过程来实现的。首先，使用等式n中定义的相同^uy、^σy、^ux和^σx值对x和y应用归一化变换。37，然后通过训练好的神经网络输入产生的▄x和▄y.▄x，以产生相应的混合参数，使我们能够评估▄y处的密度，我们用▄g（▄x，▄y，▄φ）表示。应该注意的是，g并不直接对应于f，因为我们已经对变量进行了更改，并且概率密度的体积在^σy6=1的正态变换下没有保留。Rothfuss等人。