基于神经网络的经济仿真模型贝叶斯估计

（2019）但是，请证明▄f（x，y，φ）=∏Jj=1^σ（j）yg（x，y，φ），（38），其中^σ（j）是^σy的第j个元素，可以方便地计算所需的密度。25例如，设置ηx=0.5将导致大量正则化，用于训练取[0，1]中值的示例，而对于训练取[0，1000]中值的示例基本上没有影响。a、 4神经网络架构本质上，我们定义了一种通用的基于神经网络的模拟模型估计方法，该方法独立于所使用的特定网络架构（隐藏层数量、神经元数量、激活函数类型等）。然而，为了完整性，我们简要介绍了我们研究中采用的（相对简单的）体系结构，尽管另有说明，但该体系结构一直在使用。对于混合模型本身，我们将混合组分的数量设置为beK=16，相关的混合参数网络由3个隐藏层组成，每个隐藏层有32个神经元和ReLU激活。使用著名的Adam Optimizer（Kingma和Ba 2015）对其进行了12个时期的培训，批次大小为512，噪声调节参数ηx=ηy=0.2。上述体系结构在所有评估任务中表现良好，这可能是我们考虑的第一个体系结构，并且是手动选择的，而不是通过自动优化程序选择的，这令人惊讶。通过增加隐藏层、神经元和混合成分的数量来提高性能的尝试似乎收效甚微，这表明提议的网络具有足够的表达能力，可以为我们考虑的一组问题生成高质量的密度估计。

我们怀疑这可能适用于其他具有类似复杂性的模型，因此建议将我们提出的体系结构用作使用此估计方法的未来调查的基线。然而，对于更复杂的模型，可能需要构建更具表现力的网络，在这种情况下，我们建议进行某种形式的超参数优化。然而，这超出了我们的调查范围，因此我们将其留给未来的研究。b所采用抽样策略的技术细节在本节中，我们简要讨论了所有已进行估计实验中采用的自适应Metropolis-Hastings算法。我们在这里的讨论主要是说明性的，并定位在我们调查的背景下。因此，感兴趣的读者应该参考Grif fin and Walker（2013）的原始贡献，以获得理论证明和更一般的讨论。本质上，该方法的中心思想是保持一组样本，θs=nθ（1）s，θ（2）s，θ（N）so，s=1，2，S、 为所需的迭代次数进行更新。最初，该集合由从可用参数值空间Θ均匀抽取的样本组成，但最终收敛为根据p（θ| X）分布。这是通过构建一个依赖于当前样本θs的自适应建议分布来实现的，该分布可以用算法总结如下：1。样品z根据▄pzθ（1）s，θ（2）s，θ（N）s, 这是通过将KDE应用于θ（1）s，θ（2）s，θ（N）s.2。提出z与θ（n）s的切换，其中n从{1，2，…，n}中均匀选择。3、以概率α=min接受切换1，pz十、pθ（n）s |θ（1）s，θ（2）s，θ（n-1） s，z，θ（n+1）s，θ（N）spθ（n）s | Xpz |θ（1）s，θ（2）s，θ（N）s.

（39）26后续时代发生可能性的任何改善通常都可以忽略不计。如果接受，将θs+1=θswithθ（n）s替换为z，否则只需将θs+1=θs。重复上述步骤进行s次迭代，我们获得一系列样本集，可用于计算公式[g（θ）]=NSS的期望值∑s=1N∑n=1gθ（n）s. （40）在我们的调查中，我们在所有情况下都设置了S=5000和N=70，通常在S=1500之前的某个点观察到收敛，这导致我们在磨合期丢弃First1500组。在构建后验样本时，我们将整个取样过程重复5次，并收集获得的样本集，形成5×3500×70=1225000个样本的更大样本集。最终，这已成为我们选择的MCMC算法，主要原因有两个：1。在随机行走大都市广播算法中，达到收敛所需的迭代次数在很大程度上取决于算法的初始化。例如，如果初始候选参数集具有特定的低后验密度，则可能需要很长一段时间才能观察到收敛。由于Grif fin和Walker（2013）提出的算法是使用参数空间中多个区域的点样本初始化的，因此该问题不太明显。2、大多数随机行走Metropolis Hastings算法需要仔细调整建议分布，通常目的是获得大约25%的接受率，以确保参数空间高密度区域的局部探索与参数空间整体的全球覆盖之间的良好平衡（Robert和Casella，2010）。

这在实践中很难实现，因此自动确定方案分布的自适应方法尤其具有吸引力。c稳健性测试在第5.1节中，我们提供了证据，证明我们提出的估计程序相对于滞后长度L的选择具有一定的稳健性。在这里，我们通过重复之前进行的所有涉及我们方法的估计实验，提供了更完整的证明，仅改变滞后长度，我们已将其增加到L=4。参考表7中的总结，我们发现该程序相对于所选基准的整体性能几乎没有变化，验证了我们结论的稳健性。表7：L=4所有模型的估计结果汇总病例的结果百分比SLSMDN<LSkde |uimdn-θitrue |<|uikde-θitrue | 77.78σimdn<σikde74.0727注意，由于我们在每个步骤中只更新一个样本，蒙特卡罗方差仍然在√S、 28由于总共有27个单独的参数情况，百分比移位只对应于两个|uimdn的单个二进制关系中的变化-θitrue |<|uikde-θitrue |和σimdn<σikde。