神经网络条件密度估计：最佳实践和

下面简要介绍的密度模拟受金融模型和经验回报分布的显示特性的启发，如负偏度和过度峰度EconDensity（图6a）：条件高斯分布，表现出异方差和对条件变量具有二次依赖性的平均值ArmaJump（图6b）：具有跳跃分量的AR（1）过程，因此表现出负偏度和过度峰度斜正态分布（图6c）：条件斜正态分布（Andˇel等人，1984）。条件分布的强度、波动性和平均参数是条件变量的函数高斯混合（图6d）：联合p（x，y）分布遵循可分解为x和y分量的GMM，即p（x，y）=p（y）p（x）。这确保了条件概率p（y | x）是可处理的。附录中提供了条件密度模拟的详细描述以及相应概率密度的图示（图6）。C、 A.2。评估指标为了评估估计的条件密度的优度，我们测量估计值与真实条件概率密度之间的统计距离。特别地，海林格距离被用作评估度量。我们选择海林格距离，而不是其他流行的统计发散，因为它是对称的，并且被限制在[0,1]，因此更容易解释。由于训练数据是根据联合分布p（x，y）模拟的，但密度估计值^p（y | x）是有条件的，因此我们评估了不同条件值x之间的统计距离。为此，我们在p（x）的10%和90%之间为x均匀抽样10个值，计算各自的海林格距离，并最终平均条件统计常数。

在所有实验中，使用5种不同的

总的来说，实验结果证明了噪声正则化的有效性，以及它对于在训练样本之外实现良好泛化的重要性。C、 数据规范化评估第IV.B.2节中介绍的数据规范化方案旨在使密度估计器的超参数对训练数据的分布保持不变。如果不使用数据规范化，超参数的优度对训练数据的水平和波动性很敏感。最敏感的超参数是参数密度估计的初始化。IfNone 0.01 0.02 0.05 0.1 0.2y-噪声std0.40.20.1Nonex-噪声std0.055 0.059 0.057 0.054 0.052 0.0530.080 0 0.078 0.073 0.066 0.063 0.0550.087 0.086 0.087 0.084 0.073 0.0620.124 0.117 0.121 0.106 0.094 0.065ECONENSITYNONE 0.01 0.05 0.1 0.2y-噪声std0.40.20.1NOEX-噪声std0.145 0.152 0.148 0.154 0.160 0.1930.089 0.088 0.086 0.087 0.095 0.1410.084 0.089 0.084 0.077 0.077 0.1240.117 0.128 0.1150.096 0.076 0.118ArmaJumpNone 0.01 0.02 0.05 0.1 0.2y噪声std0.40.20.1Nonex噪声std0.819 0.817 0.817 0.815 0.810 0.7940.894 0.890 0 0.889 0.887 0.881 0.8520.940 0 0.942 0.941 0.935 0.919 0.8770.960 0.977 0.980 0.966 0.939 0.886GausianMixturenone 0.01 0.02 0.05 0.1 0.2y-噪声std0.40.20.1Nonex-噪声std0.074 0.073 0.070 0.068 0.072 0.0850.065 0.065 0.065 0.063 0.059 0.056 0.0690.074 0.075 0.069 0.0710.056 0.0640.113 0.103 0.086 0.083 0.062 0.065倾斜法线0.060.070.080.090.100.110.12Hellinger距离0.080.100.120.140.160.18Hellinger距离0.8000.8250.8500.8750.9000.9250.9500.975 Hellinger距离0.060.070.080.090.100.11Hellinger距离图2。不同噪声正则化强度的影响ηx和ηyHellinger MDN估计值之间的距离，适用于1600个样本，以及不同噪声正则化强度的真实密度。

显示的值是5个种子的平均值。200 500 1000 2000 5000个训练样本数101Hellinger距离密度200 500 1000 2000 5000个训练样本数1012×1013×1014×1016×101Hellinger距离ARMAIMP200 500 1000 2000 5000个训练样本数101Hellinger距离偏斜正态MDN noiseMDN no noiseKMN noiseKMN no noiseKMN图3。噪声正则化对估计密度优度的影响。DN/KMN密度估计的优度，符合（ηx=0.2，ηy=0.1）且无噪声正则化。彩色图显示了估计密度和真实密度之间的海林格距离、5个种子的平均值，以及不同样本大小的半透明区域各自的标准偏差。500 1000 2000 5000训练样本数101Hellinger distanceEconDensity（std ~=1）500 1000 2000 5000训练样本数1012×1013×1014×101Hellinger distanceArmaJump（std ~=0.08）500 1000 2000 5000训练样本数101Hellinger distanceSkewNormal（std ~=0.05）MDN归一化MDN归一化MDN非归一化KMN非归一化图4。数据规范化的影响。MDN/KMN密度估计的优度，在有无数据标准化的情况下。彩色图显示了5个种子的平均密度和真实密度之间的海林格距离，以及不同样本大小的半透明区域各自的标准偏差。虽然EconDensity的无条件标准差为1，但其他两个密度模拟的无条件波动率却大大降低，约为0.08和0.05。初始密度估计值在统计上与真实密度相差太远，数值优化可能很慢或完全无法找到好的密度。

图4说明了这种现象，并强调了适当数据规范化的实际重要性。对于EconDensity模拟，模拟密度的条件标准偏差与初始密度估计值相似。有无数据归一化的密度估计都会产生非常相似的结果。然而，数据规范化始终减少了Hellinger距离。ArmaJump和SkewNormal密度模拟器的条件标准差非常小，即比EconDensity小12-20倍。在没有数据规范化方案的情况下，初始KMN/MDN密度估计与真实条件密度之间存在较大的统计距离。因此，数值优化无法在1000个训练周期内有效地满足密度要求。如图4所示，得出的密度估计值与数据归一化的估计值相比有很大的不同。D、 条件密度估计器基准研究在对噪声正则化和数据归一化方案进行经验评估之后，我们将基于神经网络的密度估计器与最先进的条件密度估计方法进行基准测试。具体而言，基准研究包括以下条件密度估计器：o混合密度网络（MDN）：如第IV.A.1节所述。MDN采用数据归一化和噪声正则化（ηx=0.2，ηy=0.1）进行训练内核混合网络（KMN）：如第IV.A.2节所述。

KMN采用数据归一化和噪声正则化（ηx=0.2，ηy=0.1）进行训练。500 1000 2000 5000训练样本数1013×1024×1026×1022×101Hellinger DistanceCondensity500 1000 2000 5000训练样本数1012×1013×1014×101Hellinger distanceArmaJump500 1000 2000 5000训练样本数101Hellinger distanceSkewNormalMDN KMN LSCDE CKDE CKDE-CV NKDEFigure 5。条件密度估计基准。图示的基准研究在3个密度模拟中比较了6个密度估计器。为了评估拟合优度，我们报告了真实密度与不同样本下密度估计值之间的海林格距离。彩色图表显示了5个种子的平均海林格距离，半透明区域显示了各自的标准偏差条件核密度估计（CKDE）：在II中引入的非参数方法。B通过经验法则使用带宽选择（Silverman，1982）通过交叉验证进行带宽选择的CKDE（CKDE-CV）：类似于通过最大似然交叉验证进行带宽选择的CDKE（Li和Racine，2007）o-邻域核密度估计（NKDE）：只考虑训练点的局部子集以形成密度估计的非参数方法最小二乘条件密度估计（LSCDE）：将条件密度计算为核的线性组合的半参数估计（Sugiyama和Takeuchi，2010）。图5描述了所述估计器在不同密度模拟和训练样本数下的评估结果。由于建模能力有限，LSCDE yieldspoor在所有三种评估案例中都进行了估计，并且随着样本数量的增加，仅显示出轻微的改进。CKDE始终优于NKDE。

这可能归因于NKDE展示的训练点所考虑的数据邻域的位置，而CKDE能够充分利用可用数据。毫不奇怪，通过交叉验证进行带宽选择的CKDE版本总是根据经验法则改进CKDE。在EconDensity评估中，CKDE实现了较小样本量的较低统计距离。然而，基于神经网络的估计器KMN和MDN在CKDE上的增益随着样本量的增加而增加，并且在6000个样本的情况下获得类似的结果。在其他两种评估案例中，KMNs和MDN始终优于其他估计量。这表明，即使对于小样本量，噪声正则化神经网络估计器也可以与已建立的CKDE等效甚至优于CKDE。六、 欧洲斯托克50指数数据的实证评估上一章基于模拟，本章对真实股市数据进行了实证评估和基准研究。特别是，我们关注的是估计欧洲斯托克50指数回报的条件概率密度。在详细描述了数据和密度估计任务之后，我们报告并讨论了基准测试结果。A、 欧洲斯托克50指数以下实证评估基于欧洲斯托克50指数。该数据包括3169个交易日，从2003年1月至2015年6月。我们将任务定义为预测1天日志返回的条件概率密度，以14个解释变量为条件。这些条件变量包括上期回报率、无风险利率、已实现波动率、期权隐含时刻和回报因子。有关条件变量的详细描述，请参阅附录。F、 总的来说，目标变量是一维的，即y∈ Y R、 其中，条件变量x构成14维向量，即。

x个∈ 十、 R、 B.评估方法为了评估不同密度估计器的优劣，使用了样本外验证。特别是，可用数据被分割成一个比例为80%的训练集和一个由剩余20%的数据点组成的验证集。验证集Dvalis是一个连续的数据系列，对应于633个最近交易日，仅用于计算以下优度度量：o平均对数似然：验证数据的平均条件对数似然| Dval | X（X，y）∈Dvallo^p（y | x）（27）oRMSE平均值：实现的日志返回和估计的条件分布平均值之间的均方根误差（RMSE）。估计的条件平均值定义为分布^p（y | x）：^u（x）=ZYy^p（y | x）dy（28）下y的期望值，基于此，RMSE w.r.t.u计算为RMSEu=vuut | Dval | x（x，y）∈Dval（y- ^u（x））（29）oRMSE标准：预测平均值^u（x）的实际偏差与条件密度估计的标准偏差之间的RMSE。估计的条件标准平均值。对数似然RMSE平均值（10-2） RMSE标准（10-2） CKDE 3.3368±0.0000 0.6924±0.0000 0.8086±0.0000NKDE 3.1171±0.0000 1.0681±0.0000 0.5570±0.0000LSCDE 3.5079±0.0087 0.7057±0.0061 0.5442±0.0028MDN无噪声3.1386±0.1501 0.5339±0.0084 0.3222±0.0064MN无噪声3.3130±0.0743 0.6070±0.0417 0.4072±0.0372MDN噪声3.7539±0.0324 0.5273±0.0082 0.3188±0.0016KMN，噪声3.7969±0.0250 0 0.5375±0.0079 0.3254±0.0063表I对EuroStoxx 1天退货的样本外验证。平均值。

对数似然RMSE平均值（10-2） RMSE标准（10-2） CKDE LOO-CV 3.8142±0.0000 0.5344±0.0000 0.3672±0.0000NKDE LOO-CV 3.3435±0.0000 0.7943±0.0000 0.4831±0.0000LSCDE 10倍CV 3.5250±0.0040 0.6836±0.0056 0.5538±0.0059MDN 10倍CV 3.8351±0.0114 0.5271±0.0060.3269±0.0026KMN 10倍CV 3.8299±0.0141 0.5315±0.0075 0.3247±0.0047表II EuroStoxx 1天回报的样本外验证-通过交叉验证选择超参数。偏差定义为^σ（x）=sZY（y- ^u（x））^p（y | x）dy（30）相应的RSME计算如下：RMSEσ=vuut | Dval | x（x，y）∈Dval（| y- ^u（x）|- ^σ（x））（31）有关估计条件矩和相关积分近似的详细信息，请感兴趣的读者参阅附录。G、 计算平均对数可能性是评估密度估计优度的常用方法（Rezende和Mohamed，2015；Tansey et al.，2016；Tripe和Turner，2018）。估计的条件密度越接近真实分布，期望的样本外可能性越高。只有当估计器的泛化程度远远超过训练数据时，它才能为遗漏的验证数据分配高条件概率。在金融领域，回报分布通常以其中心矩为特征。RMSEsw。r、 t.平均值和标准偏差为预测的准确性和一致性提供了一个定量度量，即预测的不确定性。总的来说，估计量的训练和优度度量的计算是用5种不同的种子进行的。报告的结果是5个种子的平均值，以及各自的标准偏差。C、 经验密度估计基准Euro Stoxx 50估计基准分为两类。首先，我们比较了默认超参数配置中的估值器。

在前几章中，通过对模拟密度的超参数扫描选择了默认配置。表I中报告了相关结果。与第五节中的模拟研究一致，MDN和KMN的噪声正则化显著提高了估计的泛化（即验证对数似然）。此外，正则化提高了预测精度（RMSE平均值）和不确定性估计（RMSE标准）。在基准的第二部分中，通过在Euro-Stoxx训练集上的交叉验证来选择估计器参数。采用对数似然作为优度准则。继之前的工作（Duin，1976；Pfei ffer，1985；Li和Racine，2007）之后，我们结合Nelder和Mead（1965）的下坡单纯形法使用留一交叉验证来选择核密度估计器（CKDE和NKDE）的参数。对于其余的方法，采用了具有10倍交叉验证的超参数网格搜索。有关确定的超参数设置的详细信息，请参阅附录。E、 表二描述了超参数搜索的评估结果。与无超参数选择的结果类似，具有噪声正则化的MDN和KMNS在所有三种评估度量中均优于以前的方法。这加强了模拟研究的结果，并证明，当适当正则化时，基于神经网络的方法能够生成更好的条件密度估计。此外，有趣的是，当使用交叉验证时，两种核密度估值器都有显著的改进。这有力地表明，通过高斯经验法则选择的带宽较差，而底层返回数据是非高斯的。七、