|
在大约50%的情况下,定价差异小于一便士,而相对误差为0.4%。表4所示的一些孤立病例存在较大差异。为了提高收敛性,我们采用了批量归一化技术。【11】中提出了批量归一化技术。当我们有一个神经网络时,每一层输入分布的变化都会带来一个pr问题,因为参数需要不断适应新的分布。这就是所谓的协变量转移现象。消除内部协变量移位提供了快速训练和批量归一化是实现这一点的机制。批量标准化通过一个标准化步骤来实现这一点,该步骤可以实现输入分布的平均值和方差。我们想指出的是,当在测试中使用批量规范化技术来提高测试的性能时,我们添加了额外的可训练变量;这些具有批次归一化的可训练参数在不同的时间步之间是不同的(即,网络仍将取决于ti)。Zti=净θ,βti(Xti,T- ti),i=0。。。N(10)这里βt是批量归一化中引入的参数。表3所示的试验结果t 2是在每一层上应用批次nor的结果。将测试1和测试2的结果进行比较,我们可以看到,当采用批次非恶性化时,绝对差异和相对差异都有显著改善。此外,那些在测试1中未能收敛的孤立点现在很好地收敛,相对差异小于1%,如表4所示。在执行批处理规范化时,我们可以选择在每一层应用它,也可以只在输入层应用它。无论我们是在每个层应用批处理规范化,还是仅在输入层应用批处理规范化,结果都是相似的,如Ta ble3所示。
|