时间序列预测的深度自适应输入归一化

实验评估为了评估所提出的方法，采用了一个具有挑战性的大型数据集（FI-2010），其中包含限额订单簿数据[20]。数据收集自5家在赫尔辛基交易所（纳斯达克北欧交易所运营）交易的芬兰公司，并测量了10个最高和10个最低的买卖订单价格。这些数据是在2010年6月1日至2010年6月14日的10个工作日内收集的。然后，使用[12]中提出的预处理和特征提取管道来处理收集到的450万个有限阶数，从而得到总共453975144个维特征向量。我们还遵循了【28】中提出的锚定评估设置。根据该设置，从第一天提取的时间序列用于使用FI-2010数据集方法模型宏F1 CohenκNo norm对可建模的糖尿病相关性研究进行训练。MLP 12.71±13.22 0.0010±0.0014z评分标准。MLP 53.76±0.99 0.3059±0.0157样本平均标准。MLP 41.80±3.58 0.1915±0.0284批次标准。MLP 52.72±1.94 0.2893±0.0264实例标准。MLP 59.13±2.94 0.3717±0.0406DAIN（1）MLP 57.37±3.16 0.3536±0.0417DAIN（1+2）MLP 66.71±2.02 0.4896±0.0289DAIN（1+2+3）MLP 66.92±1.70 0.4934±0.0238无常模。CNN 12.61±12.89 0.0003±0.0006z评分标准。CNN 50.94±1.12 0.2570±0.0184样本平均标准。CNN 53.49±3.38 0.2934±0.0458批次标准。CNN 45.89±3.40 0.1833±0.0517实例标准。CNN 57.05±1.61 0.3396±0.0219DAIN（1）CNN 59.79±1.46 0.3838±0.0199DAIN（1+2）CNN 61.91±3.65 0.4136±0.0574DAIN（1+2+3）CNN 63.02±2.40 0.4327±0.0358无常模。RNN 31.61±0.40 0.0075±0.0024z评分标准。RNN 52.29±2.10 0.2789±0.0295样本平均标准。RNN 49.47±2.73 0.2277±0.0403批次标准。RNN 51.42±1.05 0.2668±0.0147实例标准。

RNN 54.01±3.41 0.2979±0.0448DAIN（1）RNN 55.34±2.88 0.3164±0.0412DAIN（1+2）RNN 64.21±1.47 0.4501±0.0197DAIN（1+2+3）RNN 63.95±1.31 0.4461±0.0168，第二天的数据用于评估该方法。然后，前两天用于培训方法，而第二天的数据用于评估。该过程重复了9次，即数据集中可用的每一天重复一次（上一天除外，没有可用的测试数据）。使用宏观精密度、宏观召回、宏观F1和Cohenκ来衡量评估方法的性能。LetT-Pc、F-Pc、T-Nc和F-Ncbe是c类的真阳性、假阳性、真阴性和假阴性。一类的精确度定义为precc=T-Pc/（T-Pc+F-Pc），recallas-recallc=T-Pc/（T-Pc+F-Nc），而c类的F1分数计算为精确度和召回率的调和平均值：F 1c=2·（precc·recallc）/（precc+recallc）。分别计算每个类别的这些指标，然后进行平均（宏观平均）。最后，使用科恩的κ度量可以评估两组不同注释之间的一致性，同时考虑可能的一致性。报告锚定劈裂后的平均值和标准偏差值。训练后的模型用于预测10个和20个时间步后平均中间价的方向（上涨、平稳或下跌），而如果中间价的变化小于0.01%（或20个时间步预测期的0.02%），则认为股票是平稳的。评估中使用了三种不同的神经网络结构：多层感知器（MLP）[18]、进化神经网络（CNN）[4]、[30]和由选通递归单元组成的递归神经网络（RNN）[3]。

所有经过评估的模型都接收从时间序列中提取的15个最新度量（特征）向量作为输入，并预测未来的价格方向。对于MLP，测量值被转换为一个恒定长度的向量，15×144=2160个测量值，以这种方式保持时间序列的时间信息。MLPI由一个具有512个神经元的完全连接的隐藏层组成（使用ReLU激活函数[7]），然后是一个具有3个输出神经元的完全连接层（每个输出神经元对应于一个预测类别）。隐藏层后使用0.5%的衰减率【26】。该神经网络由一个1-D卷积层组成，该层具有256个滤波器，内核大小为3，然后是两个完全连接的层，其架构与所采用的MLP相同。RNNis由一个包含256个隐藏单元的GRU层组成，后面是两个完全连接的层，与所采用的MLP中的架构相同。使用交叉熵损失对网络进行训练。首先，进行烧蚀研究，以确定每个归一化子层对推荐方法性能的影响。结果如表1所示。“DAIN（1）”表示仅对归一化过程应用（3），“DAIN（1+2）”表示使用前两层进行归一化过程，而“DAIN（1+2+3）”表示使用所有三个归一化层。优化在训练数据上运行了20个时代，而对于评估，前3天（1、2和3）采用了前面描述的锚定评估方案。

建议的方法还与a）不对数据应用任何形式的规范化（“无规范”）进行了比较，b） 使用z分数归一化，c）从每个时间序列中减去平均测量向量（称为“样本平均范数”）在表I）中，d）直接在输入数据上使用BatchNormalization（11）和e）实例规范化层（10）。请注意，批处理规范化和实例规范化最初不是为规范化输入数据而设计的。但是，它们可以用于此任务，提供额外的基线。所有三个模型（MLP、CNN和RNN）均被用于评估，模型在数据上经过20个训练时期的训练。此外，数据的抽样概率与其班级频率成反比，以确保每个班级在培训期间的代表性相等。因此，频率较低的班级的数据采样频率较高，反之亦然。对于所有进行的消融研究实验，为接下来的10个时间步设定了预测范围。从表I中报告的结果可以得出几个结论。首先，使用某种形式的归一化对于确保模型成功训练至关重要，因为不使用归一化会导致κ值在0左右（随机一致）。无论是使用z评分标准化还是执行基于样本的标准化，似乎都同样有效。批量规范化产生的性能与z分数规范化类似，正如预期的那样，而实例规范化与所有其他基线规范化方法相比提高了性能。

当应用建议的主要方法的第一层时（自适应移位），模型在固定归一化方法上的性能增加了使用FI-2010数据集归一化方法模型水平宏观精度宏观召回宏观F1分数Cohen的κz分数MLP 10 50.50±2.03 65.31±4.29 54.65±2.34 0.3206±0.0351实例归一化的稳定II评估结果MLP 10 54.89±2.88 70.08±2.90 59.67±2.26 0.3827±0.0316 DAIN MLP 10 65.67±2.26 71.58±1.21 68.26±1.67 0.5145±0.0256z评分MLP 20 52.08±2.33 64.41±3.58 54.66±2.68 0.3218±0.0361实例归一化MLP 20 57.34±2.67 70.77±2.32 61.12±2.33 0.3985±0.0305DAIN MLP 20 62.10±2.09 70.48±1.93 65.31±1.62 0.4616±0.0237z评分RNN 10 53.73±2.4254.63±2.88 53.85±2.66 0.3018±0.0412实例归一化RNN 10 58.68±2.51 57.72±3.90 57.85±2.23 0.3546±0.0346DAIN RNN 10 61.80±3.19 70.92±2.53 65.13±2.37 0.4660±0.0363z评分RNN 20 53.05±2.28 55.79±2.43 53.97±2.31 0.2967±0.0353实例归一化RNN 20 58.13±2.39 60.11±2.24 58.75±1.53 0.3588±0.0234DAIN RNN 20 59.16±2.21 68.51±1.54 62.03±2.20 0.4121±0.0331表三使用家庭用电量数据集归一化方法的评估结果模型精度（%）无MLP 71.57z评分MLP 75.39实例归一化MLP 77.93DAIN MLP 78.83无RNN 77.16z评分RNN 77.22实例归一化RNN 77.25DAIN RNN 78.59（相对改善），MLP提高15%以上，CNN为30%，RNN为13%（Cohenκ），强调学习如何根据样本产生的分布自适应地改变每个测量部门，确实可以带来显著的改善。

请注意，自适应移位层直接接收原始数据，无需任何形式的规范化，但它能够学习如何规范化这些数据，以便成功地训练网络的其余部分。这方面的一个关键因素是A）避免在移位过程中使用任何非线性（可能导致输入神经元饱和）和b）如前所述，适当初始化移位层。使用额外的自适应缩放层，也可以单独缩放每个测量值，进一步提高所有评估模型的性能。最后，自适应层提高了MLP和CNN的性能（平均相对提高约2.5%）。然而，它并没有进一步提高GRU的性能。这可以解释，因为GRU已经包含了各种门控机制，这些机制可以提供与所使用的DAIN第三层相同的功能。然后，使用完整的训练数据（第一天用于调整所提出方法的超参数的数据除外）和两个不同的预测范围（10和20个时间步）对模型进行评估。使用两种性能最佳的模型（MLP和RNN），实验结果如表II所示。同样，对于使用建议的（完整的）DAIN层和实例规范化层的模型，没有使用其他形式的规范化，例如z评分等。使用实例规范化会比普通的z分数规范化带来更好的性能。

然而，再次使用所提出的方法，与两种模型的其他评估方法相比，所获得的结果有了显著改善。最后，在另一个数据集，即家庭用电量数据集[9]上对所提出的方法进行了评估。该数据集使用的预测任务是预测与前20分钟相比，未来10分钟家庭的平均功耗是增加还是减少（评估采用了90%-10%的培训/测试划分）。进行的实验使用了与之前相同的MLP和RNN架构，同时将20个具有不同测量的7维特征向量（每分钟一个特征向量）馈送到模型。表III中报告了实验评估的结果。同样，与其他三种评估方法相比，所提出的方法带来了显著的改进。此外，请注意，即使通过GRU模型，当使用更简单的归一化方法（如z评分）时，也会产生显著更好的结果，当使用拟议的DAIN层时，它与MLP几乎达到相同的性能。我们还进行了一个额外的实验来评估所提出的方法承受分布转移和/或处理重尾数据集的能力。更具体地说，评估期间输入模型的所有测量值均通过增加其平均值的3倍（电压测量值除外）进行移动（增加）。这导致使用普通z分数标准化训练的MLP模型的分类性能从75.39%下降到56.56%。

另一方面，建议的方法仅受到轻微影响：分类准确率降低不到0.5%（从78.59%降至78.21%）。超参数：使用简单的线搜索程序为FI-2010数据集调整学习超参数（数据集的第一天用于评估）。基本学习率设置为η=10-4，而子层的学习率设置如下：ηa=10-6/10-2/10-2，ηb=10-3/10-9/10-和ηc=10/10/10（分别为MLP/CNN/RNN）。对于householdpower consumption数据集，学习率设置为ηa=10-5，ηb=10-2，ηc=10。自适应移位和自适应缩放层的权重初始化为单位矩阵，即Wa=Wb=Id×d，而其余参数则通过从正态分布中提取权重来随机初始化。RMSProp算法用于优化生成的深层架构【27】。四、 结论本文提出了一种可端到端训练的深度自适应归一化方法。所提出的方法易于实现，但与直接使用原始时间序列数据的方法相同。使用三种不同的深度学习模型和两个时间序列预测数据集，评估了所提方法提高预测性能的能力。所提出的方法始终优于所有其他经过评估的规范化方法。有几个有趣的未来研究方向。首先，可以采用替代的和潜在的更稳定的学习方法，例如乘性权重更新，来更新DAIN层的参数，从而减少仔细调整每个子层的学习速率的需要。

此外，还可以使用更高级的聚合方法来提取摘要表示，例如扩展特征包模型[22]，以从时间序列中提取表示[24]。此外，除了zscore归一化之外，最小-最大归一化、平均归一化和单位长度缩放也可以表示为拟议归一化方案中的特殊情况，尤其是提供不同的初始化点。最后，使用模式信息（目前已废弃）进一步丰富提取的表示的方法可以进一步提高模型的性能。参考文献【1】Ronay Ak、Olga Fink和Enrico Zio。短期风速时间序列预测的两种机器学习方法。IEEE Trans。《神经网络与学习系统》，27（8）：1734–17472016。[2] Jimmy Lei Ba、Jamie Ryan Kiros和Geoffrey E Hinton。图层规范化。arXiv预印本arXiv:1607.064502016。[3] Chunyoung Chung、Caglar Gulcehre、KyungHyun Cho和Yoshua Bengio。门控递归神经网络序列建模的经验评估。arXiv预印本arXiv:1412.35552014。[4] 崔志诚、陈文林和陈怡欣。用于时间序列分类的多尺度卷积神经网络。arXiv预印本XIV:1603.069952016。[5] 邓跃、冯宝、孔友勇、任志全、戴琼海。金融信号代表和交易的深度直接强化学习。IEEE Trans。《神经网络与学习系统》，28（3）：653–6642017。[6] Arash Gharhbaghi和Maria Lind\'en。一种利用时间增长神经网络对生物信号周期时间序列进行分类的深度机器学习方法。IEEE Trans。《神经网络与学习系统》，29（9）：4102–41152018。[7] 泽维尔·格洛特、安托万·博尔德斯和约舒亚·本吉奥。深层稀疏神经网络。过程中。内部形态。

《艺术情报与统计》，2011年第315-323页。[8] 克劳斯·格雷夫、鲁佩什·K·斯利瓦斯塔瓦、扬·库特恩克、巴斯蒂恩布林克和杰尔根·施密杜伯。Lstm：太空探索之旅。IEEE Trans。《网络与学习系统》，28（10）：2222–22322017。[9] G H’ebrail和A B’erard。个人家庭用电量数据集。E.d.France，Ed.，Ed:UCI机器学习知识库，2012年。[10] 黄迅和贝隆吉。使用自适应实例规范化实时传输任意样式。过程中。《计算机视觉国际会议》，第1510–1519页，2017年。[11] 谢尔盖·伊夫和克里斯蒂安·塞格迪。批量规范化：通过减少内部协变量偏移来加速深度网络训练。过程中。《机器学习国际会议》，第448-4562015页。[12] 亚历克·N·科切瓦尔和张元。使用支持向量机建模高频limitorder book动态。QuantitativeFinance，15（8）：1315–13292015。[13] 金敬在。使用支持向量机进行金融时间序列预测。神经计算，55（1-2）：307-3192003。[14] Kuremoto Takashi、Kimura Shinsuke、Kobayashi Kunikazu和Obayashi Masanao。使用深度信念网络和受限boltzmann机器进行时间序列预测。神经计算，137:47–562014。[15] 米拉·马基宁、朱霍·坎尼亚宁、蒙塞夫·加布吉和亚历山德罗西·菲迪斯。股票价格跳跃到达的预测：使用限价订单数据的新的基于注意力的网络架构。arXiv预印本XIV:1810.108452018。[16] Arash Miranian和Majid Abdollahzade。建立了基于局部最小二乘支持向量机的非线性混沌时间序列神经模糊预测模型。IEEE Trans。《神经网络与学习系统》，24（2）：207–2182013。[17] SC Nayak、BB Misra和HS Behera。数据规范化对股票指数预测的影响。内景杂志。