金融预测深层神经网络课程学习

有课程学习的LSTM和DCNN模型均优于所有变量，但居里数不高于此模型变量。我们在表2中看到，收入加权的部门级平均收益比季节性增长了21%，因此，只有在仔细考虑财务季节性的持久性后，才使用的许多模型在全球范围内超过了部门级收益。在我们的应用中，我们只提供了包括季节性的LSTM结果，因为我们发现它与课程学习相结合是有益的；实验结果表明，我们的结果优于课程学习的季节性选择。表1：。DNN模型相对于以前的Microsoft生产基线的全球测试错误减少百分比。模型MAPE改善百分比基本LSTM 1.9%LSTM与分类指标18.2%LSTM与季节性-5.1%LSTM与课程学习27.0%DCNN-0.7%DCNN与分类指标12.1%DCNN与课程学习22.6%。误差扩散范围约为±10%点。

我们声称，将课程学习应用到我们的DNN模型中会减少SBIAS，因为百分比误差会变为零。使用分类指标（橙色）、季节性LSTM（绿色）和金融预测的深层神经网络LSTM课程学习11表2。LSTM模型段级MAPE减少百分比（%）高于之前的Microsoft生产基线（正百分比对应于误差减少）。分部基本模型（a）+模型（b）+模型（c）+LSTM分类指标季节性课程学习（模型（a））（模型（b））（模型（c））（模型（d））1 25.5 22.0 53.4 70.02-47.9-34.3-23.0-0.83 7.65-5.8 26.0 20.34 14.2 30.3 12.0 27.45-15.4-13.2-11.8-25.96-79.2-60.3-110.1-12.47 34.7 30.1 31.0 11.58 17.9 15.5 57.5 2 61.4收入加权平均值10.3 10.3 21.3 30.0图。6、LSTM全球误差密度图7。DCNN全球课程学习错误密度（red）。在图7中，显示了基本DCNN（蓝色）、带分类指示器的DCNN（橙色）和带课程学习的DCNN（绿色）之间的比较。在这两种情况下，我们都看到课程学习变量（红色表示LSTM，绿色表示DCNN）最接近零中心，是方差最低的模型之一。5.2段级映射从编码器-解码器LSTM和DCNN模型映射中获得的段，出于隐私考虑，段的实际名称不共享，因为它们的位置被视为高业务影响（HBI）数据。总的来说，收入加权的LSTM部门级MAPE显示，相对于DCNN模型中目前使用的Microsoft基线12 a.Koenecke和a.Gajewarre，MAPE提高了30%（见表3），显示从基本DCNN模型到课程学习变量，MAPE提高了19个百分点。相对于Microsoft生产基准线的收益，而其他产品仅略有收益（或略有下降）。

特别是增加了课程部分。但是，当使用基于段的批处理和使用反向分段时。因此，将这两种不同的分类进行整合是一个有希望的未来步骤。表3：。Microsoft生产基线（正%对应于错误减少）。分部基本模型（a）+模型（b）+DCNN分类指标课程学习（模型（a））（模型（b））（模型（c））1 24.8 44.0 34.22-0.2-19.5-19.53-8.7 28.9 39.94 35.5 35.4 22.65 45.4 58.4 26.86-258.2-263.2-80.57 27.0 28.7 29.48 33.8 35.5 24.9收入加权平均值-3.1 4.5 16.2我们现在转向分部特定密度图的示例，如图所示n关闭段名称，但我们断言，其中一个部门的收入较高，而其中一个部门的收入较低（相当于比较大部门少四倍的收入）。在下面的图中，我们展示了课程学习改善结果的两个细分规模。我们首先使用这些图表来确认课程学习对偏差的影响，同时也对交叉运行差异进行评论。同样，我们注意到，出于Microsoft隐私原因，除了0之外，x轴（表示错误百分比）值被排除在外。金融预测深度神经网络课程学习13Fig。8、LSTM较大段错误图9。DCNN较大段错误图。10、LSTM小段误差图11。DCNN小段错误（橙色），DCNN带课程学习（绿色）。模型，图9为DCNN模型）。我们发现，带有改进偏差的LSTM模型）适用于带有课程学习的DCNN模型。我们现在讨论较小收入部门的密度图（图10为课程学习模型），特别是改进了偏差（接近零）和方差。

对于课程学习的LSTM模式，这些影响不太明显，但类似（更重要的是减少差异）。非课程学习模型变量），一些变量会减少方差（非课程学习模型变量的偏差变化很小），一些实例会产生更好的偏差和方差。因此，我们得出结论，CoursulumMore预测更准确，但也可以实现相对较低的方差和偏差。14 A.Koenecke和A.Gajewar6讨论从我们的结果中可以明显看出，在微软的财务时间序列上使用DNN是有价值的，而且课程学习是提高预测准确性不可或缺的工具。这些课程学习成果在全球范围内和分部层面上都很强大。此外，我们从图6LSTM和DCNN方法中可以看出），在某些情况下，分部水平的误差方差较小。首先，课程学习是时间序列数据的强大技术，而不仅仅是大幅提高结果。学习效果，这对于收入历史相对较短的产品特别有用。在此，值得注意的是数据预处理的重要性。在不考虑缺失数据的情况下执行我们的DNN方法会产生问题将后一种模型应用于没有足够历史的数据行会产生良好的结果。最后，财务数据不需要非常大，就可以成功地使用神经网络进行预测。DNN方法远比微软的生产基线有效，后者包括整合传统的统计和机器学习方法；运行每个DNN模型所花费的时间只占一小部分。

虽然课程学习涉及排序，因此对于非常大的数据集来说可能很难处理，但它不会对“中等规模”的Microsoft数据的运行时产生显著影响，而且我们能够创建不会过度匹配数据的模型。未来的工作包括测试更多的课程学习指标，将这些结果和改变分层变量的样本权重进行比较，并对这些模型进行组合以提高准确性。对于futurehypertuning软件包来说，明智的做法是在中型数据集上包含课程学习批量指标和使用课程学习的批量。7致谢考虑到财务数据的敏感性，我们感谢Kimyen Nguyen慷慨帮助我们在符合安全性的机器上进行实验。我们还要感谢芭芭拉·斯托茨、迪彭德拉·哈马尔和明迪·山本在格兰特诺领导下获得国家科学基金会研究生研究奖学金。DGE 1656518。本材料中发表的任何观点、发现、结论或建议均为作者的观点、结论和建议，不一定反映国家科学基金会的观点。金融预测深度神经网络课程学习15参考1。《艺术情报的应用》，第7657-7664页。(2018)2.Bengio，Y。；卢拉多，J。；Collobert，R。；和Weston，J.2009。课程学习。ACM。Borovykh，A.、Bohte，S.、Oosterlee，C.：卷积神经网络条件时间序列预测。(2018)4.Cirik，V.，Hovy，E.，Morency，L.P.：可视化和理解课程学习，用于长短期记忆网络。(2016)5.克利夫兰，R.、克利夫兰，W.、麦克雷，J.、特彭宁，I.：STL：基于黄土的季节趋势分解程序。《政府统计杂志》（1），3-73（1990）6。Gajewar，A.使用产品层次结构改进地区收入预测。第39届国际预测研讨会。(2018)7.

Graves，A.、Bellemare，M.G.、Menick，J.、Munos，R.、Kavukcuoglu，K.：神经网络的自动课程学习。(2017)8.Fawaz，H.I.、Forestier，G.、Weber，J.、Idoumghar，L.、Muller，P.A.：时间序列分类的转移学习。(2018)9.Flunkert，V.，Salinas，D.，Gasthaus，J.：《DeepAR：使用自回归递归网络的概率预测》。更正abs/1704.04110，（2017）10。Gupta，P.、Malhotra，P.、Vig，L.、Shro Off，G.：使用递归神经网络进行临床时间序列分析的转移学习。参加：2018年ACM KDD大会医药与健康研讨会。(2018)11.Laptev，N.、Yosinski，J.、Li，L.E.、Smyl，S.：优步的神经网络时间序列极端事件预测。参加：2017年ICML时间序列研讨会，澳大利亚悉尼。(2017)12.Sirignano，J.，Cont，R.：《金融市场价格形成的普遍特征：深度学习的视角》。(2018)13.计算语言学，751759年。计算语言学协会。14、神经网络。《神经信息处理系统的进展》27，第3104–3112页。Curran Associates，Inc.（2014）15。Talagala，A.、Hyndman，R.、Athanasopoulos，G.：元学习如何预测时间序列。莫纳什计量经济学和商业统计工作论文。(2018)16.基于LSTM递归神经网络的时间序列预测，https://machinelearningmastery.com/time-series-prediction-lstm-recurrent-neural-networks-python-keras.Last1917年3月19日查阅。https://github.com/JEddy92/TimeSeries_Seq2Seqcessed1918年3月19日。原始音频。(2016)