基于注意LSTM的金融序列预测

我们选择了命中率最高的最佳模型，然后对目标数据进行了测试。预印本-2019年3月1日图6：与回溯日相关的命中率图7：与各种深度学习模型预测日相关的命中率5.1最佳回溯日首先，我们进行了实验，以确定必要的回溯次数，以确保所提出的深度学习模型的最佳精度。接下来，我们将回溯天数设置为5、10、15、20、30和60天；五个交易日被视为一周。因此，我们使用1、2和3个回顾周，以及1和2个月作为输入数据。对于第5天和第5天，预测天数与回溯期的天数相同。例如，如果回溯期为15天，预测期为10天，我们的输入数据包含3周的信息，我们预测了回溯期最后一天之后2周的趋势。在图6中，从右到左的每个条表示5、10、15、20、30和60个回顾日的命中率。这些结果代表了各种深度学习模型测试数据的最佳命中率。我们不使用最佳模型验证数据，因为我们希望找到最佳回溯日。如图6所示，更长的回溯日产生了更好的命中率，尤其是在60个回溯日以上。测试数据的最佳模型接近80%；A财务预测中的高命中率。因此，在下一小节中，我们将尝试比较60个回顾日和不同预测日的各种深度学习模型。5.2各种深度学习模型的结果如上所述，我们对各种深度学习模型进行了60天的回顾和预测，从下一天到每周，直到预测天数达到60天。在这个实验中，我们生成命中率来确定哪种模型优于测试数据。

我们对每个模型进行了五次训练，以验证其稳定性；预测天数。如图7所示，在60个回溯日内，注意力网络的表现优于其他模型。对于长期时间序列预测，我们假设LSTM由于其存储单元特性而带来优势。此外，与MLP和1D CNN相比，LSTM显示了更简单的命中率。在[]中，当使用ANN和支持向量机时，无论是否使用Google Trends，最佳命中率结果都达到了0.52（我们假设我们的MLP和ANN模型在模型中（加权或非加权），我们在数据输入结束后40天进行预测时产生了最佳结果。此外，我们使用带有测试数据集的注意网络得出的命中率为0.715，使用带有最佳验证模型的加权注意网络得出的命中率为0.763。此外，我们还利用积极和消极趋势，并考虑到发生了相对较大的变化率，进一步分析了这些模型。如表1所示，我们的测试数据集以6:4的比率显示出积极和消极的趋势。如果我们更正了所有内容，并预印了一份数据集-2019年3月1日数据集注意网络加权注意网络正0.602 0.709 0.825负0.398 0.723 0.671总计1.0 0 0.715 0.763获得分数1525.20 1090.718 1257.462表1：最佳模型结果图8：使用加权注意网络的因素%的注意向量。5.3变化率最高的可视化注意向量。我们在注意力模型中使用了两种类型的注意力向量。图8和图9表示注意力网络的注意向量。在这种情况下，就因素而言，美元货币指数和标准普尔500全球指数是权重最高的因素。就时间而言，在本例中，输入数据的最后一天和中间的几天是最长的几天。然而，只有4%的总重量代表最大值。

要详细分析这些向量仍然很困难，因为它们有复杂的关系，并通过我们的模型来确定趋势是上升还是下降。然而，我们可以通过注意向量可视化直观地确定哪个因素和时间最有效。6结论在本研究中，我们测试了各种深度学习模型，以预测KOSPI 200指数的趋势。特别是，wetested MLP、1D CNN、LSTM和attention networks，它们广泛用于顺序数据应用。不同模型的短期回溯日命中率较低，而60个交易日的长期回溯日命中率较高。当将60个交易日作为回溯日时，使用40个交易日作为预测日，注意力网络模型的命中率最高。此外，当我们使用加权图9:timesA预印本的注意力向量-2019年3月1日注意力网络时，我们获得了最高的得分，因为在更高的变化率下，损失函数被最小化。通过我们的实验，包含LSTM网络的模型的总体结果。最后，加权注意网络在处理长序列数据时表现更好，并且具有直观分析模型的可视化优势。参考文献【1】Nowrouz Kohzadi、Milton S Boyd、Bahman Kermanshahi和Iebeling Kaastra。用于预测商品价格的人工神经网络和时间序列模型的比较。神经计算，10（2）：169–1811996年。[2] Yakup Kara、Melek Acar Boyacioglu和"Omer Kaan Baykan。使用人工神经网络和支持向量机预测股价指数的走势：伊斯坦布尔证券交易所的样本。Expertsystems with Applications，38（5）：5311–53191011。[3] 亚历克斯·格雷夫斯、阿卜杜勒·拉赫曼·穆罕默德和杰弗里·辛顿。

深部复发性Neuraliee的语音识别，2013年。[4] Hamid Palangi、Li Deng、Yelong Shen、Jianfeng Gao、Xiaodong He、Jianshu Chen、Xinying Song和RababWard。使用长-短期记忆网络的深层句子嵌入：分析及其在信息检索中的应用。IEEE/ACM音频、语音和语言处理交易（TASLP），24（4）：694–7072016。[5] Kelvin Xu、Jimmy Ba、Ryan Kiros、Kyunghyun Cho、Aaron Courville、Ruslan Salakhudinov、Rich Zemel、andYoshua Bengio。显示、参与和讲述：通过视觉注意生成神经图像标题。《国际机器学习会议》，第2048–2057页，2015年。[6] 鑫耀倩。金融序列预测：时间序列模型和机器学习方法精度的比较。arXiv预印本arXiv:1706.009482017。[7] 苏金萍、李在华、陈敏哲和张慧素。预测市场指数价格趋势的机器学习技术的可预测性：韩国股市的假设检验。PloS one，12（11）：E01881072017。[8] 神经网络。《2014年自然语言处理经验方法会议论文集》（EMNLP），第2-13页，2014年。[9] 叶龙申、何晓东、高剑锋、李登和格里高尔·梅斯尼尔。一种用于信息检索的卷积池结构潜在语义模型。《第23届ACM信息与知识管理国际会议记录》，第101-110页。ACM，2014年。[10] Yoon Kim。用于句子分类的卷积神经网络。arXiv预印本arXiv:1408.58822014。[11] Kazuya Kawakami。递归神经网络监督序列标记。慕尼黑理工大学博士论文，博士论文，2008年。[12] Pankaj Malhotra、Lovekesh Vig、Gautam Shroff和Puneet Agarwal。用于时间序列正常检测的长-短期记忆网络。在诉讼中，第89页。

卢万大学出版社，2015年。[13] 魏宝、君悦和饶玉蕾。使用堆叠自动编码器和长-短期记忆的金融时间序列深度学习框架。PloS one，12（7）：E01809442017。[14] Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoret、Llion Jones、Aidan N Gomez、ukasz Kaiser和Illia Polosukhin。注意力是你所需要的一切。《神经信息处理系统的进展》，第5998–60082017页。[15] 奥利奥·维亚尔斯（Oriol Vinyals）、亚历山大·托舍夫（Alexander Toshev）、萨米·本吉奥（Samy Bengio）和杜米特鲁·二汉（Dumitru Erhan）。展示和讲述：神经图像字幕生成器。IEEE计算机视觉和模式识别会议记录，第3156–31642015页。[16] Dzmitry Bahdanau、Kyunghyun Cho和Yoshua Bengio。通过联合学习对齐和翻译，实现神经机器翻译。arXiv预印本arXiv:1409.04732014。[17] Adams Wei Yu、David Dohan、Minh Thang Luong、Rui Zhao、Kai Chen、Mohammad Norouzi和Quoc VLe。Qanet：结合局部卷积和整体自我注意进行阅读理解。arXiv预印本XIV:1804.095412018。预印本——2019年3月1日【18】Amin Hedayati Moghadam、Moein Hedayati Moghadam和Morteza Esfandyari。2016年股票市场指数93。[19] John Alberg和Zachary C Lipton。通过预测公司基础设施，改进基于因素的定量投资。arXiv预印本arXiv:1711.048372017。[20] Omer Berat Sezer、Murat Ozbayoglu和Erdogan Dogdu。一个基于人工神经网络的股票交易系统，使用技术分析和大数据框架。《东南会议录》，第223-226页。ACM，2017年。[21]网络。《神经信息处理系统的进展》，第1097–11052012页。托马斯·菲舍尔和克里斯托弗·克劳斯。利用长短记忆网络进行金融市场预测的深度学习。

《欧洲运筹学杂志》，270（2）：654–6692018。【24】JB Heaton、NG Polson和Jan Hendrik Witte。金融深度学习：深度投资组合。《商业和工业应用随机模型》，33（1）：2017年3-12月。