用于股票短期波动预测的多模态深度学习

弗兰克，那些话只是噪音吗？《互联网股票留言板的信息内容》，《金融杂志》59（3）（2004）1259–1294。统一资源定位地址http://www.jstor.org/stable/info/3694736[5] T.O.Sprenger，P.G.Sandner，A.Tumasjan，I.M.Welpe，新闻还是噪音？使用Twitter识别和了解公司特定新闻流，《商业财务与会计杂志》41（7-8）（2014）791–830。内政部：10.1111/jbfa。12086.URLhttp://doi.wiley.com/10.1111/jbfa.12086[6] D.Vayanos，P.Woolley，《动量和反转的制度理论》，《金融研究评论》26（5）（2013）1087–1145。内政部：10.1093/rfs/hht014。统一资源定位地址https://academic.oup.com/rfs/article-lookup/doi/10.1093/rfs/hht014[7] H.Hong，J.C.Stein，《资产市场反应不足、动量交易和过度反应的统一理论》，金融杂志54（6）（1999）2143–2184。内政部：10.1111/0022-1082.00184。统一资源定位地址http://doi.wiley.com/10.1111/0022-1082.00184[8] 陈伟硕，《股票价格对新闻和无新闻的反应：头条新闻后的漂移和反转》，《金融经济学杂志》70（2）（2003）223-260。内政部：10.1016/S0304-405X（03）00146-6。统一资源定位地址http://www.sciencedirect.com/science/article/pii/S0304405X03001466[9] J.Boudoukh、R.Feldman、S.Kogan、M.Richardson，哪些新闻会影响股票价格？文本分析，NBER工作文件。统一资源定位地址http://www.nber.org/papers/w18725[10] C.Antoniou，J.A.Doukas，A.Subrahmanyam，《认知失调、情绪和动量》，《金融和定量分析杂志》48（01）（2013）245–275。内政部：10.1017/S0022109012000592。统一资源定位地址http://www.journals.cambridge.org/abstract{}S0022109012000592【11】消费者信心调查–技术说明，技术代表（2011年）。统一资源定位地址https://www.conference-board.org/pdf{{}自由/新闻/技术论坛{}4134{}1298367128。pdf[12]P.C。

Tetlock，《为投资者情绪提供内容：媒体在股市中的作用》，《金融杂志》62（3）（2007）1139–1168。内政部：10.1111/j.1540-6261.2007.01232。x、 URL地址http://doi.wiley.com/10.1111/j.1540-6261.2007.01232.x[13] S.Kogan，D.Levin，B.R.Routledge，J.S.Sagi，N.A.Smith，《用回归预测财务报告的风险》，载于：计算语言学协会北美分会年会，2009年，第272-280页。统一资源定位地址http://www.aclweb.org/anthology/N09-1031[14] 王春杰、蔡美孚、刘天良、张春田，《金融情绪分析用于风险预测》，载：自然语言处理国际联合会议，2013年，第802-808页。统一资源定位地址http://www.aclweb.org/anthology/I13-1097[15] M.-F.Tsai，C.-J.Wang，通过连续词向量表示进行金融关键词扩展，摘自：2014年自然语言处理中的实证方法会议记录，美国宾夕法尼亚州斯特劳德斯堡计算语言学协会，2014年，第1453-1458页。内政部：10.3115/v1/D14-1152。统一资源定位地址http://aclweb.org/anthology/D14-1152[16] C.Nopp，T.Wien，A.Hanbury，《通过实体分析检测银行系统的风险》，载于：《2015年自然语言处理经验方法会议论文集》，2015年，第591-600页。统一资源定位地址http://www.emnlp2015.org/proceedings/EMNLP/pdf/EMNLP071.pdf[17] N.Rekabsaz、M.Lupu、A.Baklanov、A.Hanbury、A.Ur、L.Anderson、T.Wien，《利用基于单词嵌入的IR模型的财务披露情绪进行波动性预测》，摘自：计算语言学协会第55届年会，2017年，第1712-1721页。内政部：10.18653/v1/P17-1157。统一资源定位地址https://doi.org/10.18653/v1/P17-1157[18] A.Conneau，D.Kiela，H.Schwenk，L.Barrault，A。

Bordes，从自然语言推理数据监督通用句子表征的学习ARXIV:1705.02364，doi:10.1.1.156.2685。统一资源定位地址http://arxiv.org/abs/1705.02364[19] L.Mou，Z.Meng，R.Yan，G.Li，Y.Xu，L.Zhang，Z.Jin，神经网络在NLP应用中的可传递性如何？arXiv:1603.06111。统一资源定位地址http://arxiv.org/abs/1603.06111[20] J.Howard，S.Ruder，文本分类的通用语言模型微调ARXIV:1801.06146。统一资源定位地址http://arxiv.org/abs/1801.06146[21]T.Loughran，B.Mcdonald，什么时候责任不是责任？Textualananalysis、Dictionaries和10 Ks，《金融杂志》66（1）（2011）35–65。统一资源定位地址http://bit.ly/15GhT7K[22]T.Mikolov，I.Sutskever，K.Chen，G.S.Corrado，J.Dean，《单词和短语的分布式表示及其组成》，载于：C.J.C.Burges，L.Bottou，M.Welling，Z.Ghahramani，K.Q.Weinberger（编辑），《神经信息处理系统的进展》，第26期，Curran Associates，Inc.，2013年，第3111-3119页。统一资源定位地址https://dl.acm.org/citation.cfm?id=2999959【23】T.Baltruˇsaitis，C.Ahuja，L.-P.Morency，《多模式机器学习：调查与分类》第十四卷：1705.09406。统一资源定位地址http://arxiv.org/abs/1705.09406【24】J.Bollen，H.Mao，X.-J.Zeng，《推特情绪预测股市》，计算科学杂志2（1）（2011）1-8。arXiv:arXiv:1010.3003v1。统一资源定位地址http://www.sciencedirect.com/science/article/pii/S187775031100007X[25]R.P.Schumaker，H.Chen，《利用突发金融新闻对股市预测的文本分析：AZFin文本系统》，ACM Trans。Inf.Syst。27 (2) (2009) 12:1—-12:19. 内政部：10.1145/1462198.1462204。统一资源定位地址http://doi.acm.org/10.1145/1462198.1462204[26]T.H.Nguyen，K.Shirai，《基于主题建模的社会媒体情绪分析用于股市预测》，载于：计算语言学协会第53届年会论文集，2015年，pp。

1354–1364.统一资源定位地址http://www.aclweb.org/anthology/P15-1131【27】丁X，张Y，刘T，段J，事件驱动股票预测的深度学习，摘自：第24届国际人工智能联合会议论文集（ICJAI 15），2015年，第2327-2333页。统一资源定位地址https://www.ijcai.org/Proceedings/15/Papers/329.pdf【28】L.d.S.Pinheiro，M.Dras，《深度学习股票市场预测：基于事件交易的基于字符的神经语言模型》，载于：《2017年澳大利亚语言技术协会研讨会论文集》，2017年，第6-15页。统一资源定位地址https://aclanthology.coli.uni-saarland.de/papers/U17-1001/u17-1001[29]J.Deng，W.Dong，R.Socher，L.-J.Li，Kai Li，Li Fei Fei，ImageNet：大型分层图像数据库，参加：2009 IEEE计算机视觉和模式识别会议，IEEE，2009，第248-255页。内政部：10.1109/CVPR。2009.5206848.统一资源定位地址http://ieeexplore.ieee.org/document/5206848/【30】A.S.Razavian，H.Azizpour，J.Sullivan，S.Carlsson，CNN FeaturesO fff-the Shelf：惊人的识别基线，参加：2014 IEEEConference on Computer Vision and Pattern Recognition Workshop，IEEE，2014，第512-519页。内政部：10.1109/CVPRW。2014.131.统一资源定位地址http://ieeexplore.ieee.org/lpdocs/epic03/wrapper.htm?arnumber=6910029【31】S.R.Bowman，G.Angeli，C.Potts，C.D.Manning，《学习自然语言推理的大型带注释的Corpus》，收录于：2015年自然语言处理经验方法会议论文集，美国宾夕法尼亚州斯特劳德斯堡计算语言学协会，2015年，第632-642页。内政部：10.18653/v1/D15-1075。统一资源定位地址http://aclweb.org/anthology/D15-1075[32]D.D.Lewis，Y.Yang，T.G.Rose，F.Li，RCV1：文本分类研究的新基准集合，机器学习研究杂志5（2004）361–397。统一资源定位地址http://dl.acm.org/citation.cfm?id=1005332.1005345【33】R.F。

Engle，《英国通货膨胀方差估计的自回归条件异方差》，计量经济学50（4）（1982）987。内政部：10.2307/1912773。统一资源定位地址https://www.jstor.org/stable/1912773?origin=crossref【34】T.Bollerslev，《广义自回归条件异方差》，计量经济学杂志31（3）（1986）307-327。内政部：10.1016/0304-4076（86）90063-1。统一资源定位地址https://www.sciencedirect.com/science/article/pii/【35】P.R.Hansen，A.Lunde，《波动率模型的预测比较：doesanything击败了GARCH（1,1）？，《应用计量经济学杂志》20（7）（2005）873–889。内政部：10.1002/jae。800.URLhttp://doi.wiley.com/10.1002/jae.800[36]T.G.Andersen，T.Bollerslev，回答怀疑论者：是的，标准波动率模型确实提供了准确的预测，国际经济评论39（4）（1998）885。内政部：10.2307/2527343。统一资源定位地址https://www.jstor.org/stable/2527343?origin=crossref【37】P.Molnar，《基于区间的波动率估计器的性质》，国际金融分析评论23（2012）20–29。内政部：10.1016/J.IRFA。2011.06.012.统一资源定位地址https://www.sciencedirect.com/science/article/pii/S1057521911000731[38]J.Pennington，R.Socher，C.D.Manning，《手套：单词表示的全局向量》。统一资源定位地址https://nlp.stanford.edu/pubs/glove.pdf【39】S.Hochreiter，J.Schmidhuber，《长-短期记忆》，神经计算9（8）（1997）1735-1780。内政部：10.1162/neco。1997.9.8.1735.统一资源定位地址http://www.mitpressjournals.org/doi/10.1162/neco.1997.9.8.1735【40】F.A.Gers，J.Schmidhuber，F.Cummins，《学习遗忘：LSTM的连续预测》，神经计算12（10）（2000）2451–2471。内政部：10.1162/089976600300015015。统一资源定位地址http://www.mitpressjournals.org/doi/10.1162/【41】M.Schuster，K.Paliwal，《双向递归神经网络》，IEEETransactions on Signal Processing 45（11）（1997）2673–2681。内政部：10.1109/78.650093。统一资源定位地址http://ieeexplore.ieee.org/document/650093/[42]S.Lai，L。

Xu，K.Liu，J.Z.AAAI，U.2015，《用于文本分类的递归卷积神经网络》。，摘自：AAAI，2015年，第2267-2273页。统一资源定位地址http://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/download/9745/9552[43]P.Li，W.Li，Z.He，X.Wang，Y.Cao，J.Zhou，W.Xu，开放域因子问答的数据集和神经递归序列标记模型。统一资源定位地址https://arxiv.org/pdf/1607.06275.pdf[44]刘勇，孙春春，林林林，王晓阳，利用双向LSTM模型和内部注意学习自然语言推理arXiv:arXiv:1605.09090v1。统一资源定位地址https://arxiv.org/pdf/1605.09090.pdf[45]Z.Lin，M.Feng，C.Nogueira，D.Santos，M.Yu，B.Xiang，B.Zhou，Y.Bengio，《结构化的自我注意句嵌入》，载于：ICLR，2017年。统一资源定位地址https://arxiv.org/pdf/1703.03130.pdf【46】Z.C.Lipton，D.C.Kale，C.Elkan，R.Wetzel，《学习使用LSTM递归神经网络进行诊断》，摘自：ICLR，2016年。arXiv:1511.03677。统一资源定位地址http://arxiv.org/abs/1511.03677【47】Z.C.Lipton，D.Kale，R.Wetzel，《用RNN直接建模序列中的缺失数据：临床时间序列的改进分类》，载于：第一届医疗保健会议机器学习会议论文集，2016年，第253-270页。统一资源定位地址http://proceedings.mlr.press/v56/Lipton16.html【48】J.Alberg，Z.C.Lipton，《通过预测公司基本面改进基于因素的定量投资》，摘自：2017年第31届神经网络信息处理系统（NIPS）会议。arXiv:1711.04837。统一资源定位地址http://arxiv.org/abs/1711.04837[49]D.P.Kingma，J.Lei Ba，Adam：《随机优化方法》，载于：ICLR，2015年。arXiv:arXiv:1412.6980v9。统一资源定位地址https://arxiv.org/pdf/1412.6980.pdf[50]R.Johnson，T.Zhang，《卷积神经网络在文本分类中有效使用词序》，载于：NAACL，2015，pp。

103–112.统一资源定位地址http://www.anthology.aclweb.org/N/N15/N15-1011.pdfSectorETF成分股消费史泰博（XLP）、宝洁（PG）、可口可乐公司（KO）、百事可乐（PEP）、沃尔玛（WMT）、CostcoWholesale公司（COST）、CVS HealthCorporation（CVS）、奥驰亚集团（MO）、沃尔格林靴子联盟（WBA）、蒙德雷斯国际（MDLZ）、高露洁棕榄（CL）、能源（XLE）、埃克森美孚（XOM）、雪佛龙（CVX）、康菲石油（COP）、EOG资源（EOG），西方石油公司（OXY）、瓦莱罗能源公司（VLO）、哈里伯顿公司（HAL）、斯伦贝谢有限公司（SLB）、先锋自然资源公司（PXD）、阿纳达科石油公司（APC）公用事业公司（XLU）、NextEra能源公司（NEE）、杜克能源公司（DUK）、南方公司（SO）、多米尼克能源公司（D）、埃克塞隆公司（EXC）、美国电力公司（AEP）、森普拉能源公司（SRE），公共服务企业集团（PEG）、合并爱迪生（ED）、Xcel Energy（XEL）Healthcare（XLV）、强生（JNJ）、UnitedHealth Group（UNH）、Pfizer（PFE）、Merck&Co.（MRK）、Medtronic（MDT）、Amgen（AMGN）、AbbottLaboratories（ABT）、Gilead Sciences（GILD）、Elilily（LLY）、百时美施贵宝（BMY）Financials（XLF）、Berkshire Hathaway（BRK-A）、JPMorgan Chase（JPM），美国银行（BAC）、富国银行（WFC）、花旗银行（C）、高盛集团（GS）、美国银行（USB）、摩根斯坦利（MS）、美国运通（AXP）、PNC金融服务集团（PNC）表1：主体部门和各自的组成部分。对于每个行业，我们选择了前十大股票持有量（截至2018年1月）。

括号中的库存代码。行业ETFB在售后市场之前，主要消费品54%31%15%能源44%36%20%公用事业58%31%11%医疗保健55%28%17%财务63%24%13%总计84556 40996 21231表2：按市场时间划分的各行业头条新闻分布。146783条头条新闻中的大多数在上午9:30（上市前）发布。售后服务类别包括美国东部夏令时下午4:00后发布的新闻。我们将类别假日和周末与市场前一样计算，因为它们会影响下一个工作日。日期和时间头条2011-12-13 00:18:39 EDT Valero报告PortArthur Refiner2007-04-17 08:54:27 EDT Wells Fargo pro fit商业贷款上涨11%2017-12-14 14:40:31 EDT Perrigo排队竞购默克消费者健康部门2007-01-03 10:27:42 EDT更新1-Bear Stearns ups Merck tooutperform2010-02-23 13:35:11 EDT埃克森美孚表示仍看好尼日利亚2016-09-2215： 美国东部夏令时32:13德克萨斯州监管机构对NextEra deal2008-10-14 08:30:00美国东部夏令时Smart For LifeT M现已在onCostco上市表示“深切关注”。表3：数据集中的随机样本。注意我们语料库的事实/客观特征，其中典型新闻没有任何情感内涵。前提假设标签儿童在相机前微笑和挥舞。有孩子在场。eTwo金发女人正在互相拥抱。一些女性在度假时拥抱。一位农民用牛粪和马车给花园施肥。那个人正在给他的花园施肥。那只毛茸茸的棕色狗正在海里游泳。一条狗在院子里跑来跑去。cA dog在abeach上扔下一个红色圆盘。一条狗在一根树枝上接球。一些武装部队官员和平民站在儿童游乐场周围。平民和武装部队人员在战场上进行侮辱。表4：斯坦福NLI（SNLI）数据集示例。

自然语言句子对被标记为蕴涵（e）、矛盾（c）或中性（n）。数据集句子编码器ScoreLSTM原始论文（[31]）0.806BiLSTM超过平均池（[44]）0.833BiLSTM注意（Att），具有多视图和因子融合层（[45]）0.844BiLSTM最大池（MP），句子嵌入大小4096（[18]）0.845Our BiLSTM Att，句子嵌入大小2048 0.838Our BiLSTM MP，句子嵌入大小2048 0.841k-NN+（[32]）0.765Best支持向量机器（SVM）+（[32]）0.816bow-CNN+（[50]）0.840我们的BiLSTM Att，句子嵌入大小2048（仅标题）0.809我们的BiLSTM MP，句子嵌入大小2048（仅标题）0.811表5：TL辅助任务-句子编码器比较。测试分数分别为SNLI子部分4.2.2和RCV1子部分4.2.1数据集的准确性和F1分数。+表示同时使用标题和正文内容并使用RCV1数据集最初103个类进行培训的模型，而不是仅使用标题和总共55个类进行培训的模型（完整描述见第4.2.1子节）。因此，报告的RCV1数据集基准不可直接比较，且报告的目的是为了更好的基准。模型MSE MAEAll股票-新闻（仅价格单峰）+2.140E-05 3.093E-03+新闻（BiLSTM Att）-新闻相关性关注（NRA）2.078E-03 3.037E-03+新闻（BiLSTM MP）-NRA 2.077E-03 3.031E-03+新闻（TL Reuters RCV1 BiLSTM MP）+NRA 2.037E-03 3.020E-03+新闻（TL Reuters RCV1 BiLSTM Att）+NRA 2.023E-03 3.011E-03+新闻（W-L Att）+++NRA 2.006E-03 2.947E-03+新闻（TL SNLI BiLSTM Att）+NRA1.986E-03 2.926E-03+新闻（TL SNLI BiLSTM MP）+NRA 1.974E-03 2.918E-03+新闻（BiLSTM MP）+NRA 1.904E-03 2.851E-03+新闻（BiLSTM Att）+NRA 1.898E-03 2.823E-03表6：模型架构烧蚀和句子编码器比较。

减号表示第5.3小节中描述的网络体系结构的组件被烧蚀（即删除），加号表示被添加。第二行和第三行报告结果将新闻相关性注意（NRA）替换为新闻平均成分，如【27，28】所示。+表示我们的模型仅使用价格模式进行培训。++强调句子编码词级注意（W-Latention）没有考虑标题词顺序。最佳结果以粗体显示。ModelVolRMSE Maestimator所有股票研究（1,1）dσGK0.357 2.46E-05 3.16E-03dσP K0.329 2.57E-05 3.20E-03我们的模型：价格（单峰）dσGK0.384 2.14E-05 3.09E-03dσP K0.350 2.36E-05 3.29E-03我们的模型：价格+新dσGK0.455 1.90E-05 2.82E-03dσP K0.410 2.09E-05 2.98E-03表7：我们的与GARCH（1,1）相比，波动率模型的表现。以粗体显示的最佳性能。