用于股票短期波动预测的多模态深度学习

首先，“丢失的消息”不是随机发生的，或者是由于测量失败，例如，使用机械传感器数据的多通道测试。相反，正如[8，9]所强调的，当伴随或不伴随新闻时，相同的价格行为会导致不同的市场反应。换言之，在特定的财务预测问题上，新闻的出现或存在具有高度的信息量。多模态文献中提出了一些有效处理信息缺失模式或“信息缺失”的方法，这在文献中被认为是缺失模式学习的一个特征【23】。在这项工作中，我们直接将新闻缺失作为文本模型时间序列的一个特征进行建模，方法是使用[46，47]中最初提出的针对缺失测量值的临床数据的方法，并将其应用于[48]中的财务预测中。具体而言，我们采用零和插补（ZI）方法【47】，以便共同了解市场活动所有日子的价格模式和新闻关系。ZI实现描述如下：在文本时间层（如第4项所述）处理每日新闻序列之前，我们为所有缺失新闻的时间步输入0向量，否则保持新闻编码不变。这一步骤称为零插补。此外，我们将特征方面的指标向量串联起来，对于所有具有零插补的向量，值为1，对于有新闻的日子，值为0。如【48】所述，ZI方法赋予时间序列模型根据新闻历史及其相对时间位置学习不同表示的能力。此外，它允许我们的模型预测时间序列中所有日子的波动性，同时考虑当前和过去的新闻信息缺失。

此外，学习到的位置新闻编码的工作方式与典型的“掩蔽”不同，即没有新闻的日子不会通过LSTM单元。掩盖时间步长将丢失有关是否存在与价格相关的新闻的信息。6、实验结果与讨论我们旨在从三个主要方面评估我们的分层神经模型。首先，我们评估了不同句子编码器对端到端模型的重要性，以及它与从两个辅助TL任务中转移句子编码器的比较。其次，我们删除了我们提出的新闻相关性注意（NRA）组件，以评估其重要性。最后，我们考虑一个只考虑价格模式（单峰）的模型，即忽略与文本模式相关的任何架构。在确定评估上述三个方面的基线之前，我们将在下一节中查看经过培训的TL任务的得分。实验结果[8，9]表明，在没有新闻的情况下，价格的大幅错位往往会在新闻的推动下恢复并继续运动（动量）。6.1. 辅助迁移学习任务本节报告本工作中考虑的辅助TL任务的性能。我们的最终目标是表明我们的分数与之前的工作一致。第4.2小节中介绍的所有架构都是使用带有Adam optimizer的小批量SGD进行最多50个时代的培训的【49】。此外，在每个历元结束时，我们评估验证分数，即准确性（SNLI数据集的STAN）和F1（RCV1数据集），并用最佳值保存权重。为了提高训练的渗透性，我们实施了8个阶段的提前停止训练。也就是说，如果验证分数在10个时期内没有提高，我们就停止训练。

最后，我们使用手套预训练单词嵌入作为固定特征。表5将我们的测试分数与之前工作中报告的最新（SOTA）结果进行了比较。我们可以看到，我们在SNLI任务中的得分与最先进的水平非常接近。关于RCV1数据集，我们的结果只考虑了训练的标题内容，而被裁判的作品同时考虑了新闻标题和消息正文。只使用标题进行培训的原因是，学习这两项任务的唯一目的是将句子编码器转移到我们的主要波动性预测任务，该任务的文本输入仅限于标题。6.2. 培训设置在第5.3小节所述的分层神经模型的培训过程中，我们特别注意防止过度匹配。为此，我们将2016年和2017年完全分离为测试集，并在这个“看不见”的测试集上报告我们的结果。其余数据进一步分为培训（2007年至2013年）和验证（2014年至2015年）。在验证集中监视训练过程中的模型收敛。我们在每个历元结束时监控模型的验证分数，如果验证分数在两个连续历元之间变化，则存储网络权重。此外，我们使用带有Adam optimizer的小批量SGDW，并提前停止，耐心设置为八个阶段。使用网格搜索执行超参数调整。所有训练都是使用第5.2小节中所述的拟议全局模型方法进行的，该方法学习的模型考虑了我们语料库中所有40支股票的特性。使用这种方法，我们的训练集总共有97903个样本。此外，在SGD小批量抽样期间，从所有40只股票中随机选择过去T天的价格和新闻历史张量以及每个股票样本库存指标。6.3.

股票宇宙结果为了评估第5.3小节中描述的我们的神经模型的每个组成部分的贡献，以及使用文本数据预测模型的效果，我们分别使用512和1024个单位的串联层和双向LSTM对模型进行训练，我们使用以下基线报告我们的结果：1新闻（仅限单峰价格）：此基线完全消除（即删除）与新闻模式相关的任何架构，仅考虑价格编码和股票嵌入组件。使用此消融weaim评估新闻对波动率预测问题的影响。2.+新闻（端到端的句子编码器）-NRA：这一基线消除了我们提出的新的相关性注意（NRA）成分，相反，使用了[27，28]中相同的每日平均法，其中对给定日期的所有已执行标题表示进行平均，而不考虑每条新闻的相关性。我们评估了BiLSTM注意（Att）和BiLSTM最大池（MP）句子编码器的基线。在这里，我们的目标是评估NRA组件在考虑SOTA句子编码器的情况下的真实贡献。3.+新闻（端到端的W-L Att句子编码器）+NRA：单词级注意（W-L Att）句子编码器直接在单词嵌入之上实现注意机制，因此不考虑句子中单词的顺序。该基线是对前一基线的补充，即在考虑我们的完整规范时，它评估句子编码器的影响。4.+新闻（TL句子编码器）+NRA：将我们的两个辅助TL任务的句子编码器用作固定功能。

该基线旨在解决以下问题，即：哪些数据集和模型更适合转移到我们特定的波动率预测问题；然而，在单词嵌入的基础上训练的端到端模型的性能与从其他任务转移过来的句子编码器相比。表6总结了上述烧蚀的测试分数。我们最好的模型是+新闻（BiLSTM Att）+NRA，它经过端到端的训练，并使用我们的完整架构。第二好的模式，即+新闻（BILSTMP）+NRA，排名略低，只有不同的人在句子编码方面形成了最好的模式。前一个句子编码器使用注意层（第4.3.2子节）和最后一个最大池层（第4.3.1子节），其中两个层都位于每个单词的LSTM隐藏状态的顶部。重要的是，我们的实验表明，与只考虑价格特征作为解释变量的新闻（仅价格单峰）模型相比，使用新闻和价格（多模态）预测波动性将得分提高11%（MSE）和9%（MAE）。当比较端到端模型和TL辅助任务的性能时，可以观察到以下情况：使用两个SOTA句子编码器训练的端到端模型的性能优于从两个辅助任务传输句子编码器。然而，我们的实验表明，sameMinus符号表示移除（消融）神经网络组件，而plus表示包含该组件。不适用于依靠更简单的WL Att句子编码器进行端到端培训的模型，该编码器会忽略句子中单词的顺序。换句话说，考虑到适当的TL任务，最好在更大的数据集上传输训练过的SOTA句子编码器，而不是以端到端的方式学习鲁棒性较差的句子编码器。

此外，最初，我们认为，作为RCV1a金融领域语料库，与SNLI数据集相比，它将表现出优异的性能。尽管如此，SNLI传输比RCV1更好。我们假设文本分类任务（RCV1数据集）无法在执行自然语言推理所需的相同水平上捕获复杂的句子结构。特别是对于波动率预测问题，我们的TL结果证实了[18]中的相同发现，其中表明SNLI数据集对于广泛的纯NLPTask（包括文本分类和情感分析）达到了最佳的句子编码。值得注意的是，表6中的实验结果清楚地表明，我们提出的新闻相关性注意（NRA）优于先前研究中提出的新闻平均方法【27，28】。即使在结合更基本的W-L Att句子编码评估NRA成分时，RIT也超过了使用新闻平均法的复杂句子编码的结果。换言之，我们的结果有力地指出了区分噪音对新闻的影响的优势，以及学习关注最相关新闻的有效性。在分析了我们的最佳模型后，我们现在将其与第4.1节中描述的广受关注的GARCH（1,1）模型进行比较。我们使用标准损失指标（MSE和MAE）和基于回归的精度规定的不等式10评估了我们相对于GARCH（1,1）的模型性能，并根据确定系数R进行测量。此外，我们评估了我们的模型在两个不同的波动率代理：Garmanklas（dσGK）（方程13）和Parkinson（dσP K）（方程12）。

我们注意到，如第4.1.2小节所述，这两个波动率指标是对次日波动率的静态有效且适当的估计值。表7显示了我们的最佳价格+新闻模型（+新闻BiLSTM（MP）+NRA）、我们的纯价格（单峰）模型和GARCH（1,1）之间的比较表现。结果清楚地证明了我们的模型的优越性，在两种波动率指标上都比GRACH更准确。我们注意到，对依赖标准MSE和MAE误差度量的GARCH（1,1）模型的评估应该持谨慎态度。【36】提供了支持Ras的背景理论和论点，Ras是评估波动率模型预测能力的选择指标。在任何情况下，GARCH（1,1）的表现或我们的模型渗透到所有三个指标，即R、MSE和MAE。6.4. 部门层面的结果预计公司部门的风险水平会有所不同，因为每个部门都受到不同类型的新闻和经济周期的驱动。此外，通过执行部门层面的分析，我们最初有兴趣了解我们的模型相对于GARCH（1,1）的表现是否是由于对给定部门的学习偏差，或者如果我们的模型的优异表现跨越了不同的部门投资组合，则结果是这样的。为了评估每个部门的绩效，我们首先在表1中分离每个部门的成分股票。然后，我们分别为每个部门计算上一节中讨论的相同度量。表8报告了我们按部门划分的实验结果。我们观察到，使用Rscore测量的GRACH模型精度在部门之间具有高度的可变性。例如，医疗和能源行业的准确度分别为0.15到0.44。

这种高度的可变性与[17]中报告的先前结果一致，但在长期（季度）波动性预测的背景下。尽管GARCH（1,1）的准确度取决于行业，但毫无例外，我们使用价格和新闻作为输入的模型明显优于GRACH行业。这一事实使我们可以得出以下结论：o我们的模型在各个行业中表现优异，即表7中报告的结果特征渗透到所有行业，而不是由表现优异和表现不佳的行业贡献组成。这一事实有力地证明，我们的模型比GARCH（1,1）更准确第5.2小节中讨论的拟议全局模型方法能够很好地概括，即所学习的模式不会偏向于给定的部门或股票。我们工作的局限性之一是依赖代理进行挥发度估计。虽然只有开放、高、低和封闭的每日价格数据可用时，这些代理很方便，但有了高频价格数据，我们可以使用日内收益的平方和来估计每日波动率，以测量真实的每日潜在波动率。例如，在评估提前一天的表现时，GARCH（1,1）日元/美元汇率[36]使用每小时和五分钟采样的日内回报分别报告了0.237和0.392的估值。然而，我们相信，利用日内数据将进一步提高我们的模型性能。由于我们的实验结果证明了新闻相关性关注模型架构的关键方面，我们观察到，日内数据可以改善学习过程。有了当天的数据，我们就可以将每个单独的新闻发布与即时的市场价格反应联系起来。

使用每日数据，我们仅通过衡量所有新闻对未来一天预测的总体影响，就失去了部分信息。结论我们研究了股票新闻和价格对每日波动性预测问题的联合影响。据我们所知，这项工作是第一项旨在预测短期（每日）而非长期（季度或年度）波动性的研究，以新闻和价格为解释变量，并使用单个股票层面的综合新闻标题数据集。我们的分层端到端模型得益于最先进的文本信息编码方法，并解决了将新闻与市场反应联系起来的两个主要挑战：新闻相关性和新颖性。也就是说，解决如何纯粹基于内容（新闻相关性注意）关注最重要新闻的问题，并考虑过去新闻的时间信息（时间上下文）。此外，我们还提出了一种多库存小批量+库存嵌入方法，该方法适用于建模库存之间的共性。实验结果表明，我们的多模态方法优于GARCH（1,1）波动率模型，GARCH（1,1）波动率模型是最流行的每日波动率预测计量经济学模型。行业智慧的表现证明了价格和新闻相结合对短期波动性预测的有效性。我们在所有分析部门的表现都优于GARCH（1,1），这一事实证实了我们提出的体系结构的稳健性，并证明了我们的全局模型方法具有很好的通用性。我们切除（即移除）我们神经结构的不同组成部分，以评估其最相关的部分。为此，我们将我们提出的新闻相关性关注层（newsrelevance attention layer）替换为文献中提出的一个更简单的架构，该架构将每日新闻平均化。

我们发现我们的注意力层改善了结果。此外，我们删除了所有与新闻模式相关的架构，发现新闻提高了预测的准确性。最后，我们评估了不同的句子编码器，包括从其他NLP任务转移过来的句子编码器，并得出结论，与简单的单词级注意力句子编码器端到端训练相比，它们的性能更好。然而，他们并没有击败端到端培训的最先进的句子编码器。为了对通用句子编码器的文献有所贡献，我们评估了将句子编码器从两个不同任务转移到波动率预测问题的性能。我们发现，在自然语言推理（NLI）任务中训练的模型比金融领域数据集更适合预测问题（路透社RCV1）。通过分析不同的体系结构，我们表明，对于SNLIdataset，具有最大池的BiLSTM提供了最好的句子编码器。未来，我们计划利用日内价格更好地评估我们提出的模型的预测能力。此外，我们将进一步将分析扩展到其他股票市场部门。参考文献[1]F.Z.Xing，E.Cambria，R.E.Welsch，《基于自然语言的财务预测：调查》，Arti-ficial Intelligence Review 50（1）（2018）49–73。内政部：10.1007/s10462-017-9588-9。统一资源定位地址http://link.springer.com/10.1007/s10462-017-9588-9[2] P.Milgrom，N.Stokey，《信息、贸易和常识》，经济理论杂志。统一资源定位地址http://www.sciencedirect.com/science/article/pii/[3] M.Harris，A.Raviv，《意见分歧引发赛马》，《金融研究评论》6（3）（1993）473-506。内政部：10.1093/rfs/5.3.473。统一资源定位地址http://rfs.oxfordjournals.org/content/6/3/473.abstract[4] W.Antweiler，M.Z。