利用财务新闻预测股票趋势

设计分为四个阶段：输入和嵌入层、新闻级Bi LSTM和自我关注层、日级Bi LSTM和自我关注层以及最终输出和预测层。这些阶段将在下面进行描述，如图3所示。图3：模型结构3.2.1。输入和嵌入LayerModel输入：相同的世界事件可以用不同的表达方式描述。这种多样性使得事件的表示空间非常解析。有几种方法[18，19]将事件表示为tuple<S；五、O>以获得泛化。然而，我们认为这种表述过于简单，可能会丢失许多有价值的信息。相反，我们使用整个新闻标题内容作为模型输入，并使用基于LSTM的编码器将其编码为分布式表示，以解决稀疏性问题。单词和字符嵌入：对于每一条输入的新闻，我们去掉假动作，然后使用单词嵌入层来计算每个单词的嵌入向量。嵌入层将一系列句子作为输入，这个序列对应于一组新闻文章的标题。这些嵌入是长度为w=（w，…，wl）和wi的连续值的唯一向量∈ rm对于训练语料库中的每个单词，m是单词级嵌入维度。现有的预先训练过的单词嵌入，如Glove[35]和Word2Vec[27]通常来自一般领域（谷歌新闻或维基百科等）。然而，这些单词嵌入通常无法捕获丰富的特定领域词汇。因此，我们用由路透社和彭博社的新闻文章组成的金融领域新闻文本来训练我们自己的单词嵌入。第4节进一步描述了这些数据。此外，我们利用Chen等人[36]的字符组合，将字符级组合与原始单词嵌入连接起来，以获得每个单词的丰富表示。

字符组合将每个单词的所有字符输入到卷积神经网络（CNN）中，并使用最大池[37]，以获得表示c=（c，…，cl）和cn∈ r对于训练语料库中的每个单词，n是字符组成维度。最后，每个单词表示为单词级嵌入和字符组合向量ei=[wi；ci]的串联。A矩阵es∈ Rk公司*（m+n）可以用来表示嵌入层之后的新闻，其中k是新闻的长度。3.2.2. 新闻级Bi LSTM和自我关注层RBI LSTM编码：在嵌入层之后，我们将新闻标题中的单词及其上下文输入到基于Bi LSTM的句子编码器中，以执行分布表示。双向LSTM（Bi LSTM）是LSTM的前卫，在最近的NLP任务中，由于双向LSTM能够更好地理解上下文，所以比单向LSTM显示出更好的结果。双向LSTM分别在从左端和右端开始的序列上向前和向后运行LSTM【36】。在这种情况下，Bi LSTM不仅可以保存过去的信息，还可以捕获未来的信息。我们得到了隐藏向量(-→hiand公司←-hishown在等式（8）和（9））中表示，并将其连接到Ht=[-→h；←-h、 。。。。，-→百米←-hm]，Hti∈ r2ure表示在日期t中编码后的第i个新闻标题，m表示序列号。-→hn公司=----→LST M（es）（8）←-hn公司=←----LST M（es）（9）单词级自我注意层：我们在Bi LSTM层的顶部利用多跳自我注意机制，而不是在句子编码后取隐藏向量的平均值。注意机制接收整个LSTM隐藏状态Htias输入，并输出权重向量a：a=sof tmax（Wtanh（WHt | i））（10），如图4所示，这里是一个形状为W的权重矩阵∈ Rda公司*2U其中u表示新闻级别Bi LSTM的隐藏单元。

尺寸为W的参数的系数∈ Rr（右后）*da、da和r是可以任意设置的超参数。Hti尺寸Hti∈ 注册护士*2u，注释向量A的大小为A∈ Rr（右后）*n、 softmax（）确保所有计算的权重总和为1。然后，我们根据A提供的权重将LSTM隐藏状态HTIAC相加，得到输入句子的向量表示NTI。我们可以将方程（10）视为无偏差的2层MLP，其中隐藏单元数为Da，参数为W，W。我们通过将注释矩阵a和LSTM hiddenstates Hti相乘来计算加权和：图4：自我注意机制Nti=AHti（11）。最终，句子编码向量HTITH变成矩阵Nti∈Rr（右后）*2u我们使用NTI表示编码后日期t中的第i个新闻标题。通过使用多跳注意机制，向量表示通常集中在句子的特定部分，如一组特殊的相关单词或短语。因此，我们期望它能反映句子中语义的一个方面或组成部分，而不是关注某个特定的词。如等式（12）所示，我们在自我注意层的顶部应用另一个MLP层，以了解哪个注意组应获得最高赋值。我们将其命名为注意力超过注意力，权重矩阵的形状为W∈ Rr和句子编码向量Nti的最终表示形式为Nti∈ R2u。最后，我们使用Ntito表示从输入中编码的新闻标题。Nti=tanh（WNti+b）（12）新闻层面的自我关注层：并非所有新闻对股市趋势的预测贡献都是一样的。因此，为了奖励提供关键信息的新闻，我们在编码层的顶部应用相同结构的多跳自我关注来聚合由指定注意值加权的新闻。

具体而言：A=SOFTmax（Wtanh（WNt |））（13）Dt=ANt（14）Dt=tanh（WDt+b）（15）这里，Nt=（Nt，…，Ntm）和Nt∈ Rm*2u，其中m表示日期t中的新闻数量。请注意，新闻级注意层中的权重[W，W，W，b]与单词级注意层中的权重[W，W，W，b]不同。向量dt表示日期t中提出的所有新闻的时间序列。使用多跳自我注意机制的优点是，它学习并为新闻编码分配不同的注意值组。从形式上讲，第一组注意力会奖励那些对股市有积极情绪的新闻（“上涨”、“增长”或“下跌”、“下跌”等）。而第二类关注则是对提到标准普尔500指数中主要公司的新闻给予奖励（“微软”、“谷歌”，而不是标准普尔500指数以外的小公司）。显然，可以对注意力层进行端到端的训练，从而逐渐学会根据内容对可靠和信息丰富的新闻给予更多的关注。3.2.3. 日间Bi LSTM和自我关注层-→你好=----→LST M（Dt）（16）←-你好=←----LST M（Dt）（17）我们采用日水平的Bi LSTM来编码小体向量Di，t的时间序列∈ [1，N]。如等式（16）和（17）所示，我们得到了隐藏向量(-→hiand公司←-hi）从日级别Bi LSTM并将其连接到hi=[-→h；←-h、 。。。。，-→hN；←-hN]，Hirepresents表示一个矢量，该矢量对时间序列dt进行编码，其中N表示序列号。

由于在不同日期发布的新闻对股票趋势的贡献是不平等的，我们再次采用自我关注机制来奖励对股票趋势预测贡献最大的日期，如下式所示：A=SOFTmax（Wtanh（WH | i））（18）V=AD（19）V=tanh（WV+b）（20），D=（D，…，Dt）和D∈ 注册护士*2v，V∈ r2vr在大小为N的延迟窗口中表示预测日期t+1之前提出的所有新闻的最终向量，其中v是日水平Bi LSTM中的隐藏单位数。请注意，daylevel注意层中的权重矩阵【W、W、W、b】与前一节中提到的权重矩阵不同。3.2.4. 输出和预测层我们的At LSTM模型的最后阶段是一个传统的完全连接层，以softmax作为激活函数，其输出是标签上的概率分布。在这项工作中，目标是预测股票价格的每日价格变动方向，该方向用于创建二元类标签，其中标签[1,0]表示股票价格将上涨，标签[0,1]表示股票价格将下跌。4、实验4.1。实验设置4.1.1。数据我们在2006年10月至2013年11月期间从路透社和彭博社收集的金融新闻数据集上评估了我们的模型。Ding等人【17】公开了该数据集，如表1所示。从2013年11月至2018年3月，我们进一步从路透社收集了473家被列入标准普尔500强的公司的数据。同时，2006年10月至2018年3月标准普尔500指数所有个人股票的历史股价数据均来自雅虎财经。第二部分数据用于个人股票价格预测，如表2所示。

由于页面限制，我们只显示标准普尔500指数中列出的主要公司，这也将应用于结果部分。标准普尔500指数预测数据数据集培训开发测试时间间隔20/10/200627/06/201228/06/201213/03/201314/03/201320/11/2013News 445262 55658 55658表1：标准普尔500指数预测数据继丁等人【17】之后，我们关注新闻标题，而不是新闻文章的全部内容，以进行预测，因为他们发现这会产生更好的结果。我们使用每天的新闻文章，预测t+1日的标准普尔500指数收盘价走势（上涨或下跌）是否与t.4.1.2日的收盘价相比。实现细节如前一节所述，我们在表1所示的数据集上使用skip-gram算法对100维单词嵌入进行了预训练，训练后的词汇量为153214。此外，用于表示词汇表外任何单词的固定名称和UNK标记被添加到词汇集，初始嵌入使用高斯样本随机初始化。单词嵌入在modeltraining期间进行了微调。字符嵌入有15个维度，CNN过滤个人股票预测的长度数据公司SymbolTraining news Development news Testing news Goog 5744 718 718 AMZN 3245 406 405CSCO 2471 309 308MSFT 4056 406 405AAPL 9720 1215 1214 INTC 4355 545 544 IBM 2016 252 AMD 1224 153 NVDA 1440 168 QCOM 924 116 WMT 2793 350 349T 1228 154 153表2：个人股票预测数据：新闻的时间间隔路透社（Reuters）报道，不同公司之间存在差异。因此，在这里，我们仅分别显示培训、开发和测试集中的项目数。分别为[1,3,5]，每个都是32维。

新闻级BiLSTM和日级Bi LSTM都有300个隐藏单元，日级LSTM窗口大小N已设置为7。自我注意层中的超参数Da和r分别设置为600和10。如第3节所述，我们使用Adadelta作为优化算法，初始学习率设置为0.04。我们的模型经过200个历元的训练。4.2. 基线和拟议模型在本小节中，我们提出了一些基线，以与我们拟议的模型进行比较。为了简单起见，以下符号确定了每个模型：oSVM:Luss和d\'Aspremont等人[22]建议使用词包来表示新闻文档，并使用支持向量机（SVM）构建预测模型LSTM处的行李：在LSTM处，无句子编码器。我们采用单词嵌入输入的平均值，而不是使用Bi LSTM来编码新闻标题LSTM网站：与我们提出的模型相同，但没有字符级组成LSTM的Ab：我们使用新闻摘要作为模型的输入，而不是新闻标题，模型结构保持不变LSTM的Doc：我们进一步利用Yang等人提出的分层注意网络来表示整个新闻文档，该模型在我们提出的模型中添加了一个句子级注意层，以便在构建文档表示时区分更多和更少的重要内容LSTM技术：我们将图5所示翟等人的七项技术指标杠杆与昼级LSTM层后的向量V连接起来，并一起输入预测层。图5：自我关注机制oCNN-LSTM：我们使用CNN而不是新闻级的自我关注层。请注意，word和day级别的自我关注层仍然保持不变。

我们想看看与CNN相比，自我关注层的工作情况如何，CNN擅长从文本中捕获局部和语义信息E-NN:Ding等人【17】报告了一个使用结构事件元组输入和标准神经网络预测模型的系统。oEB-CNN:Ding等人[18]提出了一种使用事件嵌入输入和卷积神经网络作为预测模型的模型KGEB-CNN:Ding等人【19】进一步将外部知识图纳入事件嵌入的学习过程。模型结构与EB-CNN相同。4.3. 结果与讨论如表3所示，模型SVM与其他模型之间的比较结果表明，深度神经网络模型比SVM模型具有更好的性能。BagAt-LSTM和At-LSTM的比较表明，使用LSTMH进行句子编码的效果略好于Bag-of-words模型。此外，WEBAt LSTM和At LSTM表明，字符级组合有助于提高模型的准确性。Zhaiet等人[40]的技术指标没有显示我们的模型有任何性能改进。相反，它会导致精度下降，可能是由于在输出和预测层之前的密集表示向量V中添加了噪声。CNN-LSTM和At-LSTM之间的比较表明，新闻层面的自我关注层可以帮助捕获更多相关的新闻标题及其时间特征。正如丁等人在[17]中总结的那样，新闻标题可能包含更多有用的信息，因为摘要或文章可能会对模型造成一些负面影响。

LSTM的Ab和DocAt LSTM证实了这一观点，因为它们的精确度低于仅使用标题信息的推荐模型。我们提出的模型最大准确率为65.53%，平均准确率为63.06%，低于丁等人提出的KGEB-CNN，这很可能是因为知识图事件嵌入（KGEB）是一种比本文所示的序列嵌入更强大的新闻标题内容建模方法。标准普尔500指数预测实验结果模型平均准确度最大准确度SVM 56.38%–LSTM袋61.93%63.06%LSTM网62.51%64.42%Ab LSTM 60.6%61.93%Doc LSTM 59.96%60.6%Tech LSTM 62.51%64.42%CNN-LSTM 61.36%63.06%E-NN 58.83%–EB-CNN 64.21%–KGEB-CNN 66.93%–LSTM 63.06%65.53%表3：实验结果：我们不知道[17]中的最大准确度，18，19]，因此，在这里，我们假设这些论文中给出的精度是平均精度和用途，以表示最大精度。在确认其优于其他方法后，我们使用At-LSTM模型预测单个股票价格。结果如表4所示，表中所示的每种股票的准确率都超过66%，沃尔玛公司的平均准确率为70.36%，最大准确率为72.06%。显然，预测个股价格比预测标准普尔500指数的准确性更高，这主要是由于我们用于输入的新闻文章。就个股预测而言，我们使用的新文章更多地是相对于其对应的公司。相反，我们使用完整的语料库作为标准普尔500指数预测的输入，这无疑会给我们的模型增加噪音，从而影响准确性。结论本文的动机是自然语言处理任务中深度学习方法的成功。

我们提出了一个基于注意力的LSMModel（在LSTM）模型，用金融新闻标题预测标准普尔500指数和个别公司股票价格的方向变动。实验结果表明，我们的模型很有前途，与将知识图纳入事件嵌入学习过程的最新模型相比具有竞争力【19】。个股预测实验结果公司平均准确度最大准确度GOOG 68.75%71.25%AMZN 67.32%69.46%CSCO 66.82%67.62%MSFT 67.92%69.89%AAPL 67.52%69.42%INTC 67.12%67.63%IBM 69.49%71.41%AMD 66.12%69.10%NVDA 69.35%70.51%QCOM 68.53%69.70%WMT 70.36%72.06%T 68.53%69.70%表4：个股预测实验结果：我们只列出了主要股票公司在标准普尔500指数中。我们今后的工作有一些方向。虽然之前的工作和我们的结果发现，包括新闻正文比标题更糟糕，但可能有有用的信息可以从正文中提取，其他方向包括预测各种时间范围内的价格变动，以便从经验上衡量信息被市场吸收的速度，并将其与主题相关的财务文献联系起来。金融时间序列以其波动性而著称，在许多情况下，序列中的微小变化可解释为噪声。此外，排除小的变化使得模型只关注价格变化较大的新闻，这可能会导致准确性的提高。参考文献【1】B.G.Malkiel，K.McCue，《纽约诺顿华尔街随机漫步》，1985年。[2] B.Wang，H.Huang，X.Wang，《金融时间序列预测的新文本挖掘方法》，神经计算83（2012）136–145。[3] D.Basak，S.Pal，D.C.Patranabis，《支持向量回归》，《神经信息处理快报和评论》11（10）（2007）203–224。[4] 文学硕士。