利用财务新闻预测股票趋势

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Leveraging Financial News for Stock Trend Prediction with
  Attention-Based Recurrent Neural Network》
---
作者：
Huicheng Liu
---
最新提交年份：
2018
---
英文摘要：
  Stock market prediction is one of the most attractive research topic since the successful prediction on the market\'s future movement leads to significant profit. Traditional short term stock market predictions are usually based on the analysis of historical market data, such as stock prices, moving averages or daily returns. However, financial news also contains useful information on public companies and the market. Existing methods in finance literature exploit sentiment signal features, which are limited by not considering factors such as events and the news context. We address this issue by leveraging deep neural models to extract rich semantic features from news text. In particular, a Bidirectional-LSTM are used to encode the news text and capture the context information, self attention mechanism are applied to distribute attention on most relative words, news and days. In terms of predicting directional changes in both Standard & Poor\'s 500 index and individual companies stock price, we show that this technique is competitive with other state of the art approaches, demonstrating the effectiveness of recent NLP technology advances for computational finance.
---
中文摘要：
股票市场预测是最有吸引力的研究课题之一，因为对市场未来走势的成功预测会带来巨大的利润。传统的短期股市预测通常基于对历史市场数据的分析，如股价、移动平均值或每日收益率。然而，金融新闻也包含关于上市公司和市场的有用信息。金融文献中的现有方法利用情绪信号特征，但由于没有考虑事件和新闻背景等因素，这些特征受到限制。我们通过利用深层神经模型从新闻文本中提取丰富的语义特征来解决这个问题。特别是，采用双向LSTM对新闻文本进行编码并捕获上下文信息，采用自我注意机制对大多数相关词、新闻和日期进行注意力分配。在预测标准普尔500指数和个别公司股票价格的方向性变化方面，我们表明，该技术与其他最先进的方法具有竞争力，证明了最近NLP技术进步对计算金融的有效性。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--

---
PDF下载：
--> Leveraging_Financial_News_for_Stock_Trend_Prediction_with_Attention-Based_Recurr.pdf (475.44 KB)

2022-6-11 03:41:09 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Applications Quantitative Computation Directional Application

利用基于注意力的递归神经网络利用金融新闻预测股市趋势刘慧成（Huicheng Liu）加拿大皇后大学电气与计算机工程系，加拿大股市预测是最具吸引力的研究课题之一，因为对市场未来走势的成功预测会带来显著的收益。传统的短期股市预测通常基于对历史市场数据的分析，如股价、移动平均值或日收益率。然而，金融新闻也包含关于上市公司和市场的有用信息。金融文献中的现有方法利用情绪信号特征，这受到不考虑事件和新闻背景等因素的限制。我们通过利用深层神经模型从新闻文本中提取丰富的语义特征来解决这个问题。特别是，采用双向LSTM对新闻文本进行编码并捕获上下文信息，采用自我注意机制对大多数相关词、新闻和日期进行注意力分配。在预测标准普尔500指数和个别公司股价的方向变化方面，我们表明，该技术与其他最先进的方法具有竞争力，证明了最近NLP技术进步对计算金融的有效性。关键词：递归神经网络，股票预测，注意机制，标准普尔5001。股票市场预测是试图确定公司股票未来价值的行为。

显然，对股票未来价格的成功预测可以产生显著的效益，这使得预测问题成为学术研究人员和行业从业人员的强烈诉求。然而，股票市场预测通常被认为是时间序列预测中最具挑战性的问题之一，因为它具有噪声和波动特征[2]。在过去几十年中，机器学习模型，如支持向量回归（SVR）[3]和支持向量机（SVM）[4]，已被广泛用于预测金融时间序列，并获得较高的预测精度[5、6、7]。对于现代社会的经济和社会组织而言，如何准确预测股票走势仍然是一个悬而未决的问题。众所周知的有效市场假说（EMH）[8]表明，股票价格反映了所有当前可用的信息，以及基于新披露的相关信息的任何价格变化。然而，由于日常事件及其对股票价格的影响之间存在着隐含的相关性，因此很难找到导致每个股票价格变化的相关信息。此外，事件对股价的影响可能以间接方式发生，并产生连锁反应，这为准确的市场预测设置了障碍。预测所需的信息有三种方法。第一种方法是技术分析，其前提是金融时间序列的未来行为取决于其自身的过去。其次，基本面分析，是以外部信息为基础的政治经济因素。信息的主要来源是来自互联网的文本，这些信息来自新闻文章、财务报告甚至微博等非结构化数据。

Nofsinger等人[9]表明，在某些情况下，投资者倾向于在正面消息导致买入压力和股价上涨后买入，在负面消息导致价格下跌后卖出。最后，第三种方法考虑来自财务时间序列和文本数据的所有相关信息。在这项工作中，我们的目标是利用公开发布的金融新闻，并训练一个名为基于注意力的LSTM（At LSTM）的模型，对标准普尔500指数和个别公司股票价格的方向变化进行预测。我们的模型由一个递归神经网络（RNN）组成，用于对新闻文本进行编码并捕获上下文信息，自我注意机制用于将注意力分布在大多数相关的单词、新闻和日期上。模型输入为路透社和彭博社的财经新闻标题。我们的模型利用了深层神经网络的快速发展，我们证明了我们的模型与其他最先进的方法具有竞争力，证明了最近NLP技术进步对计算金融的影响。论文的其余部分组织如下。第二节介绍了相关工作。接下来，我们将在第3节介绍我们提出的预测模型的一些背景和方法。第4节演示了实验装置和结果。本文最后在第5.2节中总结并指出了未来的发展方向。相关工作股票市场预测是金融和经济学中一个有趣的时间序列学习问题，吸引了大量的研究。预测股市的工作是基于不同的资源和方法进行的。

例如，研究最广泛的方法之一是分析近期市场价格和交易量[10、11、12、13、14]。使用相关文本分析股市很复杂，但很有趣【15、16、17、18、19、20、21、22、23、24】。例如，Lavrenko等人引入了一个名为Enalyst的模型。他们的目标是通过分析雅虎金融主页上发布的新闻文章来预测股票的日内价格趋势。Mittermayer和Knolmayer实现了几种预测基于新闻的在线文本挖掘技术的短期市场反应的协议类型。他们的模型预测了五大公司指数的1天趋势。Wu等人【15】通过选择对单个股票有影响的一组具有代表性的突发特征（关键词）来预测股票趋势。Vivek Sehgal等人【24】介绍了一种利用情绪预测股市的方法。同样，MichaL Skuza等人[23]利用推特上帖子的情绪来预测未来的股价。然而，这些方法有许多局限性，包括揭示可能支配市场动态的规则，这使得预测模型无法捕捉最近趋势的影响。最近，神经网络被用来进一步提高预测的准确性。一般来说，神经网络能够学习文本的表示形式，在提供足够的训练样本的情况下，这些表示形式在很大范围的NLP问题上都是有效的。这是酪蛋白股票市场预测，其中股票价格可与大量相关文本数据收集在一起。这为探索基于深度学习的股票价格预测模型提供了一个很好的平台。

更具体地说，密集表示可以有效地表示相关的情绪、事件和事实信息，这对于使用稀疏指标特征来表示非常具有挑战性。通过分析股票相关文本，深入学习模型的发展激发了人们对股市预测的兴趣。例如，丁等人。[18] 结果表明，与离散事件特征相比，事件结构的深度学习表示具有更好的准确性。他们进一步扩展了他们的方法，将外部知识图纳入事件嵌入的学习过程。另一个例子是，Chang等人[20]使用神经网络直接学习新闻摘要的表示，这表明它对预测上市公司的累积异常回报是有效的。其他工作，例如[14、12、13]，提出了不同的神经网络模型，以提高预测精度。3、方法在本节中，我们首先介绍我们预测模型的一些相关背景。接下来，我们介绍了我们提出的模型的设计，该模型利用金融新闻标题预测标准普尔500指数和个别公司股票价格的方向变动。该模型被命名为基于注意力的LSTM（At LSTM），如图1.3.1所示。背景3.1.1。单词袋模型和单词嵌入单词袋模型是自然语言处理和信息检索中常用的一种简化表示方法[25]。也知道向量空间模型。在这个模型中，文本（例如句子或文档）被表示为一袋单词，不考虑语法甚至词序，但保持多样性。

单词袋模型通常用于文档分类，其中每个单词的出现代表了分类师培训的一个特点。单词嵌入是自然语言处理（NLP）中一组语言建模和特征学习技术的统称，其中词汇中的单词或短语映射到实数向量[26]。从概念上讲，它涉及从每个单词一维的aspace到低维的连续向量空间的数学嵌入。神经网络可以用来生成这种映射，最常用的算法是连续词包（CBOW）和Skip-gram算法[27]。当使用单词和短语嵌入作为基本输入表示时，可以提高NLP任务（如语法分析和情感分析）的性能。3.1.2. 卷积神经网络如图1所示，卷积神经网络（CNN）是一类深度前馈人工神经网络，已成功应用于分析视觉图像和NLP相关任务。与neuralnetwork一样，CNN由具有可学习权重和偏差的神经元组成。每个神经元接收一些输入，执行点积，并以非线性方式可选地跟随它。卷积层由四个连续操作组成：卷积、子采样（池）、激活和退出。卷积层可以帮助选择特征，以便与其他深度学习模型相比，CNN所需的预处理最少。卷积神经网络的核心部分是卷积滤波器。卷积滤波器利用了两个有助于改进机器学习系统的重要思想：稀疏交互和参数共享。Sparseinteraction与传统的神经网络形成对比，在传统的神经网络中，每个输出都与每个输入相互作用。

因此，输出仅与输入的窄窗口交互。参数共享是指在卷积运算中重用滤波器参数，而传统神经网络权重矩阵中的元素仅用于一次计算输出。3.1.3. 长-短期记忆长-短期记忆（LSTM）网络是Hochreiter于1997年提出的一种特殊的RNN。LSTM单元是递归神经网络（RNN）各层的构建单元[29]。由LSTM单元组成的RNN通常称为LSTM网络。LSTM的明确设计是为了避免长期依赖性问题。常见的LSTM单元由单元、输入门、输出门和遗忘门组成。该单元负责在任意时间间隔内“记忆”值；因此，LSTM能够学习长期依赖关系。输入图像层l=0具有非线性的协同进化层l=1子采样层l=3具有非线性的协同进化层l=4子采样层l=6完全连接层l=7完全连接层输出层l=8图1：Ecun等人（1989）介绍的原始卷积神经网络的架构，在卷积层之间交替，包括双曲正切非线性和子采样层。在本图中，卷积层已经包含非线性，因此，卷积层实际上代表两个层。然后，将最终子采样层的自然图输入到由任意数量的完全连接层组成的实际分类器中。输出层通常使用softmaxactivation函数。ctCell×ht××FT忘记网关输入网关输出网关图2：由Hochreiter et al。

【28】这里，FTI是遗忘门的激活向量，ITI是输入门的激活向量，OTI是输出门的激活向量，XT是LSTM单元的输入向量，HTI是LSTM单元的输出向量，CTI是细胞状态向量。表达long-short-term指的是LSTM是短期记忆的模型，可以持续很长一段时间。AnLSTM非常适合于分类、处理和预测给定重要事件之间未知大小和持续时间的时间序列。此外，LSTMS在许多NLP应用中展示了句子编码的有希望的结果【30，31】。LSTM结构如图2所示，STM单元的计算为：ft=σ（Wf[ht-1，xt]+bf）（1）it=σ（Wi[ht-1，xt]+bi）（2）~Ct=tanh（WC[ht-1，xt]+bC）（3）Ct=英尺 计算机断层扫描-1+itCt（4）ot=σ（Wo[ht-1，xt]+bo）（5）ht=ot tanh（Ct）（6）遗忘门在等式（1）中描述，用于决定是否应保留值。方程式（2）中的输入门用于控制哪些值应通过特定时间步更新。这里，使用tanh函数根据等式（3）创建一个新值cti。接下来，使用等式（4），将从Ct更新单元状态-1对于Ct、FTA和IT，此处重复使用以决定是否应丢弃信息。在等式（5）中，输出门用于过滤冗余值。最终输出由方程式（6）计算。W是权重矩阵，b是偏差。3.1.4.

优化算法和损失函数在本节中，我们将简要介绍我们在预测模型中使用的优化算法和损失函数Adadelta优化算法：除了随机梯度下降、自适应梯度算法或著名的Adam算法[32]，我们选择Adadelta[33]作为我们的优化算法。Adadelta是一种优化算法，可用于根据训练数据迭代更新网络权重。Adadelta结合了随机梯度下降的另外两个扩展、自适应梯度算法和均方根传播算法的优点。该方法仅使用初始信息随时间动态调整，并且除了普通的随机梯度下降外，计算开销最小【33】。该方法不需要手动调整学习速率，并且对噪声梯度信息、不同的模型架构选择、各种数据模式和超参数选择具有鲁棒性交叉熵损失：在信息论中，同一基础事件集上的两个概率分布p和q之间的交叉熵衡量了从该集提取的事件识别所需的平均比特数【34】。交叉熵是最合适的损失函数，因为我们想用预测模型的真实输出来衡量其输出。方程（7）给出了二元交叉熵损失公式。其中，J（w）表示损失，N表示示例数，yn是预期输出，~yn是真实输出。我们在模型中使用此公式作为损失函数。J（w）=-NH（pn，qn）=-NNXi=1[yn* 对数▄yn+（1- yn）* 日志（1- yn）]（7）3.2。模型设计在本小节中，我们介绍了基于注意力的LSTModel（At LSTM）的设计。