倾听混乱的低语：一个深入的学习框架

然后，我们提出了基于这三个方面的框架rst提出了一种混合注意力网络（HAN），该网络由下一个组成，我们结合了一种自定进度的学习机制，使SDM 2018年2月5日至9日、加利福尼亚州玛丽娜·德雷、美国朱子牛、刘伟清、江边、刘宣哲和刘铁雁成为可能。图1：关于石油行业改革的两个新闻序列示例，与中国石油科技股份有限公司（SINOPECthat）的股价联合显示，中国石油科技股份有限公司是中国最大的石油公司之一。在古尔、红色、绿色和黄色圆圈分别代表负面、正面和中性新闻。图2：连续几天无新闻的比例。该模型调整学习顺序，以实现更好的性能。4.1问题陈述我们将股票趋势预测问题视为阳离子问题。对于给定的日期和给定的股票，我们可以通过以下公式计算其上涨百分比：上涨百分比（t）=开盘价（t+1）- Open\\u Price（t）Open\\u Price（t）与许多以前的研究类似，我们可以将上升百分比分为三类：下降、上升和保持，代表信号在下一个交易日，股价不能分别下跌、上涨和稳定。股票趋势预测任务可表述如下：给定时间序列的长度n、股票和日期，目标是使用来自时间序列的新闻语料库序列-Ntot公司-1，表示为[Ct-N、 Ct-N+1。。。，计算机断层扫描-1] ，为了预测Rise\\u百分比（t）的类别，即CiLCi=[ni1，ni2，…，niL]l日期i的相关新闻。4.2混合注意网络顺序上下文依赖框架应在顺序时间上下文中解释和分析新闻，并更多关注关键时间段。此外，根据uenceprinciple是我们的框架，它将注意力机制整合到了新闻层面和时间层面。我们在图3中总结了总体框架。

给定新闻语料库序列的输入，新闻嵌入层将搜索新闻编码为新闻向量。接下来，新闻级attentionlayer为日期中的每个新闻向量分配一个关注值，并计算这些新闻向量的加权平均值作为该日期的粒子向量。然后，这些语料库向量由双向选通递归单元（GRU）编码。然后，另一个时间注意层为每个日期指定一个注意值，并计算这些编码的语料库向量的加权平均值，以表示整体的顺序上下文信息。最后，课堂阳离子由鉴别网络产生。架构的细节如下所述。新闻传播：对于datet新闻库中的每个新闻，都有一个新闻载体。为了降低框架的复杂性，我们预先训练一个无监督的Word2Vec作为单词嵌入层，而不是在学习过程中调整其参数。新闻层面的关注度：由于并非所有新闻都能对新闻做出同等的贡献，因此ering关键信息。Speci公司理论上，uti=siДmoid（Wnnti+bn）αti=exp（uti）jexp（ut j）dt=~OiαtintiWerst通过一个单层网络将新闻向量NTI输入以获得新闻级别的关注值UTI来估计关注值，然后分别通过每个新闻向量的加权和计算归一化的关注权重αtithrdta，并使用thisA Deep Learning Framework for news-oriented Stock Trend Prediction WSDM 2018，2018年2月5日至9日，加利福尼亚州Marina Del Rey，USA图3：混合注意力网络（HAN）的总体框架。表示datet的所有新闻信息的向量。

因此，我们得到aD=【di】，i∈ [，N]注意力层可以进行端到端的训练，从而逐渐学会根据内容将更多注意力放在可靠且信息丰富的新闻上。序列建模：为了对小体向量的时间序列进行编码，我们采用了选通递归单元（GRU）。GRU是序列状态的变体，没有单独的记忆细胞。在datet，GRU通过线性插值前一个状态ht来计算新闻状态ht-1和当前更新状态ht，为：ht=（1- zt）* ht公司-1+zt*ht通过非线性组合此时间戳的语料库向量输入和前一个状态来计算当前更新状态，如：▄ht=tanh（Whdt+rt* （UHT-1） +bh）其中，Rt表示重置门，控制应使用多少过去状态来更新新状态，Zt是更新门，决定应保留多少过去信息以及应添加多少新信息。这两个闸门的计算公式为：rt=σ（Wrdt+Urht-1+br）zt=σ（Wzdt+Uzht-1+bz）为了将新闻作为其上下文，我们将来自两个方向的潜在向量串联起来，以构建双向编码向量hias：-→你好=---→GRU（di），i∈ [1，L]←-你好=←---GRU（di），i∈ [L，1]高=[-→你好←-hi]ResultedHi融合了周围环境和自身的信息。通过这种方式，我们对语料库向量的时间序列进行编码。暂时关注：自di发布新闻以来不同的日期对股市走势的贡献不均衡，我们采用结合了内在时间模式和新闻内容的临时级别注意机制来区分临时级别的注意偏差为：oi=siДmoid（Whhi+bh）βi=exp（θioi）'Ijexp（θjoj）V=~Oiβihiwhereθiis softmax层中每个日期的参数，通常指示哪个日期更重要cant、andois是编码语料库向量的最新表示。

通过softmax层将它们结合起来，我们可以得到一个注意向量β-加权sumV，这样它就可以将连续的新闻上下文信息与时间注意结合起来，并将用于分类阳离子。趋势预测：nal判别网络是一种标准的多层感知器（MLP），它以SV为输入，产生三类分类未来股票走势的阳离子。4.3自学机制如第3.3节所述，新闻导向的股票趋势预测存在一些自然的挑战，如新闻的稀缺性和模糊新闻的聚集性，这导致严重的问题。设计的模型应跳过早期训练阶段具有挑战性的训练样本，并逐步将其纳入模型训练。课程学习[]是一种可以模仿这种学习过程的学习模式。然而，课程学习中训练样本的顺序是由预先确定的启发式（课程）混合，无法根据动态学习模型的反馈进行调整。为了缓解这一问题，Kuma等人设计了自定进度学习（SPL），将课程设计嵌入到学习目标中，从而可以同时优化课程和学习模型。因此，我们在框架中利用SPL来学习新闻以有组织的方式影响。正式地，给定训练=（xi，yi）ni=1xi∈ RMITHYSTOCK趋势标签。LetL（yi，HAN（xi，w））表示labelyi与整个模型HAN（xi，w）的输出之间的损失函数，wre表示要学习的模型参数。我们为每个学习样本分配一个重要权重vi。2018年2月5日至9日，加利福尼亚州Marina Del Rey、美国Ziniu Hu、Weiqing Liu、Jiang Bian、Xuanzhe Liu和Tie Yan Liu共同学习模型参数和潜在权重v=[v1，]。

.., vn]作者：minw，v∈[0，1]nE（w，v，λ）=n~Oi=1viL（yi，HAN（xi，w））+f（v；λ）（1）惩罚潜在权重变量的方案，λ是控制模型学习新样本速度的更高参数。在本文中，我们选择[]中提出的线性正则化器，该正则化器根据样本的损失对样本进行线性判别，即：f（v；λ）=λn~Oi=1（vi- 2vi）（2）与[][]类似，我们采用交替凸搜索（ACS）[]来求解方程（1）。ACS将变量划分为两个不相交的块。在每次迭代中，优化一个变量块另一个街区。使用xedw，线性正则化器（2）的无约束闭式解可以通过以下公式计算：v*i=arДminvE（w*, v、 λ）=-λli+1 li<λ0 li≥ λv*iithand LIDE记录每个元素的损失L（yi，HAN（xi，w））。在此之前已经学会了将受到线性惩罚。算法1自配学习。Require：输入数据集，D；线性正则化子f；自定步长，u；确保：型号参数，w；1： 初始化v*均匀2： 未聚合do3时：更新w*= arДminwE（w，v*, λ);4： 更新v*= arДminvE（w*, v、 λ）；5： 如果λ很小，则6：将λ增加步长u；7： 结束if8：结束while9：返回w*;基于优化方程，整个学习过程可以抽象为算法1。它在两个optiStep 3之间交替使用X和MOST中心V*通过标准的反向传播机制；步骤4使用xedw公司*通过线性调节器。注意，较小的初始λ仅允许具有较小损失a的样本ect学习。随着培训的进行和λ的增加ective和e古老的学问。5评估在本节中，我们rst介绍我们的实验装置。

然后，我们进行综合实验来评估性能-0.10-0.05 0.00 0.05 0.10上升百分比01020304050PDF图4：上升百分比在整个数据集中的分布。我们提出的深度学习框架，然后是对现实世界市场的系统研究。5.1实验设置5.1.1数据收集。我们获得了中国股票数据，包括2014年以来价格和成交量的时间序列——绝大多数中国股票。同时，我们收集了2014年至2017年间的1442条经济新闻*. 对于每条新闻，我们提取了发布时间戳、标题及其内容。然后，我们将每个收集的新闻与一个特定的c股票如果新闻在标题或内容中提到股票的名称。那么我们过滤掉与股票无关的消息。经过这一过程，总新闻量为425250条。然后，我们将每个股票的某一日期的所有新闻聚合起来，构建每日新闻语料库。5.1.2学习Seings。指定classi的标签cationproblem，我们设置了两个特定的阈值来存储上升百分比，即下降（上升百分比（t）<-.41%），上升（上升百分比（t）>。87%），并保留(-.41%≤ 上升百分比（t）≤.87%). 韦德如图4所示，调整阈值，使三个类别大致相等。对于以下实验，我们将数据集分为2014年9月至2016年5月的训练集（66.7%）和2016年5月至2017年3月的测试集（33.3%）。然后我们进一步随机抽样，优化超参数并选择最佳历元。在下面的所有实验中，我们标记每个新闻并构建词汇表。然后，我们通过在整个数据集中训练一个维度为500的无监督CBOW Word2Vec[]模型来获得单词级嵌入。