利用对抗性训练提高库存运动预测能力

请注意，对AE进行正确分类的模型可以对具有相同尺度的任意扰动的示例进行正确预测。这是因为AP是导致模型预测最大变化的方向。因此，对抗性学习可以使ALSTM捕获股票输入的避险特性。在每次迭代中，通过以下公式生成AE的潜在表示（esadv），esadv=es+rsadv，rsadv=arg maxrs，krsk≤l（ys，^ysadv），（5）其中es（方程式2中引入）是股票的最终潜在代表。RSadv是相关AP。 是一个更高的参数，用于显式控制扰动的规模。由于难以直接计算rsadv，我们采用快速梯度近似法【Goodfello等人，2015年】，rsadv=gskgsk，gs=l（ys，^ys）锿。具体而言，计算出的扰动是关于L-范数约束下潜在表示Es的损失函数梯度。请注意，梯度表示损失函数在给定点es处增加最多的方向，即它将导致模型预测的最大变化。图4说明了对抗性示例的生成。在训练迭代中，给出一个损失大于0（即ys^ys<1）的干净示例，生成AE。然后对模型进行更新，以共同最大限度地减少干净和危险示例的损失，这将强制执行干净示例和决策边界之间的差值。因此，如果模型能够预测与干净样本相同类别的扰动样本，这将对模型有利。也就是说，该模型能够正确预测从输入的固有随机分布中提取的样本，从而捕捉到不连续性。

虽然像支持向量机这样的传统模型也将决策边界推到了远离干净示例的地方，但由于AP（rsadv）在迭代过程中会发生变化，因此AdversArial训练会在训练过程中自适应地调整强制裕度的强度。注意，我们选择铰链损失来鼓励训练过程更加关注决策边界附近的示例。4实验4.1实验设置数据集。我们在股票走势预测的两个基准ACL18【Xu和Cohen，2018年】和KDD17【Zhang等人，2017年】上评估了提议的方法。ACL18包含2014年1月1日至2016年1月1日纳斯达克和纽约证券交易所市场88只高交易量股票的历史数据。继【Xu和Cohen，2018年】之后，我们重新定义了历史上的交易日，即取消了缺乏历史价格的周末和公共假日。然后，我们沿着对齐的交易日移动一个长度为T的滞后，以构建候选示例（即，一只股票在最小化AE的铰链损失时的一个示例是调整wpto放大ys^ysadv=ys（wTpes+b）+yswTprsadv，这将增加第一期ys（wTpes+b）=ys^ys。图5（第4节）中的结果从经验上证明了强制执行保证金的效果-10123清洁（+/-）示例敌对（+/-）示例！\"#!\"（标签*分类置信度）图4：对抗性示例的直观说明。表1：描述股票每日趋势的特征。特征计算c开、c高、c低，例如c开=开/柜- n close n close n adj close例如n close=（壁橱）-1.- 15天、10天、15天、20天、25天、30天。g、 ，5天=Pi=0adj壁橱-i/5adj衣柜- 1每个交易日）。我们根据股票收盘价的变动百分比来标记候选示例。移动百分比示例≥ 0.55%和≤ -0.5%分别被认定为正面和负面例子。

我们暂时将识别的示例分为培训（2014年1月1日至2015年8月1日）、验证（2015年8月1日至2015年10月1日）和测试（2015年10月1日至2016年1月1日）。KDD17包括从2007年1月1日至2016年1月1日的50只美国市场股票的较长历史。由于最初收集的数据是用于预测股票价格而非走势，因此我们采用与ACL18相同的方法来识别正面和负面示例。然后，我们暂时将示例分为培训（2007年1月1日至2015年1月1日）、验证（2015年1月1日至2016年1月1日）和测试（2016年1月1日至2017年1月1日）。特征。我们没有使用原始EOD数据，而是定义了11个时间特征（xst）来描述股票在t日的走势。表1阐述了与计算相关的特征。我们定义这些特征的目的是：1）规范不同股票的价格；2） 并明确说明不同价格的相互作用（如开盘和收盘）。基线。我们比较了以下方法：oMOM动量（MOM）是一个技术指标，预测每个示例在过去10天内的趋势为负值或正值MR均值回归（MR）预测每个样本的走势与最新价格走向30天移动平均线的方向相反LSTM是一种具有LSTM层和预测层的神经网络【Nelson等人，2017年】。我们调整了三个超参数：隐藏单元数（U）、滞后大小（T）和正则化项权重（λ）ALSTM是专注的LSTM【Qin等人，2017年】，通过正常训练进行优化。

与LSTM类似，我们也会调整U、T和λ。给出了一个股票s滞后于[T]的候选例子- T+1，T]，移动百分比计算为psT+1/psT- 1，其中，这是股票s在第T天的调整收盘价。oStockNet使用变分自动编码器（VAE）对股票输入进行编码，以捕捉随机性，并暂时关注不同时间步的重要性建模【Xu和Cohen，2018年】。这里，我们将表1中的时间特征作为输入，并调整其隐藏大小、退出率和辅助率（α）。评估指标。我们使用精度（Acc）和马修斯相关系数（MCC）[Xu和Cohen，2018]这两个指标来评估预测性能，其范围在[0100]和[-1, 1]. 请注意，度量值越高，性能越好。参数设置。我们使用张量流实现Adv ALSTM，并使用mini batchAdam【Diederik和Jimmy，2015】对其进行优化，批量大小为1024，初始学习率为0.01。我们在验证集上搜索Adv ALSTM的最优超参数。对于U、T和λ，Adv ALSTM继承了ALSTM的最佳设置，这些设置通过网格搜索分别在[4、8、16、32]、[2、3、4、5、10、15]和[0.001、0.01、0.1、1]范围内选择。我们进一步调整β和 分别在[0.001、0.005、0.01、0.05、0.1、0.5、1]和[0.001、0.005、0.01、0.05、0.1]范围内。我们报告了Adv ALSTM在五次不同运行的验证集上表现最佳时的平均测试性能。代码可通过thr访问oughhttps://github.com/hennande/Adv-ALSTM.4.2实验结果性能比较。表2分别显示了Acc和MCC两个数据集上比较方法的预测性能。

从表中，我们有以下观察结果：oAdv ALSTM在所有情况下都取得了最好的结果。与基线相比，Adv ALSTM在Acc和MCC方面的ACL18（KDD17）数据集上分别提高了4.02%和42.19%（2.14%和56.12%）。这证明了对抗性训练的有效性，这可能是由于在训练期间通过自适应模拟扰动来增强模型泛化具体而言，与使用VAE捕获库存输入的仓促性的StockNet相比，Adv-alst实现了显著的改进。我们假设，原因是StockNet无法明确建模随机扰动的规模和方向，因为它在训练过程中依赖于MonteCarlo抽样在基线中，ALSTM平均比LSTM高出1.93%和48.69%，这验证了注意力的影响【Qin等人，2017年】。此外，MOM和MR的表现不如预期的所有基于机器学习的方法，这正好说明历史模式有助于股票预测任务。随机扰动与对抗扰动。通过比较对抗性干扰和随机干扰，我们进一步研究了对抗性训练的有效性。Rand ALSTM是Adv ALSTM的方差，它通过向干净示例的输入中添加随机扰动来生成其他示例。

表3显示了performanceTable 2：两个数据集的性能比较。方法18 KDD17Acc MCC Acc MCCMOM 47.01±-–-0.0640±-–49.75±-–-0.0129±-–MR 46.21±-–-0.0782±-–48.46±-–-0.0366±-–LSTM 53.18±5e-1 0.0674±5e-3 51.62±4e-1 0.0183±6e-3ALSM 54.90±7e-1 0.1043±7e-3 51.94±7e-1 0.0261±1e-2STOC KNET 54.96±-–0.0165±-–51.93±4e-1 0.0335±5e-3Adv-ALSTM 57.20±-–0.1483±-–53.05±-–0.0523±-–RI4.02%42.19%2.14%56.12%RI表示Adv ALSTM相对于最佳基线的相对改善。StockNet的业绩直接来自【Xu和Cohen，2018年】。表3:Rand ALSTM在两个数据集上的性能。两个数据集上的数据集符合Rand ALSTM的MCCACL18 55.08±2e0 0.1103±4e-2KDD17 52.43±5e-1 0.0405±8e-3。通过与表2的交叉比较，我们观察到：1）与RandALSTM相比，Adv ALSTM取得了显著的改进。例如，它在ACL18上的w.r.t.Acc性能比Rand ALSTM好3.95%。这表明对抗性干扰有助于股票预测，与原始图像分类任务中报告的情况类似【Goodfello等人，2015年】。2） 兰德ALSTM的表现优于ALSTM，ALSTM纯粹通过清晰的示例进行训练，在这两个数据集上的平均改善率为0.64%。这突出了处理股票特征随机性的必要性。对抗性训练的影响。现在，我们调查对抗性训练的影响，以回答：1）对抗性训练是否加强了清晰示例和决策边界之间的界限。2） 对抗性训练是否增强了模型对对抗性示例的鲁棒性。请注意，我们仅在ACL18数据集上显示结果，因为KDD17上的结果也承认相同的观察结果。强制执行保证金。

回想一下，NADV ALSTM和ALSTM之间的唯一区别是对抗性训练和标准训练的学习参数。因此，我们通过比较Adv ALSTM和ALSTM指定的干净示例的分类精度（值越大表示与决策边界的差值越大），回答了第一个问题。图5显示了ALSTM和Adv ALSTM分配的分类浓度分布。可以看出，Adv ALSTM的浓度分布在一个范围内（[-0.6，0.6]，大约是ALSTM浓度的1.5倍（[-0.2，0.3]）。这表明对抗性训练将决策边界推到了远离清晰示例的地方，这被认为有助于增强模型的鲁棒性和泛化能力。对抗性示例的鲁棒性。然后，我们通过比较ALSTM和Adv ALSTM在干净和关联的对抗性示例上的性能来研究第二个问题。图6（a）和图6（b）分别说明了ALSTM和AdvALSTM在对抗性示例上的相对性能下降（RPD）与在清洁示例上的相对性能下降（RPD）。请注意，较大的ROPRD绝对值表明该模型更容易受到对抗性扰动的影响。可以看出，（a）ACL18验证的平均RPD（b）ACL18测试图5：ALSTM和Adv ALSTM为干净示例分配的分类浓度分布。（a） Acc（b）MCC图6：ALSTM和Adv ALSTM对抗示例的鲁棒性。每个标绘的数字都是一个模型在对抗性示例上与干净示例相比的RPD。就Acc（MCC）而言，ALSTM是AdvALSTM的4.31（6.34）倍。

这正是通过对抗性训练增强模型稳健性的潜力。5相关工作5.1股票走势预测最近关于股票走势预测的工作，主要分为两类，技术分析和基本面分析（FA）。技术分析（TA）将股票的历史价格作为特征来预测其走势。利用深度模型挖掘股票运动的大多数最新方法【Lin等人，2017年；Nelson等人，2017年；Chong等人，2017年】。其中，像LSTM这样的递归神经网络已经成为捕捉股票价格时间模式的关键组件[Nelson等人，2017年；Lin等人，2017年]。此外，其他先进的神经模型，如卷积神经网络（CNN）[Lin等人，2017年]和deep Boltzmann机器[Chong等人，2017年]，也被证明有利于捕捉股价的非线性。除价格特征外，FA还检查相关的经济、金融和其他定性和定量因素【胡等人，2018年；张等人，2018年；李等人，2018年；徐和科恩，2018年】。例如，Xu和Cohen[]整合了社交媒体的信号，这些信号反映了普通用户的观点，以增强股票走势预测。具体而言，他们使用VAE来学习股票表示，方法是联合编码历史价格和推特信息。此外，Zhang等人通过耦合矩阵和张量因子分解框架进一步考虑了与股票或关联公司相关的新闻事件。TA和FA研究都表明，价格特征在股票走势预测中起着至关重要的作用。然而，现有的研究大多假设股票价格是平稳的，缺乏处理其随机性的能力。StockNet【Xu和Cohen，2018年】是唯一通过VAE解决此问题的例外。

VAE将输入编码为Alant分布，并强制来自潜在分布的样本使用相同的预测进行解码。一般来说，背后的原理与随机扰动的模拟类似，因为潜在分布中的一个样本可以被视为向潜在表示添加随机扰动。与我们的方法相比，我们的扰动是有意产生的，这表明模型最难获得目标预测。此外，所提出的方法可以很容易地适用于股票运动预测的其他解。5.2对抗性学习通过训练分类模型来防御对抗性示例，对抗性学习已得到深入研究，这些示例是为了干扰模型而有意生成的。现有的对抗性学习工作主要集中于计算机视觉任务，如图像分类【Goodfello等人，2015年；iyato等人，2017年；Kurakin等人，2017年；Yang等人，2018年；Chen等人，2018b】。由于图像特征通常是连续的真实值，因此在特征空间中直接生成对抗性示例。最近，一些研究将对抗性学习扩展到具有离散输入的任务，如文本分类（一系列单词）[iyato等人，2017年]、推荐（用户和项目ID）[He等人，2018年]和图节点分类（图拓扑）[Dai等人，2018年；Feng等人，2019年]。这些作品不是在特征空间中，而是通过嵌入输入（如单词、用户（项目）和节点嵌入）生成对抗性示例。虽然这项工作受到了这些对抗性学习研究工作的启发，但它的目标是一项独特的任务，即股票运动预测，其中的数据是具有随机性的时间序列。

据我们所知，这项工作是第一项在时间序列分析中探索对抗训练潜力的工作。6结论在本文中，我们发现股票运动预测的神经网络解决方案由于缺乏处理股票特征的仓促性的能力，因此泛化能力较弱。为了解决这个问题，我们提出了一种对抗式专注LSTM解决方案，它利用对抗式训练来模拟模型训练过程中的随机性。我们在两个基准数据集上进行了广泛的实验，并验证了所提出的解决方案的有效性，这表明了考虑股票价格的随机性在股票走势预测中的重要性。此外，结果表明，对抗性训练增强了预测模型的鲁棒性和泛化能力。未来，我们计划探索以下方向：1）我们有兴趣测试Adv ALSTM，以预测更多资产（如商品）的变动。2） 我们计划对不同结构的库存移动解决方案（如CNN）进行对抗性培训【Lin等人，2017年】。3） 我们将探讨对抗性训练对股票走势预测基本分析方法的影响。参考文献【Adebiyi等人，2014年】A.Adebiyi、A.Adewumi和C.Ayo。股票价格预测的arima和人工神经网络模型的比较。JAM，2014年。【Chen等人，2018a】J.Chen、C.Ngo、F.Feng和T.Chua。深入了解跨模态配方检索的烹饪过程。单位：MM，第1020–1028页。ACM，2018年。【Chen等人，2018b】L.Chen，H.Zhang，J.Xiao，W.Liu，andS。青稞酒。使用语义保留对抗嵌入网络的零镜头视觉识别。在CVPR中，第1043–10522018页。【Cho等人，2014年】K.Cho，M.Van，C.Gulcehre等人。