利用对抗性训练提高库存运动预测能力

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Enhancing Stock Movement Prediction with Adversarial Training》
---
作者：
Fuli Feng, Huimin Chen, Xiangnan He, Ji Ding, Maosong Sun, Tat-Seng
  Chua
---
最新提交年份：
2019
---
英文摘要：
  This paper contributes a new machine learning solution for stock movement prediction, which aims to predict whether the price of a stock will be up or down in the near future. The key novelty is that we propose to employ adversarial training to improve the generalization of a neural network prediction model. The rationality of adversarial training here is that the input features to stock prediction are typically based on stock price, which is essentially a stochastic variable and continuously changed with time by nature. As such, normal training with static price-based features (e.g. the close price) can easily overfit the data, being insufficient to obtain reliable models. To address this problem, we propose to add perturbations to simulate the stochasticity of price variable, and train the model to work well under small yet intentional perturbations. Extensive experiments on two real-world stock data show that our method outperforms the state-of-the-art solution with 3.11% relative improvements on average w.r.t. accuracy, validating the usefulness of adversarial training for stock prediction task.
---
中文摘要：
本文提出了一种新的股票运动预测的机器学习解决方案，旨在预测股票价格在不久的将来是上涨还是下跌。关键的创新之处在于，我们建议采用对抗式训练来提高神经网络预测模型的泛化能力。对抗式训练的合理性在于，股票预测的输入特征通常基于股票价格，股票价格本质上是一个随机变量，本质上是随时间不断变化的。因此，基于静态价格特征（如收盘价）的正常培训很容易过度拟合数据，不足以获得可靠的模型。为了解决这个问题，我们建议添加扰动来模拟价格变量的随机性，并训练模型在较小但有意的扰动下运行良好。对两个真实股票数据的大量实验表明，我们的方法优于最先进的解决方案，平均w.r.t.准确率相对提高了3.11%，验证了对抗性训练对股票预测任务的有效性。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Trading and Market Microstructure        交易与市场微观结构
分类描述：Market microstructure, liquidity, exchange and auction design, automated trading, agent-based modeling and market-making
市场微观结构，流动性，交易和拍卖设计，自动化交易，基于代理的建模和做市
--
一级分类：Computer Science        计算机科学
二级分类：Computational Engineering, Finance, and Science        计算工程、金融和科学
分类描述：Covers applications of computer science to the mathematical modeling of complex systems in the fields of science, engineering, and finance. Papers here are interdisciplinary and applications-oriented, focusing on techniques and tools that enable challenging computational simulations to be performed, for which the use of supercomputers or distributed computing platforms is often required. Includes material in ACM Subject Classes J.2, J.3, and J.4 (economics).
涵盖了计算机科学在科学、工程和金融领域复杂系统的数学建模中的应用。这里的论文是跨学科和面向应用的，集中在技术和工具，使挑战性的计算模拟能够执行，其中往往需要使用超级计算机或分布式计算平台。包括ACM学科课程J.2、J.3和J.4（经济学）中的材料。
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--

---
PDF下载：
--> Enhancing_Stock_Movement_Prediction_with_Adversarial_Training.pdf (781.55 KB)

2022-6-11 00:23:07 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Applications Perturbation Quantitative Improvements Insufficient

利用对抗性训练加强股票走势预测冯富力、陈惠民、湘南和3*, 季丁、孙茂松、新加坡达生创大学、清华大学、中国科技大学、伊利诺伊大学香槟分校、，jiding2@illinois.edu, sms@tsinghua.edu.cn，{傅立峰93，惠姆臣1994，湘南河，chuats@gmail.com}@gmail。本文提出了一种新的股票运动预测的机器学习解决方案，旨在预测股票价格在不久的将来是否会上涨或下跌。关键的创新之处在于，我们建议使用对抗性训练来改进神经网络预测模型的泛化。对抗式训练的合理性在于，股票预测的输入特征通常基于股票价格，股票价格本质上是一个随机变量，本质上是随时间不断变化的。因此，使用基于静态价格的特征（如收盘价）进行的正常培训很容易过度拟合数据，不足以获得可靠的模型。为了解决这个问题，我们建议添加扰动来模拟价格变量的随机性，并训练模型在较小但有意的扰动下工作良好。对两个真实股票数据的扩展性实验表明，我们的方法优于最先进的解决方案【Xu和Cohen，2018年】，平均w.r.t.准确度相对提高了3.11%，验证了对抗性训练对股票预测任务的有用性。1简介股票市场是最大的金融市场之一，总价值达到80万亿美元。预测股票的未来状态一直是股票市场上许多参与者的极大兴趣。

虽然已知股票的确切价格是不可预测的【Walczak，2001；Nguyen等人，2015】，但研究工作一直集中在预测股票价格的变动，例如，价格是会上涨/下跌，还是价格变化会超过阈值，这比股票价格预测更容易实现【Adebiyi等人，2014；Feng等人，2018；Xu和Cohen，2018】。库存变动预测可以作为一项分类任务来处理。定义标签空间和特征后*何香楠是通讯作者。https://data.worldbank.org/indicator/CM.MKT.TRAD.CD?view=chart.（a） 培训（b）验证图1：专注LSTM的培训过程，Lregularization系数为0、0.01和0.1。一次描述一只股票，我们可以应用标准的监督学习方法，如支持向量机【Huang et.，2005】和神经网络【Xu和Cohen，2018】来构建预测模型。虽然在技术上可行，但我们认为，由于股票市场的高度随机性，这种方法的泛化能力较弱。图1提供了弱泛化的经验证据，其中我们按时间将数据分为训练和验证，并训练了一个专注的股票历史价格LSTM模型【Qin等人，2017年】，以预测其走势。从图1（a）可以看出，随着训练次数的增加，训练损失逐渐减少，这与预期相符。然而，图1（b）所示的验证损失没有呈现出增加趋势；相反，它只在初始化状态周围发生变化，没有清晰的模式。

换言之，通过培训示例学习的模型的好处并不能转化为预测未知验证示例的改进。我们已经深入探讨了Lregularization（不同线条的结果），这是一种改进模型泛化的常用技术，然而，这种情况并没有得到改善。我们假设原因是，标准分类方法假定从静态输入中学习，例如图像中的像素值和文档中的术语频率。当处理股票价格等随机变量时，静态输入假设不成立，这种方法不能很好地推广。具体而言，现有的股票预测方法通常融入基于价格的特征，例如特定时间步的价格或多个时间步的平均价格【Edwards等人，2007年；Nelson等人，2017年】。由于股票的价格随时间（在市场时间内）不断变化，基于价格的特征本质上是随机变量，与传统的静态输入有根本不同。更具体地说，可以将训练实例的特征视为从特定时间步的输入变量分布中提取的“样本”。在不适当处理输入变量随机性的情况下，该方法很容易对训练数据进行过度拟合，泛化能力较弱。在这项工作中，我们建议利用对抗性训练来考虑股票市场的随机性，以学习股票运动预测模型。我们主要考虑的是，给定一个特定时间步的具有固定输入特征的训练示例，训练后的模型预计会对从输入变量固有分布中提取的其他样本生成相同的预测。

为了实现这一想法，我们可以通过在输入特征上添加小扰动来生成额外的样本（对随机性的模拟），并训练模型在干净样本和扰动样本上都表现良好。这是计算机视觉任务中常用的对抗性训练方法【Kurakin等人，2017年】。然而，问题是股票预测模型的特征通常是连续的（见图2），因此在所有时间单位的特征上添加扰动可能非常耗时；此外，它可能会在不可控的不同单元的扰动之间造成非常规的相互作用。为了解决这个问题，我们在模型的高级预测特征上添加了扰动，例如，直接投影到最终预测的最后一层。由于大多数深度学习方法在更高的层次学习抽象表示，因此它们的规模通常比输入规模小得多。因此，向高级特征添加扰动更有效，同时也可以保持随机性。我们在一个专注的LSTM模型上实施我们的对抗性训练计划，该模型是一个用于序列数据的高度表达性模型。我们将扰动添加到最后一层的预测特征中，并动态优化扰动，使其尽可能地改变模型的输出。然后，我们对模型进行训练，使其在干净特征和扰动特征上都表现良好。

因此，可以将Adversarial训练过程理解为执行一个动态正则化器，该正则化器可以稳定模型训练，并使模型在随机性下表现良好。本文的主要贡献总结如下：o我们研究了股票走势预测中的泛化困难，并强调了处理输入特征随机性的必要性我们提出了一种对抗性的训练解决方案来应对仓促的挑战，并将其应用于股票走势预测的深度学习模型中我们在两个公共基准上进行了广泛的实验，验证了对几种最先进方法的改进，并表明对抗式学习使分类更稳健，更具普遍性。2问题公式我们分别使用粗体大写字母（如X）和粗体小写字母（如X）表示矩阵和向量。此外，普通小写字母（如x）和希腊字母图2：注意LSTM的图示。（例如λ）分别用于表示标量和超参数。如果没有其他规定，所有向量都是列形式。符号tanh和σ分别代表双曲余弦函数和sigmoid函数。股票运动预测任务的公式是学习预测函数^ys=f（Xs；Θ），该函数将股票从其序列特征（Xs）映射到标签空间。

换言之，带有参数Θ的函数f旨在根据最近T个时间步中的序列特征xs预测股票s在下一个时间步的移动。Xs=[Xs，···，xsT]∈ RD×T是一个矩阵，表示过去T个时间步的滞后时间内的顺序输入特征（如表1所示的开盘价和收盘价），其中Dis是特征的维度。假设我们有S股，我们通过设置它们的基本真值标签y=[y，····，yS]来学习预测函数∈ RS，其中ys（1/-1）是下一时间步中股票s的基本真值标签。然后，我们将问题正式定义为：输入：一组训练示例{（Xs，ys）}。输出：一个预测函数f（Xs；Θ），预测股票s在以下时间步中的移动。在实际场景中，我们通常可以访问每个股票的长期历史，并通过沿历史移动滞后来为每个股票构建许多训练示例。尽管如此，我们使用了一个简单的公式，没有失去一般性，只考虑了一个特定的滞后（即，每个股票一个培训示例），以简化提出的方法。3对抗性注意LSTM（Adv ALSTM）3.1注意LSTM注意LSTM（ALSTM）主要包括四个组成部分：特征映射层、LSTM层、时间注意和预测层，如图2所示。要素映射图层。之前的工作表明，adeeper输入门将有助于LSTM时间结构的建模【Graves等人，2013年；Wu等人，2018年】。受其成功的启发，我们采用了一个完全连接的层来将输入特性投影到潜在的表示中。在每个时间步，它的执行方式是mst=tanh（Wmxst+bm），它将输入特征投影到一个维度为E.Wm的潜在空间∈ RE×Dand bm∈ 重新设置要学习的参数。LSTM层。

由于LSTM能够捕获长期依赖性，它已被广泛用于处理顺序数据【Qin等人，2017年；Chen等人，2018a】。LSTM的一般思想是将输入序列反复投影到隐藏表示序列中。在每个时间步，LSTM通过联合考虑输入（mst）和先前的隐藏表示（hst）来学习隐藏表示（hst-1） 捕获顺序依赖关系。我们将其公式化为hst=LSTM（mst，hst-1） 其中详细配方可参考【Hochreiter和Schmidhuber，】。为了捕获历史库存特征中的顺序依赖关系和时间模式，应用LSTM层将[ms，····，msT]映射到隐藏表示[hs，···，hsT]∈ RU×t为U.时间注意层维度。注意机制已广泛应用于基于LSTM的顺序学习问题解决方案中【Cho等人，2014；Chen等人，2018a】。注意的思想是将不同时间步的隐藏表示压缩为具有自适应权重的整体表示。注意机制旨在模拟这样一个事实，即不同时间步的数据对整个序列的表示可能有不同的贡献。对于股票表示，不同时间步的状态也可能有不同的影响。例如，在滞后中具有最大值和最小值的天数可能对总体表现有更大的贡献。因此，我们使用注意机制将隐藏表示聚合为，As=TXt=1αsthst，αst=expeαstPTt=1expeαst，eαst=uTatanh（Wahst+ba），（1），其中∈ RE×U、BAAN和ua∈ 将参数重新设置为BERLEND；asis是对序列中的整体模式进行编码的聚合表示。预测层。

我们没有直接从as进行预测，而是首先将as与最后一个隐藏状态连接到股票s的最终潜在表示，es=[asT，hsTT]T，（2）其中es∈ R2U。背后的直觉是进一步强调最新的时间步，这被认为是以下运动的信息【Fama和French，2012年】。对于ES，我们使用一个完全连接的层作为预测函数来估计分类置信度^ys=wTpes+bp。请注意，最终预测为符号（^ys）。3.2对抗性训练对于大多数分类解决方案，ALSTM的正常训练方式是最小化目标函数：SXs=1l（ys，^ys）+αkΘkF，l（ys，^ys）=max（0，1- ys^ys）。（3） 第一个术语是铰链损失【Rosasco等人，2004年】，它被广泛用于优化分类模型（更多选择它的原因将在本节末尾进一步解释）。第二项是对可训练参数的正则化，以防止过度拟合。图3：对抗性专注LSTM的图示。尽管常规训练被广泛使用，但我们认为它不适合学习股票预测模型。这是因为正常的训练假设输入是静态的，忽略了这些特征的随机特性（训练示例是从输入变量的随机分布中提取的样本）。请注意，这些特征是根据股票价格计算的，股票价格随时间不断变化，并受特定时间段随机交易行为的影响【Musgrave，1997年】。因此，正常的训练可能会导致模型过度拟合数据，缺乏泛化能力（如图1所示）。请注意，如果模型表现良好，随机性将对从固有分布中提取的样本做出相同的预测。

考虑到股价是连续的，我们的直觉是通过在静态输入特征上添加小扰动来有意模拟样本。通过强制模拟样本上的预测保持一致，该模型可以捕捉随机性。对抗训练【Goodfello等人，2015；Kurakin等人，2017】实现了上述直觉。它使用干净的示例（即训练集中的示例）和对抗性示例（AEs）训练amodel【Szegedy等人，2013年】。AEs是通过向干净示例的特征添加故意干扰而生成的恶意输入。扰动被称为对抗性扰动（AP），是导致模型预测最大变化的方向。尽管它在图像分类方面取得了成功【Kurakin等人，】，但它不可能直接应用于股票预测。这是因为计算扰动依赖于计算有关输入的梯度，这将非常耗时（由LSTM层的反向传播时间步长引起）。此外，考虑到输入的梯度依赖于不同的时间步，不同时间步上的扰动之间可能存在无意的相互作用，这是不可控的。为了解决这些问题，我们建议从潜在表示es生成EAES，如图3所示。在介绍AEs计算之前，我们首先阐述Adv ALSTM的目标函数：ΓAdv=SXs=1l（ys，^ys）+βSXs=1l（ys，^ysadv）+αkΘkF。（4） 第二项是对抗性损失，其中^ysadv是股票AE的分类置信度。β是一个超参数，用于平衡干净和对抗性示例的损失。通过最小化目标函数，该模型被鼓励正确地对清洁样本和逆境样本进行分类。