基于滞后相关的方向趋势变化深度学习

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Lagged correlation-based deep learning for directional trend change
  prediction in financial time series》
---
作者：
Ben Moews, J. Michael Herrmann, Gbenga Ibikunle
---
最新提交年份：
2018
---
英文摘要：
  Trend change prediction in complex systems with a large number of noisy time series is a problem with many applications for real-world phenomena, with stock markets as a notoriously difficult to predict example of such systems. We approach predictions of directional trend changes via complex lagged correlations between them, excluding any information about the target series from the respective inputs to achieve predictions purely based on such correlations with other series. We propose the use of deep neural networks that employ step-wise linear regressions with exponential smoothing in the preparatory feature engineering for this task, with regression slopes as trend strength indicators for a given time interval. We apply this method to historical stock market data from 2011 to 2016 as a use case example of lagged correlations between large numbers of time series that are heavily influenced by externally arising new information as a random factor. The results demonstrate the viability of the proposed approach, with state-of-the-art accuracies and accounting for the statistical significance of the results for additional validation, as well as important implications for modern financial economics.
---
中文摘要：
具有大量噪声时间序列的复杂系统中的趋势变化预测是现实世界现象的许多应用中的一个问题，股票市场是这类系统中一个众所周知的难以预测的例子。我们通过它们之间的复杂滞后相关性来预测方向趋势变化，从各自的输入中排除关于目标序列的任何信息，以实现纯粹基于与其他序列的此类相关性的预测。我们建议在该任务的预备特征工程中使用深度神经网络，该网络采用指数平滑的逐步线性回归，回归斜率作为给定时间间隔的趋势强度指标。我们将此方法应用于2011年至2016年的历史股市数据，作为大量时间序列之间滞后相关性的用例示例，这些时间序列作为随机因素受到外部产生的新信息的严重影响。结果证明了所提出方法的可行性，具有最先进的精确度，并考虑了结果的统计显著性，以供进一步验证，以及对现代金融经济学的重要影响。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--

---
PDF下载：
--> Lagged_correlation-based_deep_learning_for_directional_trend_change_prediction_i.pdf (1.75 MB)

2022-6-11 05:09:56 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：深度学习 correlations Applications significance Implications

简介对时间序列分析和预测的深层机器学习方法越来越感兴趣，这导致了它在各个领域的应用，将这一领域确立为一个具有挑战性的兴趣话题（Cao和Tay，2003；Negreen et al.，2010）。当涉及到深度神经网络的有效使用时，主要关注的问题之一是一种敏感的方法，即为有用的数据表示进行特征工程。这一过程通常取决于各自应用领域的领域知识，而且往往不是研究中耗时的一部分（Najafabadiet al.，2015）。一些研究人员将应用机器学习与特征工程本身的概念等同起来，以强调其相对重要性（Ng，2012）。此类表示必须具有足够的信息量，以纳入时间序列之间的滞后相关性，同时，在前馈神经网络中，每个观测值和输入特征变量的离散数受到限制。(c)2018. 此手稿版本在CC-BY-NC-ND 4.0许可下提供(http://creativecommons.org/licenses/by-nc-nd/4.0/)*对应的authorEmail地址：b。moews@ed.ac.uk（Ben Moews），迈克尔。herrmann@ed.ac.uk（J。

迈克尔·赫尔曼），格宾加。ibikunle@ed.ac.uk（Gbenga Ibikunle）Zhang和Qi（2005）发现，当应用于具有季节和趋势模式的时间序列的原始数据时，此类模型无法捕获必要的信息，这为特征工程方法开辟了一个领域，允许在各种应用领域有效地使用时间序列数据进行趋势预测。在本文中，我们检验了一个假设，即深度前馈神经网络与指数平滑训练输入相结合，适用于学习大量时间序列的逐步趋势之间的滞后相关性，并且这种模型可以成功地应用于现实世界预测问题的当前研究。为了检验这一方法，我们将推荐的方法应用于五年来标准普尔500指数股票历史股价数据的梯度计算，以一小时为间隔，计算每日趋势，增加了相对较少观察的复杂性。欲了解金融市场研究中软计算方法的更深入概述，感兴趣的读者请参考Cavalcante et al.（2016），Weng et al.（2018）使用各种基于文本和基于指数的特征将集成方法应用于金融市场。为此目的进行的实验证明了我们的方法的可行性，即在严格的统计验证框架内，以高于给定市场基线的精度预测价格趋势变化。为了评估我们结论的可靠性，我们根据简单学习频率或概率分布的替代可能性测试结果，计算置信区间和p值，并通过缺口盒图进行视觉分析（McGillet al.，1978）。

本文的结果为处理大量噪声时间序列的复杂关系的许多实际问题的适用性提供了证据。我们的假设与byHo和Stoll（1983）提出的微观结构模型有关，该模型描述了股票的短期变化与相对于其他股票的库存演变之间的联系。该模型表明，a股的报价变化是对b股交易的反应，是基于cov（Ra，Rb）/σ（Rb）。这种股票交易的投资组合观点与金融领域普遍采用的多元化战略相一致，并为交易所交易基金（ETF）等非常流行的工具提供了支持，这些工具提供了分散风险的廉价手段。这项研究可能是金融经济学文献中持续时间最长的辩论。影响股票价格发现的因素的不可预测性使价格发现过程变得嘈杂（Chen等人，1986）。金融市场中信息获取过程的不可预测性（或随机性）与Fama（1965）和Fama（1970）所描述的有效市场假说以及randomwalk假说（Kendall和Hill，1953；Cootner，1964；Malkiel，1973）相一致。这些理论与我们关于股票市场存在时移相关性的假设相矛盾。与我们的预期一致，我们的结果提供了经过严格检验的经验证据，支持股票价格中存在时移相关性，这与随机游走理论相矛盾。

具体而言，我们的发现与Sitte和Sitte（2002）不一致，他们认为标准普尔500指数股票的价格发现过程是一个随机游走过程，因为人工神经网络无法提取任何信息，导致这些股票的预测高于平均水平。然而，我们的结果与之前通过Darrat和Zhong（2000）提出的人工神经网络在金融时间序列中不存在随机游动的证据一致，尽管证据很弱。有效市场假说与随机游走假说的一致性还表明，我们的发现与有效市场假说的大部分内容相矛盾，而有效市场假说得到了大量金融学术文献的广泛支持（Fama，1970；Doran et al.，2010）。然而，尽管随机游走假说的性质已经得到了显著的确立，但许多研究，如Lo和MacKinlay（1987），多年来一直质疑其有效性，而其他研究则提出了替代方案。例如，一种流行的替代假设是，股票回报可以用随机游走和平稳均值回复分量的总和来解释（Summers，1986；Fama和French，1988）。Loand MacKinlay（1987）也提出了有效市场假说是“不完全假说”的观点。本文并非试图调和金融文献中最长期存在的争论之一；相反，我们提出了一种基于市场微观结构理论和机器学习相结合的价格预测方法。2、相关研究2.1。时间序列趋势预测Saad等人（1998）明确指出，不同类型的人工神经网络用于时间序列趋势预测的可行性。其他类型的降噪，例如回声状态网络的PCA，已经进行了类似的研究，并报告了无显著成功（Lin等人，2009）。

虽然在已发表的文献中，回归梯度作为前馈神经网络输入特征的研究很少，但最近在自然语言处理中引入了小波方向导数的使用（Gibson et al.，2013）。基于导数的特征随后被应用于其他研究领域，例如统计学和数字信号处理（G’orecki和Luczak，2013；Baggenstoss，2015）。基于回归导数的趋势预测方法的成功使用了时间序列之间的滞后相关性，这为此类方法在时间序列应用中的可行性提供了额外的证据。具体而言，积极的结果显示了深度学习方法在此类场景中的价值和适用性。2.2. 股票市场作为一个用例，股票市场的价格变化在其核心是人类决策的结果，而这些决策又基于他们各自对股票未来表现的信念。股票不仅受到公司各自业绩的影响，还受到与后者没有直接联系的新信息的影响。例如，9·11袭击后对航空公司股价的负面影响，以及CEO个人健康状况下降的消息后的类似影响（Drakos，2004；Perryman等人，2010）。因此，价格变化是人类对其他人未来信念的信念的结果，这种信念可以被不确定地抹杀，是人类决策以及基于这些概念的自动化决策实施所创造的真实世界时间序列的一个例子，尤其是在高频交易中。可以得出结论，由于这些因素，历史股票价格的时间序列包含大量影响过程的新信息形式的噪音，以及人类决策中的偏差和错误。

因此，市场本质上容易因过度反应而引发波动，并在暂时的狂热中动态强化（Chen等人，1986）。由于其生成过程的复杂性，这使其成为一个合适的用例，用于测试所提出模型在噪声环境中识别和利用滞后相关性的能力。最近有关股市预测的相关工作包括Zhang和Wu（2009）关于反向传播的变化，Boyacioglu和Avci（2010）关于模糊推理框架的使用，Chatzis et al.（2018）关于金融危机预测的深度学习，Zhang et al.（2018）关于无监督启发式算法，Malagrino et al.（2018）关于贝叶斯网络方法。另一个研究领域是基于文本的股市预测，Nassirtoussi et al.（2014）为感兴趣的读者提供了整体概述。2.3. 人工神经网络与股票市场怀特（1988）首先假设了使用人工神经网络进行股票市场预测的可行性，随后Saad等人（1998）和Skabar和Cloete（2002）给出了成功的迹象。Zhang等人（1997）报告了人工神经网络因其适应性、非线性和任意函数映射而对此类预测问题的特殊适用性。Takeuchi和Lee（2013）首先利用Hinton和Salakhutdinov（2006）的工作，将深度神经网络模型用于股市预测的实验结果作为工作文件提供，二元预测准确率为53.36%。BatresEstrada（2015）的类似方法得出的报告准确率为52.89%，也优于简单的逻辑回归。3、梯度特性3.1。

近似趋势强度线性回归是一种广泛应用的方法，用于捕捉特定时间范围内的趋势，因此构成这些特征的基础。它们的一般形式如下所示，i表示移动观测、截距β和误差项之一i： yi=β+βxi，1+βxi，2++βpxi，p+i=xTiβ+i、 我∈ {1，…，m}（1）由于模型的输入向量需要一个单变量特征，因此使用简单线性回归作为方程（1）的最小二乘估计量。该估计器确定了一个解释变量，通过拟合一条直线来最小化残差的平方和。该方程被表示为寻求β的最小化问题，斜率βforminβ，βQ（β，β）：Q（β，β）=mXi=1（yi- β- βxi）（2）所得回归模型的梯度，即拟合线的斜率，可以通过取一阶导数来计算。在给定的任务中，这意味着将β作为特征进行跟踪。在这个过程中，时间轴上某一点上的时间序列值的信息丢失，由此产生的梯度表示通过回归模型趋势向上或向下移动的强度。必须提前确定要执行回归的时间间隔大小。特征矩阵随后用于前馈神经网络的输入，由导数w.r.t.β1组成，k为每个时间序列k的不等式（2）的简单线性回归∈ S：={1，…，S}，对于所有单独的时间间隔j∈ T：={1，…，T}，意思是 j∈ T、 k级∈ S：βj1，kminβj0,1，βj1,1mXi=1（yi，k- βj0，k- βj1，kxji，k）=>β1,1β1,1. . . βt1,1β1,2β1,2。βt1,2。β1，sβ1，s。

βt1，s=: B（3）当应用于所有时间间隔时，相应梯度的该结果特征矩阵B包含所有时间序列的方向趋势强度指标，每行一个，每列一个时间间隔。时间间隔趋势的这种表示是后续平滑过程的基础。一个值得关注的问题是，由于给定的时间间隔近似趋势，数据集减少，这需要大量的观测数据，以便在减少后有效地训练人工神经网络（Glorot和Bengio，2010）。关于使用回归导数进行时间序列预测分类任务的研究，尤其是关于深度学习方法的研究仍然很少。近年来的例子包括Mierswa和Morik（2005）通过决策树和支持向量机对音频分类使用这种梯度，Gibson等人（2013）为自然语言处理任务使用小波梯度，以及在动态时间扭曲中添加这种导数（G’orecki和Luczak，2013）。3.2. 在有限脉冲响应滤波Clarke et al.（2000）和Gehrig and Menkhoff（2006）中指出，技术分析，即基于历史股票市场数据以时间序列的形式预测股票价格变化，在当前的投资行业中广泛传播。在这种情况下，指数移动平均值是用作技术分析滞后指标的主要技术之一。在时间序列分析的一般研究中，它被称为指数平滑（Brown，1956；Holt，1957）。

它是一种有限脉冲响应滤波器，可以如下递归计算，α是使用的平滑因子，α∈ （0，1）和t作为时间间隔指示器：s=xst=αxt+（1- α） st公司-1，t>0（4）指数平滑是数字信号处理中的主要方法，在选择平滑因子α时必须特别考虑。预测w.r.t.的敏感性与α的大小成反比，普遍建议至少10个时间间隔的平均值作为s的初始值（Nahmias，2009）。Gen,cay等人（2001年）首次明确了有限脉冲响应滤波器对金融时间序列平滑的适用性。4、实证验证4.1。数据清理和预处理数据集由Thomson ReutersTick History提供，以2011年4月4日至2016年4月1日的每小时平均股价为特征，涵盖了当前505只标准普尔500指数股票约五年的股市信息，共有6049849个观察值。它包含价格、观察日期和时间以及相应股票的路透社工具代码（RIC）。为了有效地用作特征向量，并从财务角度避免污染，计算逐步梯度的价格序列必须完全对齐，并存在于所有时间步长和使用的堆栈中。由于数据集不完善，将整理出无效的时间戳和不一致的假日值，并通过具有相同RIC的行的下一个前序值重建缺失的值。然后保留存在最小数量现有观测值的acut-o OFF值的RIC。