利用平稳极限进行价格预测的深度学习

下面描述了所测试的三个模型的体系结构。提出的CNN模型由以下连续层组成：1。使用大小为（10，42）的16个滤波器进行1D卷积2。使用大小为（10，）3的16个滤波器进行1D卷积。使用大小为（8，）4的3个滤波器进行1D卷积。使用大小为（6，）5的3个2滤波器进行1D卷积。使用大小为（4，）6的3个2滤波器进行1D卷积。与3个神经元7完全连接的层。具有3个神经元的完全连接层用于CNN所有共有和完全连接层的激活函数是参数整流线性单元（PRELU）[40]。最后一层对0 50 100 150 200 250 300LSTM步骤0.300.320.34CostTrainTest使用s oftmax函数。图3：LSTM网络每重复步骤的平均成本预测不同类别之间的概率分布。所有卷积层后面都是批量标准化（BN）层。L STM网络使用32个隐藏神经元，然后是一个前馈层，其中64个神经元使用Dropout和PREL U作为激活函数。通过实验我们发现，LSTM的隐藏层应该包含64个或更少的隐藏神经元，以避免模型过拟合。如果数据集更大，那么用更多的隐藏神经元进行实验是可行的。最后，CNN-LSTM模型将卷积特征提取层应用于输入，然后按正确的时间顺序将其输入LSTM模型。CNN组件由以下层组成：1。使用大小为（5，42）2的16个滤波器进行1D卷积。使用大小为（5，）3的16个滤波器进行1D卷积。使用大小为（5，）4的3个滤波器进行1D卷积。1维卷积，3个2个大小的滤波器（5），请注意，CNN模块中每个卷积滤波器的接收域小于独立的CNN，因为LSTM可以捕获过去时间步中的大部分信息。

STM模块具有与独立LSTM相同的exac t体系结构。CNN-LSTM模型的可视化表示如图2所示。同样，PRELU是用于CNN和完全连接层的激活函数，而softmax函数用于网络的输出层，以预测类的可能性分布。当我们在L OB数据上训练LSTM网络时，我们观察到的一个经常性影响是，对于第一个观察步骤，预测会产生更大的交叉熵成本，这意味着我们的指标性能更差。我们运行了一组实验，其中LSTM针对输入窗口T的所有步骤进行了训练。图3显示了每个时间步的平均成本。因此，试图利用不充分的过去信息预测价格变动是不可能的，应该避免，因为这会导致噪音梯度。为了避免这种情况，在实际做出正确决策之前，最初使用“老化”输入来构建其对市场的初始感知。本质上，通过在第100个时间步之前不允许任何梯度改变我们的模型，可以跳过输入的第一个“老化”步骤。我们还将相同的方法应用于CNN-LSTM模型。表3：不同预测层k的实验结果。

报告的值是过去20个训练周期内每个度量值的平均值。特征类型模型平均召回平均精度平均F1 Cohenκ预测水平k=10原始值SVM 0.35 0.43 0.33 0.04MLP 0.34 0.34 0.09 0.00CNN 0.51 0.42 0.38 0.14LSTM 0.49 0.41 0.35 0.12平稳特征SVM 0.33 0.46 0.30 0.011MLP 0.34 0.35 0.09 0.00CNN 0.54 0.44 0.43 0.19LSTM 0.55 0.45 0.42 0.18CNNLSTM 0.56 0.45 0.44 0.21预测范围k=50原始值SVM 0.35 0.41 0.32 0.03MLP 0.410.38 0.21 0.04CNN 0.50 0.42 0.37 0.13LSTM 0.46 0.40 0.34 0.10固定特征SVM 0.39 0.41 0.38 0.09MLP 0.49 0.43 0.38 0.14CNN 0.55 0.45 0.43 0.20LSTM 0.56 0.46 0.44 0.21CNNLSTM 0.56 0.47 0.47 0.24预测范围k=100原始值SVM 0.35 0.46 0.33 0.05MLP 0.45 0.39 0.26 0.06CNN 0.49 0.42 0.37 0.12LSTM 0.45 0.39 0.34 0.09固定特性SVM 0.36 0.46 0.35 0.07MLP 0.50 0.43 0.39 0.14CNN0.54 0.46 0.44 0.21LSTM 0.56 0.46 0.44 0.20CNNLSTM 0.55 0.47 0.48 0.24预测层位k=200原始值SVM 0.35 0.44 0.31 0.04MLP 0.44 0.40 0.32 0.08CNN 0.47 0.43 0.39 0.14LSTM 0.42 0.39 0.36 0.08固定特征SVM 0.38 0.46 0.36 0.10MLP 0.49 0.45 0.42 0.17CNN 0.51 0.47 0.45 0.20LSTM 0.52 0.47 0.46 0.22CNNLSTM 0.53 0.48 0.49 0.250 20 40 60 80 100培训Epoch0.3250.3500.3750.4000.4250.4500.4750.500F10 20 40 60 80 100训练Epoch0.100.120.140.160.180.200.220.240.26Cohen的κLSTM TrainLSTM测试MLP TrainMLP测试CNN TrainCNN测试CNNLSTM TrainCNNLSTM测试图4：预测范围k=100训练期间的F1和Cohen的κ指标。使用窗口为3的平均滤波器平滑曲线图，以减少波动。为了训练模型，数据集被拆分如下。每个测试的前7天用于训练模型，而最后3天用作测试数据。

实验针对（9）和（10）中定义的4个不同预测层k进行。使用Cohen的kappa（41）来衡量绩效，该方法用于评估给定答案集之间的一致性，并考虑随机协议发生的可能性。报告了所有3个等级之间的平均回忆、测量精度和F1平均得分。回忆是真阳性样本数除以真阳性和假阴性之和，而准确度是真阳性样本数除以真阳性和假阳性之和。F1分数是精度和召回指标的调和平均值。实验结果如表3所示。将基于原始价格特征的模型与基于提取的平稳特征的交易模型的结果进行了比较。结果表明，从数据中提取平稳特征可以显著提高深度学习模型（如CNN和LSTM）的性能。我们还建立了一个线性SVM模型和一个简单的MLP模型，并将其与DLM模型进行了比较。由于数据集的s iz e太大，无法使用正则二次规划求解器，因此使用随机梯度下降法对SVM模型进行训练。SVM模型的实现由sklearn库提供【42】。MLP模型由三个完全连接的层组成，每个层的激活大小分别为1 28、64、32和PRELU。辍学是用来避免过度设置的，softmax激活功能是在最后一层使用的。由于SVM和MLP模型都无法在时间步长上迭代以获得与基于CNN和LSTM的模型相同的信息量，因此使用了50个深度事件的窗口，并将其转换为单个样本。该过程以滚动方式应用于所有数据集，以生成一个数据集，在该数据集上可以训练两个模型。

一个重要的注意事项是图4中观察到的训练波动，这是由严重的cla ss不平衡引起的。在CNN和LSTM模型的初始实验中观察到的相似性问题，但使用5.4中描述的加权损失，波动有所减弱。所有测试模型的建议固定价格特征明显优于原始价格特征。这在很大程度上可归因于propo-Sed特征的静止性质。所采用的价格差异提供了一种本质上稳定的、非标准化的价格测量，可以直接使用。这与原始价格值形成对比，原始价格值需要谨慎的标准化，以确保其值保持在合理的范围内，并在价格上涨到前所未有的水平时，有助于解决显著的非平稳性问题。通过将实际价格转换为与中间价格的差异，并将其正常化，这一重要特征被夸大了，以避免被更大的价格波动所抑制。推荐的组合模型CNN-LSTM也输出其单独的组件模型，如图4和表3所示，表明其可以更好地处理LOB数据，并使用它们利用数据中存在的微观结构进行更准确的预测。7.结论在本文中，我们提出了一种从原始数据中提取平稳特征的新方法，适用于不同的DL模型。使用不同的ML模型，即支持向量机、MLP、CNN和LSTM，实验证明，拟议的特征显著优于原始价格特征。拟议的静态特征通过将业务线深度价格之间的差异作为主要指标而不是价格本身来实现这一点，通常，随着时间的推移，其影响远大于业务线内的价格水平。

还提出了一种新的组合CNN LSTM模型用于时间序列预测，结果表明，与CNN和LSTM模型相比，该模型表现出更稳定的行为和更好的结果。有几个有趣的未来研究方向。与所有DL应用程序一样，更多的数据将允许使用更大的模型，而不会像本工作中所观察到的那样有过度训练的风险。RNN类型的网络也可用于执行一种“智能”r采样形式，从特定和有限的事件时间间隔中提取有用的特征，这将避免信息丢失，并允许后续模型生成特定时间段的预测，而不是后续事件的预测。另一个重要的补充是注意机制[21]，[43]，它允许网络更好地观察特征，允许它忽略数据中有噪音的部分，只使用相关信息。致谢导致这些结果的研究获得了H2020项目BigDataFinance MSCA-ITN-ETN 675044的资助(http://bigdata融资。金融研究和风险管理方面的大数据培训。参考文献[1]H.Deng，L.Zhang，X.Shu，基于特征记忆的dee p递归神经网络用于语言建模，应用软件计算68（2018）432–446。[2] M.Larsson，Y.Zhang，F.K ahl，《使用区域卷积神经网络的鲁棒腹部器官分割》，应用软计算。[3] A.Van Den Oord、S.Dieleman、H.Zen、K.Simonyan、O.Vinyals、A.Graves、N.Ka lchbrenner、A.Senior、K.Kavukcuoglu、Wavenet：原始音频的生成模型，arXiv预印本XIV:1609.03499。[4] F.Black，M.Scholes，《期权定价与公司负债》，政治经济杂志81（3）（1973）637–654。[5] R.Cont，S.Stoikov，R。

Talreja，《订单动态的随机模型》，OperationsResearch ch 58（3）（2010）549–563。[6] F.M.Bandi，R.Ren\'o，《价格和波动率共同跳跃》，金融经济学杂志119（1）（2016）107–146。[7] Y.Ait-Sahalia，P.A.Mykland，《市场微观结构下的波动性估计：理论和实践考虑的回顾》，载于：《金融时间序列手册》，斯普林格出版社，2009年9月20日，第577-598页。[8] A.N.Kercheval，Y.Zhang，《用支持向量机建模高频限价订单动态》，定量金融15（8）（2015）1315–1329。[9] A.Tsa ntekidis，N.Passalis，A.Tefas，J.Kanniainen，M.Gabbouj，A.Iosi fidis，利用深度学习检测金融市场的价格变化迹象，摘自：《欧洲信号处理会议记录》，2017年，第2511-2515页。[10] V.Vapnik，I.Guyon，T.Hastie，支持向量机，Mach。学习20（3）（1995）2 73–297。[11] A.Kazem，E.Shari fi，F.K.Hussain，M.Saberi，O.K.Hussain，基于混沌的股票市场价格预测支持向量回归算法，应用软计算13（2）（2013）947–958。[12] T.-J.Hieh，H.-F.Hsiao，W.-C.Yeh，《利用小波变换和电流神经网络预测股市：基于人工蜂群算法的集成系统》，应用软件计算11（2）（2011）2510–2525。[13] L.Lei，基于粗糙集属性约简的股价趋势小波神经网络预测方法，应用软计算62（2018）923–932。[14] K.Michell等人，通过整合SwitchingRegion、an FIS和garch技术建立的股市风险预测模型，应用So ft Computing 67（2018）106–116。[15] C.-F.Huang，一个使用遗传算法和支持向量回归的混合股票选择模型，应用了软计算12（2）（2012）807–818。[16] S。

Galeshchuk，《神经网络在汇率预测中的表现》，神经计算172（2016）446–452。[17] J.Heaton，N.Polson，J.Witte，《深度对开理论》，arXiv预印本arXiv:1605.07230。[18] L.Takeuchi，Y.-Y.A.Lee，应用深度学习增强股票动量交易策略。[19] R.Xiong，E。P、 Nichols，Y.Shen，《利用谷歌国内趋势深入了解股票波动性》，arXiv预印本arXiv:1512.04916。[20] A.Graves，A.-r.Moha med，G.Hinton，《深度递归神经网络语音识别》，收录于：《IEEE声学、语音和信号处理国际会议论文集》，2013年，第66 45–6649页。[21]K.Xu、J.Ba、R.Kiros、K.Cho、A.C.Courville、R.Salakhutdinov、R.S.Zemel、Y.Bengio，《展示、参与和讲述：视觉注意下的神经图像捕获》。，摘自：《机器学习国际会议论文集》，2015年第14卷，第77-81页。[22]J.Ma o，W.Xu，Y.Yang，J.Wang，Z.Huang，A.Yuille，使用多模式递归神经网络（m-rnn）进行深度字幕，arXiv预印本arXiv:1412.6632。[23]Y.Zhu，O.Groth，M.Bernstein，L.Fei Fei，Visual7w：基于图像的问题回答，摘自：IEEE计算机视觉和模式识别会议过程，2016年，第4995–5004页。【24】Y.LeCun，Y.Beng-io等人，《图像、语音和时间序列的卷积网络》，《大脑理论和神经网络手册》3361（10）（1995）1995。【25】S.Hochreiter，J.Schmidhuber，《长-短期记忆》，神经计算9（8）（1997）1735-1780。[26]D.-x.Niu，H.-f.Shi，D.D.Wu，混合蒙特卡罗算法学习的贝叶斯神经网络短期负荷预测，应用软计算12（6）（2012）1822-1827。[27]L.Xi，H.Muzhou，M.H.Lee，J.Li，D.Wei，H.Hai，Y。

Wu，一种新的构造性神经网络噪声处理方法及其在股市预测中的应用，AppliedSoft Computing 15（2014）57–66。【28】D.T.Tran，A.Iosi fidis，J.Kanniainen，M.Gabbo uj，《金融时间序列数据分析的时间关注双线性网络》，arXiv预印本arXiv:1 712.00975。【29】A.Ntakaris，J.Kanniainen，M.Gabbouj，A.Iosi fidis，基于机器学习方法的中期价格预测，包括技术和定量指标。【30】D.T.Tran、M.Ma gris、J.Kanniainen、M.Gabbouj、A.Iosi fidis，《价格变化预测高频数据中的张量表示》，载于：计算智能（SSCI），2017年IEEE研讨会系列，IEEE，2017年，第1-7页。【31】A.Tsantekidis，N.Passalis，A.Tefas，J.Kanniainen，M.Ga bbouj，A.Iosi fidis，使用卷积神经网络从极限或偏差预测股票价格，摘自《IEEE商业信息学会议论文集》，2017年第1卷，第7-12页。【32】N.Passalis、A.Tsantekidis、A.Tefas、J.Kanniainen、M.Gabbouj、A.Iosi fidis，《利用神经特征袋进行时间序列分类》，载于：《2017年欧洲信号处理会议录》，第301-305页。【33】D.Yang，Q.Zhang，《基于高、低、开盘和收盘价格的漂移独立波动率估计》，《公共汽车杂志》ss 73（3）（2000）477–492。【34】A.Ntakaris、M.Magris、J.Kanniainen、M.Gabbouj、A.Iosi fidis，《限价指令簿数据中期价格预测基准数据集》，arXiv预印本arXiv:17 05.03233。【35】M.Siikanen、J.Kanniainen、A.Luoma，是什么驱动了限价订单对公司公告到达的敏感性？，《经济学公报》159（2017）65–6 8。【36】P.J.Werbos，《时间反向传播：它做什么和如何做》，IEEE 78（10）（1990）1550–1560会议录。[37]T.Tieleman，G。

Hinton，L e cture 6.5-rmsprop：《梯度除以其最近量级的运行平均值》，COURSERA：机器学习神经网络4（2）（2012）26–31。[38]F.Chollet等人，Keras，https://github.com/keras-team/keras (2015).【39】M.Abadi，A.Agarwal，P.Barham，E.B.et at。，TensorFlow：异构系统上的大规模机器学习，TensorFlow提供的软件。org（2015年）。统一资源定位地址https://www.tensorflow.org/[40]K.He，X.Zhang，S.Ren，J.Sun，《深入研究整流器：在imagenet分类上超越人类水平的性能》，载于：《IEEE国际计算机视觉会议论文集》，2015年，第1026-1034页。【41】J.Cohen，《名义量表、教育和心理测量的认同系数》20（1）（1960）37–46。【42】F.Pedregosa，G.Varoquaux，A.Gramfort，V.Michel，B.Thirion，O.Grisel，M.Blondel，P.P rettenhofer，R.Weiss，V.Dubourg，et al.，Scikit learn：python中的机器学习，机器学习研究杂志12（2011年10月）2825–2830。【43】K.Cho，A.Courville，Y.Bengio，使用基于注意力的编码器网络描述多媒体内容，IEEE多媒体交易17（11）（20 15）1875–1886。