多模式金融深度学习：整合与预测

请注意，我们没有包括ReturnsCross市场，例如SP Close to KO Close return=CloseSPt/CloseKRt- 1，因为它们在任何常规显著水平上都是统计上非平稳的。在下文中，我们将使用符号octckota和rtinterchangeally来表示KO指数的每日收盘回报率。为了提高预测的准确性并防止在训练过程中因收敛而出现并发症，我们使用以下公式将单个特征归一化为范围【min，max】：x←-x个- mintrainmaxtrain- 最小降雨量（最大值- min）+min，（1）其中右侧的x表示右侧数据x的归一化值；MaxTrain和MinTrain分别表示数据x的最大值和最小值；这些数据仅使用训练集进行估计，以避免外观偏差，然后应用于验证集和测试集。3.5两个市场的关联为了直观理解，我们通过使用带有回归最佳拟合线的散点图来可视化特征和目标之间的模式。图3显示了KO特征对和提前一天返回的散点图。存在极弱的正线性关联，由0.002到0.164的回归线的低斜率和线性回归线周围的显著变化来描述。如图4所示，SP特征的散点图显示出更为多样的模式，即正斜率和负斜率，从-0.453至0.385，线性回归线周围存在显著变化。陡峭的斜率显示出一定程度的溢出效应，从美国日间股市到次日KR股市。这意味着美国和韩国市场共享一定数量的信息。

我们最终打算通过多模式深度学习来获取这些信息。8多模式金融深度学习4多模式深度学习网络模型4.1深度神经网络多模式深度神经网络由深度神经网络（DNN）组成，是一系列完全连接的层。DNN可以通过对大量数据的统计学习，从原始数据中提取高级特征，以获得输入数据的有效表示。假设我们得到一个训练数据集{xt}Tt=1和相应的标签集{rt}T+1t=2，其中T表示训练集中的天数。DNN由输入层L、输出层Lout和h隐藏层Lh（h）组成∈ 输入层和输出层之间的{1，2，…，H}）。每个隐藏层LH是由多个单元组成的集合，这些单元可以排列为矢量∈ R | Lh |，其中| Lg |表示Lh中的单位数。lHa中的单位被定义为h的非线性变换- 第1层：ah=f（WThah-1+bh），（2）其中权重矩阵Wh∈ 右|左-1 |×| Lh |，偏置矢量bh∈ R | Lh |和f（·），其中权重矩阵Wh∈ 右|左-1 |×|左侧|。非线性激活函数f（·）：RNl×1→ RNl×1在其参数上按条目进行操作，输入层中的单位是特征向量。根据每日收益回归任务，在输出层Lout中使用一个在输出层具有线性激活函数的单个单元。

然后，给定输入a=xt，提前一天返回预测^r·t+1由^r·t+1=WToutaH给出，（3）其中∈ R | LH |和AHI是最终隐藏层LH中的单位。4.2股票预测的单模式和多模式深度网络我们基于早期、中期和晚期融合框架构建预测模型。单模态模型（基线）：为了比较融合模型的性能，我们使用了四种类型的单模态模型：（1）仅KO DNN，（2）仅SP DNN，（3）仅NA DNN，和（4）仅DJ DNN模型（图5左侧）。它们的训练集{xt}分别由{xKOt}、{xSPt}、{xNAt}和{xDJt}给出。早期融合：输入特征向量在输入层简单地串联在一起，然后在整个DNN中一起处理（图6的左侧）。特征向量由xt=[xKOt；xUSt]，（4）金融多模式深度学习9给出，其中我们使用[xKOt；xUSt]表示两个向量xKOt和xUSt的串联。虽然与其他融合模型相比，该模型计算效率较高，因为它需要的参数数量较少，但它有几个回溯[37]，例如在小规模训练样本的情况下过度拟合，以及忽略每个模式的特定统计特性。中间融合中间融合结合了由单独的网络分支学习到的高级特征（图6的右侧）。网络由两部分组成。第一部分由三个独立的深层神经网络组成，即DNN1，用于从输入特征{xKOt}中提取特征，DNN2，用于从输入特征{xUSt}中提取特征，DNN3，用于融合提取的特征并预测回报。DNN3的输入特征向量为nByDNN3=[aDNN1H；aDNN2H]（5），其中ADNN1和ADNN2分别为DNN1和DNN2的单位。

这些融合在原始数据水平上不会暴露于跨模态信息，因此，与早期融合模型相比，揭示了更多的模态内关系。延迟融合延迟融合是指来自多个预测器的决策的聚合（图5的右侧）。让^yKOt+1和^yUSt+1作为来自各个DNN的预测。然后，最终预测为^rt+1=F（^rKOt+1，^rUSt+1），（6），其中F是组合各个预测的规则，如平均值[38]、投票[39]或学习模型[40,41]，以生成最终结果。在本研究中，我们使用了由^rt+1=λ×^rKOt+1+（1）给出的线性规则- λ） ×^rUSt+1，（7）λ是组合KO和US数据预测值的权重。这里，λ是一个混合参数，它决定了每个模态对组合语义空间的相对贡献。我们设定λ=0.5，以便KO和US来源对最终预测结果的贡献相等。所有神经网络均通过最小化均方误差（MSE），（1/N）PNt=1（^rt+1）进行训练- rt+1），在验证集中。不同级别融合的财务影响在国际金融市场合并时，区分融合级别将具有重要的财务意义。国内股票价格通常受到国外事件的影响，但影响程度取决于国内股票市场的国际金融相互依赖性。发达金融市场可能高度暴露于国际事件，10多模式金融深度学习显示出高度的国际相关性。相比之下，欠发达的市场很可能被孤立，并表现出较低的国际相关性和较高的国内相关性。早期融合更适合于发达市场，因为它可以在单个连接层中直接捕获国内外特征之间的相互关联。

相比之下，从某种意义上讲，中间融合更适合于欠发达（或发展中）市场，即国内特征更可能相互关联，而不是与外部国外市场关联。5培训为了找到最佳配置，我们使用了树结构Parzen估计器（TPE）算法[42]，作为贝叶斯超参数优化方法之一，它能够同时优化更多的超参数（表1）。超参数包括：层数、隐藏单元数、层的激活函数、批量大小、优化器、学习率和时代数。我们应用反向传播算法[45,46]获得模型的梯度，无需任何预训练，这意味着可以使用ReLU高效地训练深层网络，无需预训练[47]）。所有网络权重均使用Glorot normal初始化进行初始化【48】。表1：。超参数列表及其对应的值范围。超参数考虑值/函数隐藏层数{2，3}隐藏单元数{2，4，8，16}丢失{0.25，0.5，0.75}批量大小{32，64，128}优化器{RMSProp，ADAM，SGD（无动量）}激活函数隐藏层：{tanh，ReLU，sigmoid}，输出层：线性学习率{0.001}历代数{100}层数：每个层的层数分支）神经网络。隐藏单元数：神经网络隐藏层中的单元数。辍学：辍学率。槽尺寸：每批样品的数量。激活：sigmoid函数σ（z）=1/（1+e-z） ，双曲正切函数tanh（z）=（ez- e-z） /（ez- e-z） ，和矩形线性单位（ReLU）函数ReLU（z）=最大值（0，z）。学习速率：反向传播算法的学习速率。POCHS数：所有训练数据的迭代次数。

优化器：随机梯度下降（SGD）[43]、RMSProp[44]和ADAM[43]金融多模式深度学习115.1正则化我们使用三种正则化方法来控制网络的过度拟合，并改善泛化误差，包括退出、提前停止和批量归一化。辍学者辍学背后的基本思想是在训练期间暂时从网络中移除一定部分的隐藏单位，在每次迭代中随机选择辍学单位【49】。这减少了单位的CO自适应，近似模型平均值，并提供了一种组合许多不同神经网络的方法。在实践中，辍学规则化需要指定辍学率，即辍学的概率。在这项研究中，我们在每个隐藏层之后插入退出层，并在0.25、0.5和0.75的退出率上进行网格搜索，以找到每个架构的非最佳退出率（表1）。批量规范化批量规范化（BN）的基本思想与训练数据预处理中的数据规范化类似【50】。BN技术使用一小批训练案例中对神经元的总输入分布来计算均值和方差，然后使用均值和方差对每个训练案例中该神经元的总输入进行归一化。有大量证据表明，与没有批量归一化的相同网络相比，批量归一化的应用会导致更快的训练收敛，从而提高准确性[50]。提前停车。我们用来防止过度安装的另一种方法是提前顶起。早期停止包括在验证误差最小的时期冻结神经网络的权重。

使用迭代反向传播进行训练的DNN能够在每个历元后学习训练集的特定模式，而不是一般模式，并在某一点开始超越。为避免此问题，仅使用训练集训练DNN，如果验证MSE在10个时期内停止下降，则停止训练。6实验6.1评估指标经常观察到，股票预测模型的性能取决于所使用的窗口大小。为了使评估任务更加可靠，我们在三个不同的窗口上进行了实验：（1）2006年1月1日至2017年12月31日的实验1；2010年1月1日至2017年12月31日的出口2；2014年1月1日至2017年12月31日的出口3。在获得测试数据的预测后，使用公式（1）的逆公式对其进行反规范化。此后，^rts表示非规范化预测。给定一个测试集{xKOt，xUSt}Tt=1和相应的水平{rt}T+1t=2，其中12 FinanceT的多模式深度学习表示测试样本中的天数。我们使用MSE和命中率评估预测性能，定义如下：命中率=TTXt=1Pt，（8），其中Pti是预测在tthtrading日的方向移动，定义为：Pt=（1 if^rt+1·rt+1>0（即正确的方向预测），否则为0（即错误的方向预测）。6.2日常策略作为基线为了评估单一和融合模型，我们检查了三个规则的命中率：–基于动量的预测-I：如果KOSPI指数今天上升（下降），它预测KOSPI指数明天也会上升（下降）。-基于动量的预测II：如果标普500指数今天上涨（下跌），它预测KOSPI指数明天也会上涨（下跌）。-买入并持有策略：基于积极的历史回报，它预测第二天的KOSPI指数将上涨。表2：。

三条规则的命中率。Expt.no Momentum-based prediction-I Momentum-based prediction II买入和持有1 0.484 0.562 0.5492 0.492 0.558 0.5343 0.488 0.536 0.523表2显示，基于动量的预测II是三个规则中最准确的，Expt.1、Expt.2和Expt.3的命中率分别为0.562、0.558和0.536。6.3结果我们将KO和SP特征对的融合模型（表3）、KO和NA特征对的融合模型（表4）、KO和DJ特征对的融合模型（表5）以及每个国家特定特征的非融合模型的预测结果作为基线模型。为了消除因具有不同最小-最大范围的参数而产生的潜在不良差异，我们还对三个不同的范围进行了实验[-1、1、[0、1]和多模式金融深度学习13[-0.5, 0.5]. 主要发现如下：对于KO和SP特征的融合（表3），早期融合（0.606±0.011）的平均命中率（方向预测）略高于或可与中间融合（0.597±0.029）相比。对于KO和NA特征的融合（表4），早期融合的命中率（0.584±0.019）略低于或与中间融合的命中率（0.595±0.013）相当。对于KO和DJ特征的融合（表5），早期融合的命中率（0.585±0.027）略低于或可与中间融合的命中率（0.600±0.022）相比。因此，两种融合方法的性能总体上是可比较的，这在不同的窗口大小和最小-最大范围内是一致的。就计算效率而言，早期融合模型因其参数数量比中间融合模型少而更具吸引力。单一vs。

多模态-单模态模型的总命中率约为0.49：仅KO DNN为0.499±0.028，仅SP DNN为0.496±0.023（表3），仅NA DNN为0.497±0.024（表4），仅DJ DNN为0.492±0.029（表5）。有趣的是，其表现略差于基于动量的预测II（约0.55）和买入并持有策略（约0.53）。晚期融合的命中率KO和SP融合为0.499±0.024，KO和NA融合为0.498±0.021，KO和DJ融合为0.496±0.026，均低于早期和中期融合。这些结果表明，需要联合估计这两种模式的参数。单模态模型的不良性能清楚地强调了多模态集成对于保持股票数据的互补性和提供更稳健预测的重要性。7讨论与结论我们开发了股票预测模型，通过使用多模式深度学习结合韩国和美国股市的信息。我们将EDDNN作为深度学习的一个分支，利用其在非线性建模中的强大能力，并设计了三种类型的体系结构来捕获不同层次的跨模态相关性。实验结果表明，早期和中期融合模型比单模态和晚期融合模型预测股票收益更准确，后者在预测中没有考虑跨模态相关性。这表明联合优化可以有效地捕获市场之间的互补信息，并有助于改进股票预测。这项研究有一些局限性。首先，我们研究了2006年的三个不同时段- 2017, 2010 - 2017年和2014年- 2017

在这些时期，早期和中期融合模型在准确性方面始终优于常规的基于规则的预测和后期融合模型。然而，本研究的样本量相对较小，14种多模式深度学习的财务表现如表3所示。命中率（MSE×10-5） 出口测量。1-3对于KO和SP数据标定非融合多模式融合KO only DNN SP only DNN Late Early IntermediateExpt。1[-1, 1] 0.490 (5.257) 0.499 (5.268) 0.513 (5.26) 0.609 (4.781) 0.599 (4.989)[0, 1] 0.526 (5.284) 0.506 (8.787) 0.514 (6.011) 0.612 (4.630) 0.592 (0.480)[-0.5，0.5]0.519（5.622）0.500（7.590）0.501（5.851）0.607（0.463）0.608（4.820）出口2[-1, 1] 0.505 (5.726) 4.755 (6.199) 0.479 (5.852) 0.613 (4.951) 0.617 (5.091)[0, 1] 0.487 (5.717) 4.755 (6.343) 0.470 (5.917) 0.615 (5.054) 0.587 (5.193)[-0.5，0.5]0.484（5.716）4.755（6.437）0.477（5.933）0.590（4.982）0.648（5.048）出口3[-1, 1] 0.552 (3.895) 0.549 (3.902) 0.549 (3.891) 0.602 (3.601) 0.609 (3.629)[0, 1] 0.464 (4.004) 0.507 (4.558) 0.500 (4.132) 0.619 (3.680) 0.545 (3.890)[-0.5，0.5]0.468（3.991）0.482（4.877）0.496（4.251）0.584（3.676）0.570（3.700）平均值±标准差0.499±0.028 0.496±0.023 0.499±0.024 0.606±0.011 0.597±0.029表4。命中率（MSE×10-5） 出口测量。1-3对于KO和NA数据标度非融合多模式融合KO仅DNN NA仅DNN晚期早期中期Expt。1[-1, 1] 0.490 (5.257) 0.518 (5.290) 0.500 (5.275) 0.598 (4.774) 0.600 (4.586)[0, 1] 0.526 (5.284) 0.500 (6.699) 0.504 (5.571) 0.594 (4.479) 0.596 (0.478)[-0.5，0.5]0.519（5.262）0.509（9.565）0.508（6.351）0.592（0.467）0.605（5.048）出口2[-1, 1] 0.505 (5.726) 0.484 (6.090) 0.482 (5.823) 0.608 (5.218) 0.597 (5.178)[0, 1] 0.487 (5.717) 0.480 (6.061) 0.486 (5.826) 0.597 (5.071) 0.613 (5.122)[-0.5，0.5]0.484（5.716）0.475（6.162）0.475（5.841）0.580（5.196）0.573（5.221）Expt。