金融市场价格形成的普遍特征：视角

当前订单）和所有先前数据ht的非线性表示-1，它总结了订单流量历史的相关特征，以预测下一次价格变动。原则上，这允许任意历史依赖：状态变量的历史（Xs，s≤ t） 未来任何时候都可能影响系统的演变，尤其是价格动态≥ t以非线性方式。替代建模方法通常不允许以这种方式混合非线性和历史相关性。使用监督学习方法，通过使用astochastic梯度下降算法最小化正则化负对数似然目标函数来学习（高维）参数θ的值【19】。假设参数θ为常数跨时间，因此它始终以递归方式影响输出。时间t的随机梯度下降步骤需要通过链式规则计算输出对θ的灵敏度，返回到之前的时间t- 1，t- 2.t型- T（通常称为“时间反向传播”）。理论上，反向传播应该发生在时间0（即T=T）之前。然而，这在计算上是不切实际的，我们在某些滞后T处截断了反向传播。在第3.4节中，我们讨论了过去订单历史和市场“长期记忆”的影响。由此产生的LSTM网络涉及数十万个参数。与用于图像或语音识别的网络相比，这一数字相对较小，但与传统金融中使用的计量经济模型相比，这一数字是巨大的。以前的文献几乎完全致力于线性模型或参数非常少的随机模型。

人们普遍认为，财务数据太过嘈杂，无法在不过度拟合的情况下构建如此大的模型；我们的结果表明，这不一定是真的。考虑到数据的大小和需要学习的大量网络参数，需要大量的计算资源来预处理数据和训练网络。深度神经网络的训练可以在GPU上高度并行化。每个CPU都有数千个内核，GPU上的训练速度通常比标准CPU快10倍。对纳斯达克数据进行过滤，以创建培训和测试集。此数据处理在大约500个计算节点上并行化。资产特定模型的培训也被并行化，每个库存分配给一个GPU节点。大约500个GPUnodes用于训练库存特定模型。然后，将这些根据单个股票相关数据训练的特定资产模型与根据数据集中所有股票的组合数据训练的“通用模型”进行比较。出于这一目的，各种股票的数据汇集在一起，没有任何具体的规范化。由于数据量巨大，我们使用异步随机梯度下降法将通用模型的训练分布在25个GPU节点上（图3）。每个节点加载一组数据（从数据集中的所有股票中随机选择），在GPU上计算模型的梯度，然后更新模型。更新是异步进行的，这意味着节点j更新模型，而无需等待节点i 6=j完成计算。3结果我们将股票分为两组，每组约500只股票；培训针对第一组股票的交易和报价进行。

我们区分：o特定股票模型，使用特定股票的所有交易和报价数据进行培训“通用模型”，使用培训集中所有交易的数据和所有股票的报价进行培训。所有模型都经过训练，可以预测下一次价格变动的方向。具体而言，如果τ，τ。是中间价Pt变化的时间，我们估计P[Pτk+1-Pτk>0 | Xτ0:k]图3：用于训练神经网络的异步随机梯度下降。数据集太大，无法保存在节点的内存中，存储在在线存储系统中。从所有库存中随机选择批量数据并发送到GPU节点。在GPU上计算梯度，然后异步更新模型。和P[Pτk+1-Pτk<0 | Xτ0:k]，其中X是时间t时的限价订单簿状态。模型再次预测下一次价格变动是上涨还是下跌。事件的时间间隔不规则。时间间隔τk+1- τk价格波动之间的差异可能很大，从几分之一秒到几秒不等。我们通过观察值的比例来衡量模型对给定股票的预测精度，它可以正确预测下一个价格走势的方向。这可以使用经验估计器AI=价格变动次数进行估计，其中模型正确预测了股票的价格方向I总价格变动次数×100%。所有结果均未及时得到验证。也就是说，准确度是在训练集旁边的时间段上评估的。通过测试样本中各股票的准确度得分的横截面分布来报告模型的准确度，并通过比较其准确度得分来比较模型。此外，我们还评估了训练集外股票通用模型的准确性。

重要的是，这意味着我们使用一个没有任何股票i数据的模型来评估股票i的预测准确性。这测试了通用模型是否可以推广到全新的股票。通常，样本外数据集为3个月的时间段。在高频数据的情况下，3个月相当于数百万次观测，因此为测试模型性能和估计模型精度提供了很大的范围。在没有固定趋势的数据集中（如在如此高的频率下），随机预测（“币流”）将产生50%的预期分数。考虑到数据集的巨大规模，即使与这一50%的基准有很小的偏差（即1%），也具有统计意义。我们的数据驱动方法的主要发现可以总结如下：o非线性：使用深度学习训练的数据驱动模型在预测精度方面大大优于线性模型（第3.1节）。o通用性：该模型揭示了所有股票的通用特征（第3.2节）。这些特征概括得很好：还观察到它们适用于不属于培训样本的股票平稳性：模型在价格预测准确性方面的性能在时间上是显著稳定的，即使是在样本之外的一年。这表明订单流量和价格变化之间存在平稳关系的证据（第3.3节），这种关系在长时间内是稳定的路径依赖性和长期依赖性：将价格和订单流动历史记录包括在内可以显著提高预测精度。这证明价格动态不仅取决于限额订单的当前或近期状态，还取决于其历史，可能是长期的（第3.4节）。我们的研究结果表明，不同金融工具的数据有着比之前想象的更为普遍的结构。

如果使用适当灵活的模型，考虑到非线性和历史依赖性，则可以将来自各种资产的数据汇集在一起，以生成足够大的数据集，用于深入学习。3.1深度学习与线性模型线性状态空间模型，如向量自回归（VAR）模型，已广泛用于高频数据建模和实证市场微观结构研究[20]，并为评估预测性能提供了自然基准。线性模型很容易以简单的方式估计和捕获状态变量中的趋势、线性相关性和自相关性。图4中的结果表明，深度学习模型的性能大大优于线性模型。考虑到大样本量，在高频建模的背景下，准确度增加1%是非常重要的。线性（VAR）模型可表述如下：在每次观察中，我们更新线性特征的向量ht，然后在给定状态变量ht=Aht的情况下，使用probit模型计算价格上涨的条件概率-1+BXt，Yt=P(Pt>0 | Xt，ht）=G（CXt+Dht）。（3.-1）式中，G取决于线性模型中创新的分布假设。例如，如果我们对线性模型中的创新使用逻辑分布，则下一次价格变动的概率分布由softmax（逻辑）函数给出，该函数应用于当前订单的线性函数和线性特征：P(Pt>0 | Xt，ht）=软最大值（CXt+Dht）。我们将神经网络与大约500只股票的线性模型进行了比较。

为了比较模型，我们报告了同一测试数据集中准确度得分的差异。假设oLibe仅根据股票i的数据估计的股票特定线性模型gθi的准确性，oAi是仅根据股票i的数据确定的股票特定深度学习模型fθ的准确性，以及oAi是根据所有股票的所有报价和交易的APOLED数据集确定的通用深度学习模型fθ的资产i的准确性。图4中的左图显示了精确度^Ai增加的横截面分布- li从特定股票线性模型转移到特定股票深度学习模型时。我们观察到，当使用神经网络结合非线性效应时，精确度大幅提高，大多数股票的精确度在5%到10%之间。图4中的右图显示了Ai（红色）和Li（蓝色）的直方图。我们清楚地观察到，从股票特定的线性模型转变为针对所有股票的通用非线性模型，大大提高了约10%的预测精度。图4：深度神经网络与线性模型的比较。训练模型预测方向{-1，+1}的下一次中间价移动。比较2015年6月至8月报告的约500只股票和样本外结果。左图：与股票特定线性模型相比，股票特定深度神经网络的准确性有所提高。右侧图：通用深度神经网络（red）与股票特定临床模型（蓝色）相比的准确性。深度神经网络的表现优于线性模型，因为它能够估计价格动态和订单之间的非线性关系，订单代表了股票的可见供求关系。

这与大量记录金融时间序列非线性效应的经验和经济计量文献相一致，但这种改善的幅度很大，可归因于神经网络在表现非线性方面的灵活性。更具体地说，我们的数据驱动模型的敏感性分析揭示了状态变量和价格变动之间稳定的非线性关系，即用于预测的非线性特征。图5给出了这样一个特性的示例：图5之间的关系：左：出价深度、要价深度和价格下降概率之间的关系。x轴和y轴显示与观察到的bid和ask深度相对应的分位数级别。右图：等高线图，显示订单中更深层次（5到10）对价格下降概率的影响。订单中买卖双方的深度以及价格下降的可能性。这种关系已经在极限订单簿动力学的排队模型中进行了研究【13，14】。特别是，如【14】所示，当订单流量对称时，投标深度、询价深度和下次价格变动时价格下降的概率之间存在“普遍”关系，而不依赖于模型参数。然而，这些模型中的推导取决于许多统计假设，这些假设可能成立，也可能不成立，这些关系的普遍性仍有待经验验证。我们的分析表明，确实有证据表明，在不同的资产和时间段内，存在这种普遍关系。图5（左）显示了在最佳买入/卖出价格下，价格下降的概率与深度（股票数量）的函数关系。询价规模越大，下一次价格下跌的可能性就越大。

概率沿中心对角线近似恒定，其中买卖不平衡为零。然而，正如在排队模型[13、14、16]中观察到的那样，即使在简化的假设下，这种概率与买卖不平衡的各种度量之间的关系也是非线性的。此外，此类排队模型通常侧重于订单簿顶部的深度影响，更难以从订单簿的更深层次提取信息。图5中的右侧等高线图显示了订单簿中限额订单的深度（此处：第5至10级合计的总规模）对4月减少概率的影响。我们看到，影响小于书中顶部的深度，正如预测概率范围更窄所示，但仍然显著。3.2资产的普遍性我们结果的一个显著方面是，深度学习模型所揭示的特征在股票中的稳定性，以及它对未经培训的股票进行外推（“概括”）的能力。这可以通过比较仅基于给定股票数据训练的股票特定模型的预测精度与基于500只股票的集合数据集训练的通用模型来说明，这是一个更大但极其异构的数据集。如图6所示，通用模型始终优于股票专用模型。这表明所有股票都有与预测相关的共同特征。从A股数据中提取的特征可能与B股价格变动的预测相关。鉴于数据的异质性，人们可能会认为，不同股票的时间序列应该首先进行归一化（通过平均日交易量、平均价格或波动率等），然后再进行合并。

令人惊讶的是，情况似乎并非如此：我们观察到，标准数据转换，如基于平均交易量、波动率或平均价差的标准化，或将培训数据划分为部门或类别，如大型/小型股票，并不能改善培训结果。例如，在预测小股票价格变动方面，在小股票上训练的深度学习模型的表现并不优于通用模型。模型似乎基于数据的统计特征而非特殊标准，实现了自己的数据驱动的输入规范化。图6：与股票特定模型相比，通用模型的样本外预测精度。两者都是深度神经网络，有3个LSTM层和一个ReLUlayer层。所有层都有50个单元。模型经过训练可以预测下一步行动的方向。2015年6月至8月，489只股票的比较。图7很好地说明了通用模型优于其他模型的原因。通用模型在数据较少的股票上的表现最为出色。由于数据集较小，股票特定模型更容易受到过度拟合的影响，而通用模型能够通过在集合数据集的丰富场景空间内插值进行概括，因此较少受到过度拟合的影响。因此，这些共同特征的存在似乎证明了将不同股票的数据汇集在一起，而不考虑它们的异质性，从而产生更丰富、更大的培训场景集。使用1年的汇总数据集大致相当于使用500年（！）事实上，股票行为的多样性和异质性增强了用于训练单一股票模型的数据量和情景空间的丰富性。由于数据量巨大，可以在不过度拟合的情况下估计非常大的通用模型。

图8显示了具有150个单位/层（相当于几十万个参数）的通用模型与具有50个单位/层的通用模型相比的精度提高。图7：与股票特定模型相比，通用模型的样本外预测准确率（单位%）增加，这是股票特定模型训练集大小的函数（按总样本大小归一化，N=2410万）。模型经过训练可以预测下一次价格变动的方向。2015年6月至8月，500只股票的比较。图8：两种通用模型的比较：150单位/层模型与50单位/层模型。训练模型预测方向{-1，+1}的下一次中间价移动。下一次价格变动方向的样本外预测精度，约500只股票（2015年6月至8月）。值得注意的是，通用模型甚至能够推广到不属于训练样本的股票：如果该模型仅根据股票{1，…，N}的数据进行训练，则其预测精度与股票N+1相似。这意味着通用模型是捕获所有股票常见的订单流量和价格变量之间关系的特征。表1说明了仅针对股票1训练的通用模型的预测精度-464（2014年1月至2015年5月），并在股票上测试465-489（2015年6月至8月）。该通用模型优于股票专用模型465- 489，即使通用模型从未在训练集中看到这些股票的数据。universalmodel仅针对股票1进行培训- 464对股票的表现大致相同465- 489作为在整个股票数据集上训练的通用模型1-结果见表1。图10显示了500只全新股票的通用模型的准确性，这些股票不属于培训样本的一部分。