基于递归神经网络的极限订货簿序列分类

网络应该被折叠多少次？每个隐藏层中有多少隐藏的神经元？如何执行“变量选择”？其中许多问题都可以通过一种称为“辍学”（Srivastavaet al.，2014）的随机搜索技术来解决，我们在第2.4.52.3节“培训、验证和测试”中讨论了这种技术。为了构建和评估学习机，我们首先将数据分为培训、验证和测试集。训练数据由输入-输出对D={Yt，Xt}Nt=1组成-（T-1).然后我们对数据进行排序，得出Dseq={Yt，Xt}Nt=1。目标是找到机器序列学习器Y=F（X），其中我们有一个输出信号Y的预测器Y的损失函数l（Y，^Y）。在许多情况下，有一个潜在的概率模型p（Y | Y），那么损失函数就是负对数概率L（Y，Y）=- 对数p（Y | Y）。例如，在高斯模型下，L（Y，^Y）=| | Y-^Y | | 2是L2形式，对于二进制分类，L（Y，^Y）=-Y log^Y是负交叉熵。在其最简单的形式中，我们用正则化惩罚φ（W，b）求解一个优化问题minimizew，bf（W，b）+λφ（W，b）f（W，b）=1NNXt=1L（Yt，^Y（Xt））。这里λ是一个全局正则化参数，我们使用验证数据上模型的样本外预测均方误差（MSE）对其进行调整。正则化惩罚φ（W，b）引入了偏差-方差权衡。L由链式规则以闭合形式给出，通过对未展开网络的反向传播，权重矩阵^W用随机梯度下降法拟合。见Rojas（1996）；Graves（2013）进一步描述了随机梯度下降，asit属于递归神经网络。TensorFlowAbadi et al。

（2016），一个用于轻松表达机器学习，尤其是深度学习、算法的接口，并将计算密集型操作映射到各种不同的硬件平台，尤其是GPU卡上。最近，Edward Tran等人（2017）对TensorFlow进行了扩充，将贝叶斯统计和概率规划的概念与深度学习相结合。2.4预测选择和退出是一种模型或变量选择技术。输入空间X需要降维技术，以避免在培训过程中过度拟合。辍学的工作原理是以给定的概率θ随机删除XT中的输入变量。概率θ可以看作是另一个超参数（如λ），可以通过交叉验证进行调整。启发式地，如果Xt中有P=100个变量，那么选择θ=0.1将导致搜索具有10个变量的模型。可以使用带有随机搜索预测器的辍学架构DDI~ Ber（θ），~Xt=D？Xt，t=1，T、 ht=FhWhXt+UHT-1+bh.有效地，这将用XTD替换输入？Xt，在哪里？表示元素乘积和D isa“脱落算子”-独立Bernoulli、Ber（θ）和分布随机变量的向量。总体目标函数与g-先验的岭回归密切相关（Heaton et al.，2017）。请注意，辍学不适用于经常性连接，仅适用于非经常性连接。Graves（2013）通过仅将辍学应用于LSTM中的非经常性连接，提供了RNN成功的证据。63高频交易为了进一步说明为什么分类对高频交易有用，我们将考虑以下指导性场景。做市商愿意以xt+s/2的价格出售，以xt的价格购买- s/2，试图捕捉价差s，其中XT是时间t的中间价。

做市商面临着在卖出指令和买入指令之间出现不利中间价波动的风险。例如，以xt+s/2的价格与整个剩余询价数量匹配的买入市场订单，有效地导致中间价上涨，xt+1=xt+s。做市商已解决xt+s/2，但很可能无法在xt回购- s/2，因为出价不再在内部市场。相反，市场标记商可能会有系统地被迫取消出价，并以高于xt的价格回购- s/2，亏损。图2（左）说明了导致价格反向波动的典型机制。左侧和右侧面板分别显示了时间t、市场订单到达之前和时间t+1之后的限额订单簿快照。市场标记器发出的剩余订单用“+”符号表示-红色表示买入限价订单，蓝色表示卖出限价订单。Abuy市场订单随后到达，并与最佳询价的全部剩余数量相匹配。然后，在事件时间t+1时，限额指令簿被更新-做市商的卖出限额指令已完成（蓝色减号），买入指令现在远离内部市场。该机制类似于本书的一个向下勾号。在上述示例中，假设做市商对未来一无所知，因此不会通过相应调整报价来先发制人。但现在假设做市商有理由怀疑价格上涨，并有能力避免不利价格变动造成的损失。图2（右）显示了做市商为防止失去价差而采取的行动的结果——卖出限制指令被调整为更高的卖出价格。在本图中，买入限价指令不会被替换，做市商可能会捕捉到比价差更大的滴答声。

然而，不太可能完成限购订单，因此可能还需要根据内部市场进行调整，尽管会失去排队位置。这种权衡是执行优化的重点，虽然很重要，但此处不作进一步考虑。逆向价格选择避免逆向价格选择。图2：（左）导致逆向价格选择的典型机制示意图。在时间t拍摄限价指令簿的快照。市场标记人下达的限价指令用“+”符号表示-红色表示买入限价指令，蓝色表示卖出限价指令。随后，买方市场订单到达，并与best ask报价的全部剩余数量相匹配。然后在事件时间t+1时，限额订单簿被更新。做市商的限价卖出指令已经完成（蓝色减号），买入指令现在远离内部市场。（右）说明了避免不利价格选择的先发制人策略。限价卖出订单以高价重新报价。在这种情况下，买入限价指令不会被替换，如果两个指令都完成，做市商可能会捕捉到比价差更大的滴答声。3.1高频数据我们的数据集是2016年8月1日至2016年8月31日期间捕获的存档芝加哥商品交易所（CME）固定格式消息源。此消息源记录了frontmonth E-mini S&P 500（ESU6）中中午12:00到UTC 22:00之间的所有交易。我们提取每个限额订单簿更新的详细信息7，包括纳秒分辨率时间戳、报价和每个限额订单簿级别的深度。E-mini标准普尔500指数的刻度大小为四分之一点，或每份合约为12.50点。图3说明了导致中等价格变动的典型机制背后的直觉。

我们将考虑范围限制在ES期货限额指令簿的前五个级别，即使有十个级别的更新。左边的图表表示卖出市场订单到达之前限额订单簿的状态（也称为“攻击者”）。x轴表示价格水平，x轴表示每个价格水平的图书深度。红色表示投标订单，蓝色表示askorders。最高投标价格（“最佳投标”）为2175.75美元，深度为103份合同。第二高的报价为2175.5美元，合同深度为177份。最低ask（“best ask”或“best o offer”）报价为2176美元，有82份合同，第二低ask报价为2176.25美元，有162份合同。右边的图表显示了在市场指令以2175.75美元的价格出售103份合同后的账簿更新。攻击者的规模足够大，足以与所有最佳出价相匹配。一旦匹配，limitorder将以2175.5美元的较低最低价更新。如果没有以2175.75美元的较低要价签订23份新合同，最佳要价和最佳出价之间的差距将会扩大。净效应是中间价的全面下跌。2174.75 2175 2175.25 2175.5 2175.75 2176 2176.25 2176.5 2176.75 2177价格深度-150-100-50 0 50 100 150120124132177103-82-162-173-164-1462174.5 2174.75 2175 2175.25 2175.5 2175.75 2176 2176.25 2176.5 2176.75价格深度-150-100-50 0 50 100 15078120124132177-23-82-162-173-164时间戳：*06:00:00.015*时间戳：*06:00:00.036*交易*103*@*2175.75*（卖出）*图3：此图说明了导致中间价格变动的典型机制。左侧和右侧的图表分别显示了大型卖家到达之前和之后的限额订单簿。攻击者的规模足够大，足以与所有最佳出价相匹配。一旦匹配，limitorder将以2175.5美元的较低最低价更新。

如果没有以2175.75美元的较低要价签订23份新合同，最佳要价和最佳出价之间的差距将会扩大。净效应是中间价的全面下跌。表1显示了销售攻击者到达之前和之后的限额订单簿。响应8是后续时间间隔内的中间价格变动，单位为滴答声。pbi，tand dbi，tdenote时间t时限额订单簿的i级报价和深度。pai，tand dai，tdenote时间t时相应的i级报价和深度。i级=1对应于最佳的买卖价格。时间t的中间价用pt=pa1，t+pb1，t2表示。（4） 这个中间价格可以以半个刻度的最小增量变化，但几乎总是在毫秒或更短的时间间隔内以一个刻度的增量变化。时间戳pb1、tpb2、t。db1、tdb2、t。pa1、tpa2、t。da1，tda2，t。响应06:00:00.015 2175.75 2175.5。103 177 . . . 2176 2176.25 . . . 82 162 . . . -106:00:00.036 2175.5 2175.25 . . . 177 132 . . . 2175.75 2176 . . . 23 82 . . . 0表1：此表显示了图3所列sellaggressor到达之前和之后ESU6的限额订单簿。响应是后续时间间隔内的中间价格变动，单位为滴答声。pbi、tand dbi、tdenote一级报价和限价订单书的深度t。pai、tand dai、tdenote一级报价和深度t。使用一个模型来预测下一个中间价走势非常适合期货市场，当参与者进入并平仓其期货头寸时，期货市场往往会在特定时间经历持续的活动激增。预测事件发生时间的重要性可以从图4所示的每小时限额订单价格中观察到。

特别是，在美国中部标准时间上午7-8点和下午3-4点之间，持续观察到报价调整和交易活动激增。在这些时候，书籍更新的频率可能是每微秒一次，而在一天的其他时间，书籍更新的频率可能是每十分之一毫秒一次。不同的是，中间价提前1毫秒的预测可能与避免一天中不同高峰时段的逆向选择相关，而在高峰时段则不太相关。每次限额订单簿更新都记录为观察结果。对每个观察结果进行分类（也称为标记）的结果导致了一个类别不平衡问题，因为大约99.9%的观察结果没有反应。为了构建一个“平衡”的训练集，少数类标记的观察值（输入变量序列）被替换过抽样，而多数类的观察值被替换过抽样。90e+001e+052e+053e+054e+056-7am7-8am8-9月9日-10am10-11am11-2012年12月12日-1pm1-2平方米-3立方米-4pmhourBook updates/houruncertaintyMedianFigure 4:ESU6的每小时限额订单价格按时间显示。在CST早上7-8点和下午3-4点之间，持续观察到报价调整和交易活动激增。部分遵循Kercheval和Zhang（2015）的观点，我们在本书的买卖双方组成了五个级别的价格、数量和限额订单的功能集。此外，我们还通过“特征工程”过程，通过前50次观察中到达的市场购买订单数量与账面顶部剩余的ask限额订单数量的比率，对订单流量进行了试探性描述。

我们构建了按订单销售的类似比率。这一比率的基本原理是基于我们的观察，即该比率的增加更有可能耗尽最佳询价水平，中间价将上涨，反之亦然。将限额订单簿和订单流量的空间表示组合在一起，共得到ofP=32个特征。4结果我们的递归神经网络的精确结构和权值矩阵大小由输出给出：Yk=softmax（Fky（hT））=exp（Fky（hT））PKj=1exp（Fjy（hT）），隐藏状态：hT=max（WhXt+Uhht-1+bh，0），t=1，T、 10^Y=-1^Y=0^Y=1精度召回f1精度召回f1精度召回f1尺寸表0.092 0.830 0.165 0.996 0.793 0.881 0.090 0.838 0.161 99504.720std。dev 0.031 0.077 0.050 0.004 0.075 0.050 0.027 0.080 0.045 68034.218表2：此表总结了RNN在20个交易日测试期间的性能。神经网络分类器用于预测类别：{Y=-1，Y=0，Y=1}。显示每个模型的每日精确度、召回率和f1分数的平均值和标准差，以及训练集大小的平均值和标准差。where Wh∈ R20×32，Uh∈ R20×20和Wy∈ R3×20。我们将隐藏状态初始化为零。我们使用在Python的TensorFlow Abadi et al.（2016）框架中实现的SGD方法来找到最佳网络权重、偏差项和正则化参数。我们采用了一个初始值为10的指数衰减学习率计划-2、通过网格搜索，发现最佳的\'2调节值为λ2=0.01。Glorot和Bengio方法用于初始化网络Glorot和Bengio（2010）的权重。时间序列交叉验证在连续20个交易日内执行。训练集是根据前3个交易日编制的，平均包含5192822个观察结果。

这些训练集是平衡的，从而减少了训练集的大小，通常不到100000次观测。验证和测试集将在3天培训期后的下一个交易日编制。这些是不平衡的，验证集包含2×105个观察值，而保留测试集平均包含约1.5×106个观察值。每个实验运行1000个时代，最小批量为500，从32个输入变量的训练集中提取。我们遵循标准惯例，根据交叉熵的收敛性选择历元数，并选择最小批量来提高计算性能。每个序列的长度为10。在现代图形处理单元（GPU）上进行网格搜索以找到最佳网络架构和调节参数需要几个小时。搜索会产生几个候选架构和参数值。表2总结了RNN在20个交易日内的表现。为了可靠地测量不平衡测试集的性能，我们计算F 1分数-精确度和召回率的几何平均值：F 1=2精确度·再调用精确度+召回率。F 1分数是针对二进制分类问题设计的。当数据有两个以上的等级时，通过将Y=k设置为正值，将所有剩余等级设置为负值，为每个等级k提供F 1分数。与预测下一个区间的固定中间价相对应的零标签得分最高。预测上升刻度F 1（1）和下降刻度F 1的F 1分数(-1） 也显示了。我们观察到，当Y=-当Y=1时，阳性标签具有可比性。正如预期的那样，RNN可以用可比的召回率预测这些类别，但其精确度远远低于Y=0的阳性标签模型。

平衡训练集大小的平均值和标准偏差由大小列显示。表3通过在20个培训日内执行时间序列交叉验证，研究了RNN模型中时间步数的影响。观察到性能随着时间步数从1增加到10而增加。这为神经网络中的复发提供了证据。虽然10步和20步之间的差异很小，但在50步和100步时，性能会急剧下降。这表明短期记忆对序列分类是合适的。虽然这里没有显示，但我们也注意到隐藏单元的数量应该在10到20之间。图5显示了表4中用于模型比较的一些预测变量。11n步^Y=-1^Y=0^Y=11 0.089 0.528 0.0912 0.097 0.837 0.1035 0.131 0.848 0.12010 0.165 0.881 0.16120 0.163 0.878 0.16250 0.151 0.836 0.144100 0.118 0.807 0.115表3：此表显示了RNN模型中的时间步数对平均F1分数的影响，通过20个测试日内的时间序列交叉验证来衡量。黑线表示2016年8月4日从16:37:52.560到16:37:52.594的34毫秒期间观察到的中间价格变化。我们观察到，中间价通常在两个连续的半滴答声中移动。首先使用一个价格水平，然后在很短的时间内，发布一个新的价格水平。流动性失衡（蓝色），此处按比例表示为[-1，1]区间虽然在预测下一次价格变化的方向上很有用，但在预测何时会发生价格变化时通常不是一个好的选择。从表4的结果和此处的视觉化可以清楚地看出，它不足以预测下一次活动的价格。