金融时间序列的时态Logistic神经特征包

通常使用阿高斯核计算归一化隶属度向量，表示为（4）：K（x，v）=√2πσexp-||x个- v | | 2σ（5） 其中x是特征向量，v是码字，σ是核的宽度。然而，如[30，31]所示，选择合适的核宽度并不容易，模型的性能在很大程度上取决于该参数的选择（即使σ在训练过程中得到优化）。为了克服这一局限性，在本文中，我们建议用一个性能更好且易于使用的sigmoid（也称为双曲线）核来代替Gaussiankernel[8]：K（x，v）=tanh（αxTv+β），（6），其中α和β是核的参数（通常设置为α=1和β=0），tanh（x）=ex-e-xex+e-x、 内核也被缩放到0。1确保它与（4）所采用的量化过程兼容：K（x，v）=tanh（αxTv+β）+1= sigm（2αxTv+2β），（7），其中sigm（x）=1+e-xis是逻辑乙状结肠功能。

使用此内核还可以避免需要基于计算密集型算法（例如k-means）的复杂初始化方案，允许简单地随机初始化码本以及网络的其他参数。0 100 200 300 400 500迭代0.00.20.40.60.81.01.21.4gradient frobenious normcolutional layer的梯度无缩放自适应缩放0 100 200 300 400 500迭代0.700.750.850.900.951.001.051.10lossTraining loss无缩放自适应缩放图2：使用自适应缩放的效果，即允许网络在训练过程中调整SIA和xijvectors的缩放，在前500次训练迭代中，在拟定的TLoNBoF层之前的层的梯度（左图）和损失函数（右图）。提出的自适应缩放方法显著提高了网络的收敛速度。请注意，直方图向量仅捕捉第i个时间序列的整体行为。在这项工作中，还提出了一种细粒度的时间分割方案来捕获时间序列的时间动力学。为此，如图1所示，将变换后的特征向量分割为NT时间区域，以捕获时间序列的短期、中期和长期行为（使用NT=3个时间区域）。因此，最新的bNiNTc特征向量用于计算短期直方图s（short）i，前面的bNiNTc用于计算中期直方图s（mid）i，而其余的特征向量用于计算长期直方图s（long）i。请注意，也可以应用不同的时间分段方案，即。，短期特征向量可以馈送到中期和长期Lo-NBoF模型中，以建模较长时间段内的相应行为。

最后，得到的串联向量si=[s（短）i，s（中）i，s（长）i]∈ 如图1.3.2所示，R3NK被馈送到以下完全连接的层，使用时序逻辑神经袋特性学习深层架构。尽管前面描述的架构可以处理可变长度的时间序列并捕获其细粒度的时序动态，但它需要很大的帮助才能调整适当的超参数，例如学习速率，初始化等，以便有效地培训生成的架构。我们认为，主要原因是（3）和（4）中涉及的规范化。这些规格化可以缩小相应向量的形式，禁止信息在向前和向后传播中的平滑流动。这如图2所示，其中绘制了前500次训练迭代中网络第一层参数梯度的Frobenius范数。请注意梯度的极小值（蓝线），这有效地阻止了梯度反向传播到TLo NBoF模型后面的层。仅仅开始缓慢更新这些层就需要200多次迭代。（3）和（4）中涉及的严格缩放也减少了激活/梯度的变化。然而，正如【11、12】中详细讨论的那样，在网络的各个层次上保持这些数量的相同差异对于确保网络得到正确培训至关重要。因此，为了克服这些问题，我们建议适当地将SIA和UIJ向量缩放为：sik=csNiNiXj=1uijk，（8）和UIjk=cuK（x（t）ij，vk）PNKl=1K（x（t）ij，vl），（9），其中CSI初始化为NK，而CSI初始化为每个对象的平均特征向量数。

然后，在训练过程中学习这两个比例因子的适当值，以便轻松调整相应向量的范数，以更好地促进训练过程。请注意，一些激活功能也使用了类似的方法，例如PReLU【12】，以允许网络更好地适应手头的任务。请注意，（8）和（9）中涉及的缩放仍然会导致这些向量保持一个恒定的lnorm，因为对于呈现给网络的所有时间序列（在训练后）来说，C和C都是固定的。这种方法，即允许网络自动调整相应向量的范数以允许信息平滑流动，在本文中被称为“自适应缩放”。如图2所示，其中在前500次训练迭代期间说明了训练过程，自适应缩放可以显著提高网络的收敛性，并允许在所采用的TLo NBoF层之前在网络层上有更多表现良好的梯度。如图1所示，现在可以使用梯度下降以端到端的方式直接训练生成的架构，即。，（Wconv，V，Wfc，c）=η(LWL五、LWfc，Lc） ，（10）其中，L是使用的损失函数，W表示神经特征提取器的参数FW（·），V=[V，V，…，vNK]表示所提出模型使用的码本，WFC表示完全连接层的参数，c=（cu，cs）是自适应缩放中涉及的缩放参数。本文的所有实验都使用了交叉熵损失，而所有时间区域都使用了相同的码本。Adam算法用于执行优化[22]。

将训练时间序列以128个样本分批输入网络，其中，以与表1成反比的概率对每个时间序列进行采样：金融时间序列预测所采用的模型架构层输出大小输入Ni×144卷积（256个滤波器，内核大小5）Ni×256TLo NBoF（NK=256，NT=3）3×256Fully Connected（512）512 fully Connected（3）3其类别频率。学习率设置为η=10-4，而网络是为20个时代而训练的。最后，请注意，在训练过程中也可以优化核α和β的参数：(α, β) = η(Lα,Lβ） （11）在本文的其余部分，我们将这种方法，即学习核参数α和β，称为“核参数学习”。表2：消融研究（预测范围设置为接下来的10个时间步）深部特征温度。模型内核参数。自适应缩放宏-F1科恩κ-*42.66±0.28 0.1847±0.0026-*46.77±1.53 0.2219±0.0230-*50.14±1.36 0.2686±0.0179-*51.65±0.99 0.2783±0.0109-50.65±0.71 0.2603±0.0119*53.48±0.45 0.3013±0.007553.54±0.24 0.3031±0.0066（*指使用缩放参数cs=NK和cu=E[Ni]，但在培训过程中不进行调整）4实验评估使用大规模限额订单数据集对所提出的方法进行评估【27，26】。员工数据集包括从赫尔辛基交易所（纳斯达克北欧交易所运营）交易的5家Finish公司收集的高频限额订单数据。

每个时间步骤收集了10个最高和较低的ask订单价格，虽然数据收集时间为10个工作日，但稳定3：使用FI-2010数据集方法Macro Precision Macro Recall Macro F1得分Cohen的κMLP[32]40.20±0.50 56.25±2.20 36.91±1.81 0.1281±0.0137of[32]39.26±0.94 51.44±2.53 36.28±2.85 0.1182±0.0246N-BoF[32]42.28±0.87 61.41±3.68 41.63±1.90 0.1724±0.0212T-BoF[32]]43.85±1.11 66.66±3.40 43.96±1.59 0.1992±0.0201WMTR【37】46.25±N/A 51.29±N/A 47.87±N/A N/ACNN（256个过滤器）44.69±1.13 58.70±1.85 47.19±1.69 0.2192±0.0235LSTM（256个神经元）47.63±2.25 52.60±2.74 49.51±2.43 0.2395±0.0388GRU（256个神经元）47.70±2.09 56.76±2.99 50.55±2.33 0.2560±0.0364TLo-NBoF（拟定）50.20±2.22 58.19±2.13 52.98±2.37 0.2900±0.0361（2010年6月1日至2010年6月14日）。根据【21】中提出的预处理和特征提取管道，总共收集和处理了450万个限额订单。因此，总共提取了453975个144维特征向量。[36]中提出的锚定评估设置用于评估：从第一天提取的时间序列用于训练模型，而第二天的数据用于评估。然后，前两天用于培训，第二天用于评估等。该过程重复了9次。对于所有评估指标（宏观精度、宏观召回率、宏观F1和科恩κ[6]），报告了平均值和标准偏差。预测了10个时间步后平均中间价（上涨、平稳或下跌）的方向。如果中间价的变化小于0.01%，则认为股票是固定的。对于每个时间步，将编译一个由最后15个特征向量组成的时间序列。

时间序列被分割成NT=3个时间区域，每个区域由5个特征向量组成。所采用网络的详细架构如表1所示。首先，使用具有256个过滤器（内核大小设置为5）的卷积特征提取器。然后，将变换后的特征向量馈送到具有256个码字的TLo NBoF层。最后，从TLo-NBoF层提取的时间直方图被输入两个完全连接的层，负责预测给定时间序列的未来价格行为。ReLU函数用于进化特征提取程序和第一个完全连接层。注意，TLo NBoF层可以通过使用内核大小为1的1D卷积，将卷积的权重设置为与码本相等，然后使用适当的激活和缩放层来直接实现。首先，在表2中提供的烧蚀研究中评估了拟议架构不同部分的影响。最后三天的训练数据被用来进行清理研究。第一行是指使用具有适当缩放比例（Cs和cu）的普通Lo-NBoF层，以确保成功训练模型。然后，添加卷积特征提取器（“深层特征”）将科恩κ提高20%，而使用时间建模，即三个单独的直方图描述短期、中期和长期行为，将科恩κ提高40%以上。将深度特征抽取器与时态建模相结合，进一步提高了所提出模型的性能。学习内核参数（内核参数学习）进一步提高了度量。

最后请注意，使用和学习缩放参数Cs和Cui对于成功训练网络至关重要，因为没有它们，模型的性能会降低，例如，Cohen的κ会降低14%以上。该方法还与文献[37,32]中提出的各种其他基线以及其他强大的卷积和递归深度学习模型进行了比较。对于CNNbaseline，使用了与表1所示相同的体系结构，但TLo NBoF层被全局平均池层所取代。对于GRU【19】和LSTM【14】模型，自然提取层和TLo NBoF层被适当的回归模型所取代。这些模型的最终状态用于进行分类。与普通的时间BoF模型[32]和更强大的递归和卷积架构相比，所提出的方法显著提高了性能指标（根据κ指标，性能比下一个性能最好的模型提高了13%以上）。5结论在本文中，提出了一种新的神经袋特征模型的logistic公式，并对其进行了适当的调整，以便与深度特征提取器有效地结合使用。通过这种方式，所提出的方法可以有效地将BoF模型的优点与DL模型的巨大学习能力结合起来，从而生成用于时间序列分析的强大模型。BoF模型的EmployeedFully Differential logistic公式，以及提议的自适应缩放机制，允许以端到端的方式直接培训最终的架构。此外，该方法能够对时间序列在不同时间层次上的行为进行建模。

最后，使用由400多万份限额订单组成的大型金融时间序列数据集对所提出的方法进行了广泛评估，结果表明，该方法的性能优于其他竞争性基线和最先进的方法。确认：导致这些结果的研究已收到H2020项目BigDataFinance MSCA-ITN-ETN 675044的资助(http://bigdata融资。金融研究和风险管理方面的大数据培训。参考文献[1]Adeline Bailly、Simon Malinowski、Romain Tavenard、Thomas Guyet和Laetitia Chapel。时间序列分类的时间筛选词包。2015年，在ECML/PKDD关于时态数据高级分析和学习的研讨会上。[2] Mustafa Gokce Baydogan、George Runger和Eugene Tuv。一组用于对时间序列进行分类的功能框架。IEEE模式分析和机器智能交易，35（11）：2796–28022013。[3] Subhabrata Bhattacharya、Rahul Sukthankar、Rong Jin和Mubarak Shah。有效的大规模视觉识别任务的概率表示。《IEEEConference on Computer Vision and Pattern Recognition》（IEEEConference on Computer Vision and Pattern Recognition），第2593–26002011页。[4] \'Emilie Poisson Caillault，Alain Lefebvre，Andr\'e Bigand，et al.单变量时间序列数据的基于动态时间扭曲的计算。《模式识别信函》，2017年。[5] 曹丽娟和弗朗西斯·恩霍克·泰。金融时间序列预测中具有自适应参数的支持向量机。IEEE神经网络学报，14（6）：1506–15182003。[6] 雅各布·科恩。标称标度的一致系数。教育和心理测量，20（1）：37–461960。[7] 崔志诚、陈文林和陈怡欣。多尺度卷积神经网络fortime系列分类。arXiv预印本arXiv:1603.069952016。[8] Inderjit S Dhillon、Guan Yuqiang和Brian Kulis。

核k-均值：谱聚类和归一化割集。ACM SIGKDD国际知识发现和数据挖掘会议记录，第551-556页，2004年。[9] 马修·迪克森。使用递归神经网络对极限订单簿进行序列分类。《计算科学杂志》，24:277–2862018。[10] 周玉福、陆国军、丁开明、张登生。通过特征袋方法进行音乐分类。《模式识别字母》，32（14）：1768–17772011。[11] 泽维尔·格罗洛和约舒亚·本吉奥。了解训练深度前馈神经网络的难度。《国际艺术情报与统计会议记录》，第249-256页，2010年。[12] 何开明、张向玉、任少清、孙健。深入研究整流器：在imagenet分类方面超越人类水平的性能。《IEEE计算机视觉国际会议记录》，第1026–10342015页。[13] 亨里克·斯坦赫兹·希佩特、卡洛斯·爱德华多·佩德雷拉和雷纳尔多·卡斯特罗·苏扎。短期负荷预测的神经网络：回顾和评估。IEEE电力系统学报，16（1）：44–552001。[14] 塞普·霍克雷特（Sepp Hochreiter）和于尔根·施密杜伯（J¨urgen Schmidhuber）。长期短期记忆。神经计算，9（8）：1735-17801997。[15] Alexandros Iosi fidis、Anastasios Tefas和Ioannis Pitas。基于同义词和极限学习机的动态动作识别。《模式识别字母》，34（15）：1890–18982013。[16] Alexandros Iosi fidis、Anastasios Tefas和Ioannis Pitas。基于模糊距离和判别分析的多维序列分类。IEEE知识与数据工程学报，25（11）：2564–25752013。[17] Alexandros Iosi fidis、Anastastios Tefas和Ioannis Pitas。用于人类行为识别的基于单词表示的判别包。《模式识别字母》，49:185–192，2014年。[18] Anil K Jain。