深度学习能预测风险散户投资者吗？中的案例研究

在本文中，我们通过交叉熵损失函数测量重建误差，因为我们的大多数特征是概率x∈ [0，1]p.此外，我们加入了L2惩罚（也称为重量衰减）。这相当于在权重上使用assuminga-Gaussian先验，是一种鼓励权重之间稀疏性和改进泛化的常用方法。正则化参数λ捕获重建误差和模型复杂性之间的权衡。参数需要在模型之外进行调整，并提供一种防止过度拟合的方法。λ值越高，模型复杂度越低，其他条件相同时，可降低过度拟合的风险。最终成本函数为：L（x，z）=-NNXi=1pXk=1[xiklog zik+（1- xik）日志（1- zik）]+λkW k（3）多个解算器（例如，随机梯度下降）可用于执行优化。arg minw、ew、b、ebL（x、z |Θ）（4）步骤5：堆叠。一旦一个dA经过训练，就可以在上面堆叠另一个dA。层以前馈方式组织。第二个dA将前一个dA的编码输出（代码y）作为其新的输入x。dA的每一层都进行局部训练，无论其他层如何，都会找到自己的最佳权重。通过迭代，可以将多个dAs相互堆叠，以构造stackeddenoising自动编码器（SdA）。然后，可以将每个dA的编码权重视为下一步网络的初始化。图2显示了dA的工作流程。图2：去噪自动编码器的体系结构。4.2.2. 监督微调SdA可以以前馈、分层的方式进行培训。为了利用网络进行预测，网络培训继续进行有监督的微调，教DNN哪些类型的交易行为（以分布式表示的形式）识别A-book客户。为此，我们在SdA上添加了softmax回归。

通过这种方式，我们使用原始输入的分布式表示作为特征（SdA输出体现），并使用二进制指示变量作为目标，指示是否应对交易进行套期保值，来解决监督学习问题。形式上，在参数权重W和偏差b的情况下，交易x属于i类的概率为：P（Y=i | x，W，b）=softmaxi（W x+b）=eWix+biPjeWjx+bj（5）。我们采用负对数似然作为监督微调的成本函数。假设y（i）是输入x（i）的trueclass，则成本函数表示：L（W，b，x）=-NXi=1log（P（Y=Y（i）| x（i），W，b））（6）4.2.3。使用辍学正则化防止过度拟合DNN容易受到过度拟合的影响。为了禁止强调训练数据特殊模式的模型，我们的DNN在每个隐藏层后面包括一个退出层。图3描述了DROPOUT的概念。在训练过程中，隐藏层神经元及其相应的连接权重从DNN中移除。这是针对迭代中的每一批训练样本完成的。在反向传播过程中，该批样本产生的梯度也绕过了丢失的神经元（有关DNN训练的详细解释，请参见在线附录）。在给定的退出率下，隐藏神经元的退出概率服从伯努利分布。使用辍学训练的DNN模仿集合模型的行为。计算预测时，DNN考虑所有隐层神经元，但将每个隐层神经元的连接权重乘以伯努利分布的期望值。这样，尽管训练了一个包含n个隐藏神经元的DNN，但DNN的预测隐含地将2n个候选网络的预测与隐藏神经元的不同组合相结合。

更正式地说，辍学模拟了几何模型平均化过程；我们考虑了隐藏神经元的每一种可能组合，这是装袋的极端情况。已知模型组合可提高预测精度[7，10]。辍学还可以作为正则化器。它将随机权重从训练中移除，从而阻止隐藏的神经元相互适应。此外，模型平均减少了方差，而方差通过偏差方差分解减少了预测误差。控制DNN的复杂性，辍学有助于防止过度匹配【54】。图3：训练和预测中的辍学原则。回想一下，我们通过使用L2来增加辍学率-SdA培训期间的处罚，以提高DNN对过度匹配的耐受性。出于同样的原因，我们利用提前停车。4.2.4. 网络培训和配置我们的DNN包括使用SdA进行无监督的预培训。我们以更明智的方式调整权重，然后以有监督的方式将DNN作为一个整体进行微调，每个隐藏层后面都有一个dropoutlayer。此外，我们还使用了其他几个DL概念来防止过度匹配并简化网络培训过程，包括Xavier的初始化、批量规范化层和使用ReLU作为激活函数。之前关于DL的工作已经详细阐述了这些概念并确定了它们的正确性【27】，我们在在线附录中对其进行了详细说明。为了便于复制，联机附录中的算法1使用伪代码提供了所使用DNN的完整描述。DNN的体系结构以及我们方法的其他部分也在图4（下图）中进行了概述。在预训练阶段要确定的参数是每个dA（编码器和解码器）中的权重矩阵和偏差。

监督微调阶段的参数是SdA每个编码器和softmax回归中的权重矩阵和偏差。我们使用具有动量和衰减学习率的随机梯度下降法进行DNN训练。在线附录提供了对这些概念的解释，并激发了我们的选择。特别是，在线附录中的算法1提供了使用伪代码进行网络训练的全面描述。在线附录第2节还详细阐述了我们确定DNN超参数的方法，如SdA中隐藏层的数量，以及我们如何使用随机搜索来调整这些参数【55】。我们采用的技术可在DL软件包中获得，该软件包有助于确定DNN的拓扑结构，提供数值优化例程以训练DNN，并提供功能以应用经过训练的模型进行预测。我们使用Python库Theano，这是一个基于GPU的可伸缩计算库。用于实验的GPU是Nvidia Tesla K20m，每个GPU有2496个内核和5GB GDDR5高带宽内存。我们观察到，与使用传统CPU进行DNN培训的DNN相比，该基础设施可将速度提高10-15倍（相当于将运行时间从一周多减少到1-2天）。在评估这些数据时，重要的是要注意i）数据集的大小会导致大量的运行时间，ii）训练复杂的ML模型可能同样昂贵。例如，根据具体配置，根据价差交易数据培训随机森林（RF）分类员可能需要3天以上的时间。5、实验设计本节描述了价差交易数据集，阐述了A-book客户的定义，并介绍了模型评估标准和基准分类。

图4总结了经验设计以及我们方法的核心部分和建议的DNN。5.1. 数据集和目标标签定义TX提供了2003年11月至2014年7月期间11年的真实交易数据。总的来说，数据包括25000名活跃交易员的交易（6064家不同金融机构的3000多万笔交易）。为了准备数据进行分析，我们使用EM插补和切比雪夫异常值处理方法替换缺失值【11】。个人交易行为数据市场价格数据分类高/低风险个人缺失数据（EM插补）和离群值（切比雪夫方法）、SMOTE（类别不平衡）和IFBSA（敏感性分析）经典ML方法地理信息学随机森林适应性BoostingSVMNa"ive BayesC5.0树型其他DL模型（FDNN、CNN、LSTM）验证指标：P&L、AUC、F得分；BootstrapDNN框架图4：使用sDA的DNN拓扑，有4个隐藏层，每个隐藏层有128、1024、1024、128个隐藏单元。outputlayer使用softmax函数根据最后一个退出层的输出预测类概率。DNN预测与ML基准进行比较，以评估预测性能。监督学习需要一个标记的数据集D={yj，xj}j=1。。。n、 其中，xjis是表征交易j的特征向量，n=3000万是数据中的交易总数，yi表示目标变量。然而，描述单个贸易的数据是有限的。将交易与其对应的交易者关联，有助于通过使用以前交易的信息来丰富功能集J- k决定交易j。STX的决策任务是是否对冲交易j。

因此，我们考虑一个二元目标：yij=+1.→ 对冲，iif回报I≥ 5%-1，否则（7）（8）返回i=P20<j≤100P和Li，jP20<j≤100 MARGINI，JJ其中i，j指数交易者i和交易j，损益分别是交易j的收益和损失，保证金是做市商下单所需的金额，通常等于股权规模乘以保证金要求。为了标记交易j，我们在发布该交易时确定交易员i的状态。我们将交易员i定义为A-book客户，前提是他/她在j之后的下百次交易中获得的回报率高于5%。回想一下，5%的阈值与STX当前的政策相似。我们还支持STX方法，以对冲A-book客户的所有交易。然而，我们确定客户状态并标记其交易的方法是前瞻性的，而STX考虑了交易员i的最后利益。我们的目标标签定义也是动态的，因为交易员状态可以随每笔交易而变化。根据这一定义，数据集中6.43%的交易来自A-Book客户，应该进行对冲。当然，在STX收到交易j时，交易员i的未来收益不得而知。因此，我们开发了一个预测模型，根据公司在交易j时可以观察到的信息来预测YIJ。特征向量XIJIN包含客户进行交易j的人口统计信息和客户在交易j之前20次交易的交易行为相关信息。考虑过去20笔交易的决定基于STX的对冲政策，该政策使用交易j前20笔交易的滚动窗口来决定客户的状态。5.2. 交易员特征和特征创造我们根据对STX决策台经验丰富的成员的访谈，为交易员分类创建变量。

第一轮访谈旨在确定领域专家认为是好/坏交易者的风险因素。基于相应的结果，我们开发了一个半结构化调查，在第二轮访谈中向交易台的七名成员进行了介绍。调查要求参与者在1-7的相似量表上评估第一轮中出现的行为特征，其中值1和7分别表示不良和良好的交易行为。完成调查后，我们要求参与者提出他们将分别在交易FTSE100指数和FTSE100单一股票时采用的策略。这是为了收集调查中尚未涉及的新因素的想法。访谈结果指导了featureengineering。与STX签订的保密协议禁止正式定义所有功能。但是，以下描述提供了功能类型及其创建方式的全面概述。这些特征反映了STX的具体情况。风险分析师可能会发现以下描述对相关应用中的特征工程有用。然而，由于我们的研究侧重于DL方法的应用，因此它不支持与特征的可概括性相关的主张。一般来说，特征分为五组。第一组包括贸易商人口统计数据，如年龄、原籍国、邮编、就业状况和工资组。该组的特征为标称，并以虚拟代码的形式输入ML模型。STX采用一系列社会和微观地理CDATA对邮政编码进行分类。它们遵循与集群国家相似的逻辑。第二组的特征反映了交易员过去的表现。

我们使用平均值和标准差等聚合来计算20个之前交易相对于焦点交易的滚动窗口中的相应特征。选择20的窗口大小遵循STX在研究时的对冲政策。除盈利能力外，我们还计算了一组相关的绩效指标，如平均获胜率、平均盈利点数、客户是否盈利等。我们还考虑了风险调整后的回报率（即夏普比率[56]以及与过去提款和存款的数量和规模相关的特征）。STX尚未向我们透露其集群机制的细节。然而，他们向我们保证，聚类不会包含交易员的任何信息，否则可能会通过将预测目标的信息泄漏到特征中引入前瞻性偏差。第三组特征描述了交易员对市场和渠道的偏好。例如，一个特征只是统计交易员投资的市场数量，而另一个特征则编码交易员在前20次交易中是否对特定市场表现出强烈偏好。利用这些信息，我们分别创建描述交易者完整历史和最近20次交易中最受欢迎的市场集群的特征。频道偏好分组包括分别计算通过STX web前端和移动应用程序进行的开盘和收盘交易数量的功能，以及从这些统计得出的比率。调查结果表明，处置效应是发现不良交易者的相关因素。分散效应（Disposition effect）[57]描述了一种现象，即投资者倾向于快速卖出亏损的交易，但不愿意卖出亏损的交易。第四组的特点是努力捕捉性格效应。

我们确定每个交易者离开赢家和输家头寸的平均数量和时间，并计算它们的比率。我们也会考虑前20次和之前所有交易的总和，而不是平均值和窗口长度。采访中出现的另一个歧视因素涉及交易纪律。交易部门的成员指出，优秀的交易者倾向于设定手动限额（止损和利润水平），并在制定利润时随市场变化。第五组特征标志着交易员策略的一致性。股权规模变化指数显示了相应的特征。我们还考虑更简单的特征，如样本大小的标准偏差和捕获交易频率及其变化的特征。该组的其他特征与客户在正常交易时间内/之外交易的趋势有关（例如，相应交易的数量和份额），我们认为这是交易员专业水平的一个指标。交易者部分成交的程度也可能表明其专业知识，因此交易者的风险更高。因此，我们创建了一个功能，用于衡量在前20个交易中已成交的交易份额。前面的示例概述了我们使用的特征类型。使用可变窗口大小、聚合函数等操作，通过将特征与阈值进行比较来创建虚拟特征（例如，最近20笔交易中是否有一笔交易已使用移动应用程序成交），并考虑到双变量交互，我们获得了近100个特征的集合。本文的目的是测试DNN是否能够自动学习预测性的高级特征。例如，关于特征工程（featureengineering）的讨论表明，特征之间存在多重共线性，而特征选择可以弥补这种共线性。

然而，asub的目标是测试DNN如何有效地自动丢弃冗余和不相关的功能。因此，我们不执行特征选择。5.3. 探索性数据分析和功能重要性为了阐明A-book和B-book客户在功能方面的差异，我们报告了探索性数据分析的结果。表2分别报告了A-book和B-book客户的十大排名前特征的描述性统计数据。我们根据Fisher得分选择这些特征【7】。su ffix 20的特征是在20个过去交易相对于焦点交易的窗口中计算的。例如，给定交易者i的atrade j（相当于数据集中的一个观察值），我们考虑j-1，j-2.j-交易员i的20笔交易，并计算其平均值、标准差等。我们使用一个交易员的所有可用交易，如果他/她少于20笔交易。为了确保特征之间的可比性，表2中的值使用最小/最大缩放比例缩放至零一间隔。有趣的是，Fisher得分将决定STX当前对冲政策的特征PassAvgReturn20排在第十位。这表明，通过基于Pro-fitxdur20等更重要的特征之一做出决策，可以对当前政策进行一些改进，Pro-fitxdur20是Fisher得分排名中的首要特征。更一般而言，表2显示，客户群体之间在变量值均值方面的差异很小。这表明，好交易者和坏交易者聚集在这些特征所跨越的行为空间中，交易者的分类将具有挑战性。为了支持这一观点，我们使用表2的特征估计了训练集上的逻辑回归模型，并观察到McFadden Rclose为零。