深度学习能预测风险散户投资者吗？中的案例研究

考虑到标准差，表2表明，与A-book客户相比，B-book客户的交易行为稍有波动，这支持了采访中的结论，即优秀的交易员遵循一致的策略。表2还强调了处置效应是一个潜在的区别因素。前十大特征中有几个旨在通过对比交易者保持胜负头寸的持续时间来捕捉处置效果。最后，特征分布的第三和第四时刻暗示了好交易者和坏交易者之间的一些差异。然而，如逻辑回归的失败所示，将这些差异转化为分类规则是困难的，并且可能不可能用线性模型。为了进一步证实这一解释，在线附录提供了使用射频分类器对特征重要性的分析【11】。基于RF的重要性权重（见在线附录第3节）与表2明显不同，根据RF，Fisher评分中十个最重要的特征仅达到中等重要性等级。这可能证明特征响应关系或特征相互作用中存在非线性，这两者都是菲舍尔分数无法适应的。在使用基于信息融合的敏感性分析重新评估特征重要性时，我们在第6.1节中进一步阐述了这一点【58，59】。5.4. 数据组织、评估标准和基准分类我们使用n倍交叉验证来评估ML模型的预测性能。与将数据单独划分为训练集和测试集相比，重复n次建模和评估可以提高结果的稳健性。

在随后的比较中，我们考虑了n=10和n=5的设置。客户分类问题表现出类别不平衡和不对称的错误成本。假阴性（FP）错误对应于将A-book客户端错误分类为B-book客户端。一个假阳性（FP）错误描述了另一种情况，即B客户被误分类为高风险交易员。FP错误的经济含义是做市商对冲B客户的交易。这不太合适，因为B类客户平均亏损。这些客户的损失代表了市场制造商的利益，但如果交易被对冲，则损失将为零。FN的错误更为严重，因为未能对冲高风险交易员的交易可能会给做市商带来巨大损失。为了反映这种成本不对称，我们根据模型预测，根据对冲交易产生的收益或损失（P&L）评估了分类模型。损益表说明了每笔交易的实际利润/损失。此外我们对交易中的损益进行了平均值稳定2：前十大特征的描述性统计FeatureMean标准偏差描述A book B book A book B book A book B BookProfxdur20 0.325 0.332 0.172 0.178 0.994 0.962利润与持续时间的交互作用20 Harperatio20 0.443 0.446 0.081 0.085 1.097 1.131回报率平均值/标准偏差20 0.496 0.504 0.241 0.248 0.346 0.328平均利润客户利率WinTradeRate 20 0.621 0.626 0.203 0.207-0.203-0.210客户平均赢利率Avgopen 0.534 0.539 0.218 0.228-0.345-0.311损益平均值amongtrader的前20个交易持续率20 0.319 0.322 0.119 0.121-0.148-0.161客户离开赢家与输家持仓的平均时间20 0.251 0.244 0.357 0.353 1.151 1.197theFTSE100DurationRatio20 0.127 0.128 0.067 0.070 3.398 3.812平均交易持续时间（分钟）/标准偏差。

交易持续时间平均卖空20 0.487 0.482 0.269 0.274-0.027-0.018空头头寸份额平均回报20 0.502 0.503 0.052 0.057-0.295 0.065。从A客户和B客户返回最近20笔交易。所得平均数分别提供FN错误cFN和FP错误cFP的平均成本估计。然后，我们计算每个交易类别的平均、类别相关误分类成本为：cFN·F N R+cFP·F P R，以获得第二个货币绩效测量。基于类别平均值而非交易水平利润/损失，平均误分类成本（AMC）对于模型分类正确且异常值的特定交易更为稳健，而损益反映了在我们的数据样本中部署分类器的真实货币影响。因此，这两项措施相辅相成。最后，有几个标准指标可用于评估分类模型的性能。为了全面了解模型性能，我们考虑了接收机工作特性曲线（AUC）、灵敏度、特异性、精度、G均值和F测度下的面积。绩效指标的选择从以前的文献[60，61]中汲取了灵感，涵盖了一系列流行的指标。对其优缺点的详细讨论超出了本文的范围，但可在文献[11]中找到。粗略地说，AUC评估分类师区分a和B类客户的能力。敏感性和特异性描述了班级级别的分类准确度，因此是AMC测量的基础。

精确性强调模型检测高风险交易者的能力，而G均值和偏离度量则是为了对类别不平衡的稳健性而设计的。为了将DNN的性能与基准进行比较，我们选择了五个ML分类器作为基准，包括logistic回归、ANN、RF、自适应boosting（Adaboost）和支持向量机（SVM）。有关分类的全面描述，请参见，例如，【11】。我们在在线附录的第2节中报告了我们在模型选择过程中考虑的超参数设置，我们还详细介绍了超参数调整。6、实证结果实证分析将DNN与体现领域知识的基准分类和基于规则的对冲策略进行了比较。它还揭示了DNN性能的起源。6.1. 基于DNN和ML的基准分类的预测准确性我们首先在表3中给出了关于不同分类在不同评估标准下的预测性能的结果。粗体字根据评估标准突出显示性能最佳的模型。损益和资产管理公司价值以英镑计量，并指单个交易。例如，我们观察到的DNN的P&L值为121.67，这意味着根据DNN推荐对传入交易进行对冲，做市商平均每笔交易将赚取121.67英镑。另一方面，AMC的值为483.84，表明甲骨文模型知道每一笔交易的结果并进行相应的对冲，将为做市商每笔交易产生483.84英镑的收益。显然，oracle模型的最优套期保值是一个理论基准。表3中的所有值代表平均值，我们从10倍交叉验证中获得。表3:DNN与。

基准ML ClassifierSP&L AMC AUC敏感度特定精度G-均值F-得分N 121.67 483.84 0.814 0.631 0.994 0.987 0.792 0.661登录111.67 926.45 0.705 0.293 0.997 0.982 0.540 0.402ANN 109.14 915.73 0.635 0.301 0.997 0.982 0.545 0.408随机森林107.18 928.61 0.720 0.291 0.997 0.983 0.538 0.404AdaBoost 101.24 937.48 0.638 0.284 0.996 0.981 0.532 0.383SVM 68.34 825.56 0.691 0.3700.995 0.984 0.598 0.430表3提供了建议DNN优越性的证据。它在多个性能指标上的性能大大优于ML基准。唯一的例外是规格，所有分级器的性能接近完美，RF与其他型号相比有一点优势。就STX最相关的指标损益而言，我们观察到与logitmodel相比，有9%的改善；第二个货币指标AMC的改善更为显著。DNN的性能大约是ML基准的两倍。表3中的其他指标阐明了AMC结果的来源。所有分类器都实现了高规格和高精度，同时我们观察到在灵敏度方面存在很大差异。精度接近1表明，每当模型将交易分类为高风险并建议对冲时，这种分类通常是正确的。这对于比较中的每个分类都是正确的。然而，DNN具有更高的敏感性，这意味着它在此类高风险交易中识别出了更大的比例。因此，DNN对冲了来自A-book客户的更多交易，避免了相应的损失。在这方面，可以将表3解释为DNN实施了比基准更为谨慎的风险管理战略的证据。结果在G-均值和F-测度方面证实，DNN分别在灵敏度、特异性和精度之间实现了更好的平衡。

AUC结果补充了评估，并表明DNN实现了更好的排名性能。根据模型估计的类别概率对交易进行排名，DNN比基准更准确地区分A客户和B客户的交易，实现了比（次优）RF分类高13%的AUC。就货币表现而言，有意思的是，考虑一下为什么DNN在AMC方面比在损益方面显示出更大的边缘基准。这两个指标因结构不同而不同。损益表考虑交易的实际回报，而资产管理公司则分别基于a客户和B客户交易的平均回报。考虑到做市商面临巨大损失的交易，损益将比资产管理公司更严重地惩罚该交易的错误分类。因此，表3表明，DNN对一些大额亏损交易进行了错误分类，基准模型预测正确。这可能表明，DNN和其他分类器的组合可以比单独使用NN表现得更好。然而，如果不同类别的个体表现非常不同，那么利用它们之间的协同作用并非微不足道。例如，从表3可以清楚地看出，DNN和其他一个分类的简单平均预测将降低预测精度。考虑到表3中DNN的外观表现，我们将对预测组合的评估留给未来研究，并将重点放在澄清DNN表现的来源上。分类器的性能取决于特征及其预测值。explanatorydata分析没有识别出具有高预测能力的单一特征。一个简单的logit模型，仅使用表2的特征，几乎是随机的。为了更清楚地了解特征响应关系，我们采用了基于信息融合的敏感性分析（IFBSA）。

IFBSA最初由【58】提出，已在多个研究中使用，通过多重分类的视角来检验特征重要性【60、62、63】。IFBSA首先评估单个特征的重要性，即没有该特征的模型误差与包含该特征的模型误差的百分比比率【62】。IFBSA对所有特征重复此评估。在评估特征对模型性能的边际影响时，IFBSA的第一步与基于RF的特征重要性权重具有相似性，感兴趣的读者可以在在线附录中找到。IFBSA和基于RF的特征之间的一个重要区别在于前者考虑了几种不同的分类模型（即我们案例中表3的分类）。设st（x）表示预测的分类t=1。。。，T表示特征向量x（例如，p（A-client | x））。然后，我们可以将T分类委员会的组合预测写成：^yffuse=ψ（s（x），s（x）。。。，sT（x））（9），其中ψ表示融合单个分类预测的机制。考虑到归一化权重ωtsuch为ptt=1ωt=1的线性融合函数，方程（9）变为【59】：如果BSA根据分类器的预测性能确定分类器权重ωt，则^yffuse=TXt=1ωtst（x）（10）。这确保了更好的分类（如表3中的DNN）获得更高的权重，同时考虑了所有分类者对特征的意见。更具体地说，让Vt、kdenote表示分类t中特征k的归一化特征重要性权重。

然后，将（10）中的预测st（x）替换为Vt，k，我们得到最终的图5：根据IFBSA的特征重要性【58，8】图6：每个特征组的IFBSA重要性。该特征的融合重要性权重为【60】：Vk（fused）=TXt=1ωtVt，k（x）（11）。将IFBSA应用于表3的分类结果，我们得到了融合特征重要性权重的分布，如图5所示。我们强调了基于Fisher评分的重要性分析（见表2）确定为前十大最重要特征的特征。图5描述了我们数据集中五组特征的聚合FBSA重要性权重。图5中的特征重要性分布显示了两个断点。有一小部分信息量大的功能。我们还观察到，在重要性等级适中的情况下，一个大集合覆盖了大约一半的剩余特征。IFBSA将相对较低的重要性权重赋予其余特征。Fisher得分评估的前十大特征（见表2）属于第二组。IFBSA认为这些是中等重要的。鉴于IFBSA和Fisher评分从根本上不同的角度考虑了功能重要性，因此他们的重要性排名之间存在差异。我们将图5作为二进制响应和特征之间复杂依赖关系的证据，Fisher分数无法捕捉到这一点。例如，Fisherscore排名没有纳入IFBSA发现最相关的特征。将图5中的三组特征分别描述为与预测目标非线性相关、线性相关和不相关的特征。然而，表3对这一解释提出了挑战，因为线性logit模型的性能与非线性分类器相当。ANN、SVM、RF等。

应该能够从图5中排名靠前的特征中提取预测值，如果这些特征与目标非线性相关，则logit模型能够提取预测值。然而，在多个预测绩效指标中，他们的预测似乎并不比logit模型的预测更准确。回想一下，IFBSA折扣是所有分类的特征重要性信号，但在通过（10）和（11）计算最终融合特征重要性权重时，根据分类性能对这些信号进行加权。表3显示，DNN的表现明显优于基准。因此，融合权重略微倾向于DNN结果（ωDN N≈ 20%）。因此，我们希望图5中的等级也能反映出特征对潜在的、抽象的交易者行为特征表示的贡献，DNN通过其深层架构从数据中提取。然而，这种解释需要进一步分析，以更好地了解DNN成功的起源及其与特征的联系。随后的章节阐明了这些问题。为了总结使用IFBSA的自然重要性评估，我们从图6中注意到，特征中的预测信息总量均匀分布在五类特征中。6.2. DNN预测准确度的先例表3证明，对于此处使用的特定数据集，DNN优于ML基准。为了检验模型性能的稳健性，澄清神经网络成功的前因很重要。DNN的一个特点是其多层-深层结构。先前的研究建立了模型深度与其表达能力之间的联系，这表明深度是预测准确性的决定因素。使用无监督的预培训也将DNN与ML基准区分开来。

通过发现更抽象、更具生成性的特征来帮助模型训练，我们期望预测准确性能从预训练中受益。第三个有趣的因素是classimbalance。倾斜的类别分布是分类的一个众所周知的障碍。因此，DNN对阶级不平衡更为稳健也可以解释表3的结果。在下文中，我们将检查这三个因素的影响和重要性。6.2.1. 深层结构DNN在最后一层生成预测，其中最后一层输出神经元接收来自SDA前几层的组合输入，并使用softmax函数将这些信号转换为类概率预测。此网络配置相当于对隐藏层的输出运行LogisticRetression。为了阐明深层结构的价值，我们将DNN预测与普通logistic回归预测进行比较，并将原始特征作为协变量。logistic模型代表了一种从DNN中去除深层隐藏层并仅维持最后一层的方法。这有助于评估分布式表示（distributedrepresentation）的优点，深度隐藏层从原始特征中提取分布式表示。图7显示了DNN和简单logit模型的接收机工作特性（ROC）和精度召回（PR）曲线。情节强调，深层架构实质上提高了网络的辨别能力。logit模型在原始特征上的性能几乎是随机的。DNN的AUC值为0.812，这表明对DNN从原始特征中学习到的高级表示进行相同的回归，有助于可靠地检测阳性类别。因此，DNN成功地从输入数据中提取预测特征。