ETS挑战：评估

只有来自该数据集的数据段被纳入培训数据，而测试数据也包括来自不同数据集的时间序列数据段（被视为出局示例）：o与主数据集中的股票相同，但来自不同的时间段股票形成不同的市场（EUROSTOXX指数），与主数据集的时间段相同或不同。4.1 |测试模拟方法为了克服我们上一代流程提出的主要问题（方法1），如中所示。生成方法可总结为以下几个阶段：10 JAVIER FRANCO-PEDROSO等人。o分析阶段对平均时间序列（等权市场指数）进行事后估计，如方法1所述。多变量返回值的时间序列（每个维度是不同的资产），趋势中的每个时间序列（或资产）被视为多变量样本本身，其中不同时间步的返回值被视为不同维度（见图6）。然后，获得每个趋势的平均向量和协方差矩阵（其维度取决于趋势的长度），构成趋势的“模型”，并表示维度之间的方差（时间步）。o综合阶段：正如我们之前的方法所做的那样，首先假设了一个随机的交替趋势序列（向上和向下）。然后，对于每个趋势，在分析阶段绘制随机返回值。请注意，在这种方法中：i）如果要生成更多资产，则立即生成特定资产的整个趋势，因为我们可以简单地为同一趋势生成更多的多元样本。（a） 方法1中的多元向量。

（b） 方法2中的多元向量。F I G U R E 6方法1（a）和方法2（b）中由多变量向量（x）建模的信息的比较。对于方法2，假设表示的数据集来自一个孤立的趋势。虽然这种方法没有明确建模资产之间的相关性，但已经观察到，模拟数据确实存在资产间的相互关联，因为不同的资产是从同一个多变量高斯分布中提取的不同样本，因此不同时间序列的趋势内的时间演化是相似的。在时间序列上，就像重尾一样。因此，包括以下额外步骤：o在分析阶段，估计每个趋势内时间序列的累积分布函数（CDF）（图7（a））。o在合成阶段，在从多元高斯分布生成随机样本后，theJAVIER FRANCO-PEDROSO等人11首先对每个样本（趋势中的一个时间序列）的返回值直方图进行均衡（图7（b）），并通过应用合成阶段估计的CDF的倒数进行转换（图7（c））。（a） 步骤1：实际CDF估计。（b） 步骤2：模拟返回值的直方图均衡化。（c） 步骤3：将均衡直方图转换为fit realCDF。F I G U R 7在模拟返回值上拟合真实CDF所执行的其他步骤。条形图表示直方图，而线形图表示趋势内特定回报时间序列的估计CDF或其逆。这样，趋势中的模拟资产收益率更符合实时序列的分布。然而，正如我们为检查分配属性而开发的参考系统（表3中的“参考系统3”）所示，这种能力并不“完整”。

该系统使用了几种统计数据（平均值、标准差、中值、峰度、偏度）、赫斯特指数【Mandelbrot和Wallis（1969）】、夏普比率【Sharpe（1966）】以及其他一些量化分布形状的指标（返回值的百分比较大或决策树（袋装树）】【Breiman（2001）】。另一方面，正如“参考系统”1和2所示，之前观察到的关于资产收益率自相关性和波动率聚类的问题，通过方法2.12 JAVIER FRANCO-PEDROSO ET AL.TA B L E 3参考系统和结果总结中遵循的方法得到了彻底解决。参考系统特征（#）分类AUC1 100 ACF系数。返回（100）40 KNNs 0.572 100 ACF系数的集合。绝对回报（100）40 KNNs 0.553统计数据的集合，赫斯特指数和夏普比率（8）100株套袋树0.764.2 |提交的系统和结果本版ETS挑战赛共收到七份提交，其中一份包括两个不同的系统。以下段落描述了这些系统，包括使用的特征和分类系统1：–功能。它使用了4个正态性检验（Person’s卡方检验【Plackett（1983）】、Anderson-Darling检验【Anderson andstationarity test and volatility clustering.–Classifier。它使用了梯度提升分类法【Friedman（2000）；Friedman and（y X）】系统2：–功能。它使用了五组特征：时间序列中连续返回值（r（t）和r（t+1））之间的乘积和差异，以及小窗口内的滚动标准差（2和3个返回值）和返回值本身。每一组最终都按升序排序。特征向量的维数为1295分级器。

它使用了梯度增强分类器系统3：–[Cooley和Tukey（1965）]，仅保留一半的光谱。特征向量的维数为130正类的比率。o系统4：–功能。它使用了通过260点FFT提取的幅频值，只保留了一半的频谱。特征向量的维数为130分级器。它使用了一个单隐层神经网络（NN）[Bishop（1995）]，具有65个校正线性单元（ReLU）[Nair和Hinton（2010）]，以及一个具有sigmoid激活的输出单元。将均方误差（MSE）作为成本函数对网络进行训练系统5：–功能。它使用了几个统计指标（均值、波动率、偏度、峰度）和随机假设检验分级器。它使用了二元回归树系统6：–功能。它使用了每个分段的前10个系数的自相关（ACF）和偏自相关（PACF）之间的差值。特征向量的维数为10JAVIER FRANCO-PEDROSO等人13采用启发式阈值将其归类为该类别系统7：–功能。它使用tsfresh[Maximilian Christ（2016）]库（time SeriesClassification的开源特征提取器）来提取222个特征分级器。它使用了梯度增强分类器系统8：–尺寸260–分级器。它使用k-最近邻（kNN）分类器。表4总结了每个系统使用的特征和分类以及在挑战中获得的结果。有趣的是，只有那些使用梯度增强分类器的系统（系统1、2和7）能够区分真实和模拟的时间序列，而其余提交的系统提供了最多的随机输出(~ 0.5AUC）。

然而，在这些性能最好的系统中，系统1（0.61）和系统2（0.82）与系统7（0.89）之间存在显著的差距（AUC），这在系统2中可以部分解释。然而，System 1使用的大多数功能都包括正态性测试，这是一个已知的特性，即实时序列不存在，并且在模拟时间序列中避免了该特性，如性能中所述（0.49 vs.0.76 AUC）。另一方面，FFT值等一些特征似乎无法提供几乎随机的鉴别。最后，System 6使用了与前一节中描述的第一个参考系统相似的功能，但数量较少，并且使用了更简单的分类器，导致性能非常低。TA B L E 4提交的系统和结果总结。系统特征（#）分类AUC1正态性检验、MDD、平稳性检验、vol.clust。（7） 梯度增强0.612分类差异、产品和滚动标准（1295）梯度增强0.823 FFT绝对值，半谱（130）GMM 0.494 FFT绝对值，半谱（130）NN 0.495统计和随机hyp。测试（5）二元回归树0.496 PACF减去ACF系数。（10） 启发式阈值0.57最大值、最小值、统计值、值计数。。。（222）梯度增强0.898 FFT绝对值，全谱（260）kNN 0.5114 JAVIER FRANCO-PEDROSO ET AL.4.3 |后评估分析为了改进用于此挑战的模拟方法，提交了两个性能最好的系统，并进行了进一步分析。

本节介绍了获得的结论和发现。如前所述，该系统使用了一个开源库（tsfresh），专门设计用于提取相关数据，但观察到，对于其中一些特征，总是获得NaN值并将其转换为零值，而另一些则始终为每个样本提供相同的值（例如，特征“长度”，作为所有时间序列系统，最终生成了169个特征集，并对其进行了进一步分析。突出显示数据“清理”过程后删除的8个功能。树，这表明在整个169组中，6个预测因子更为重要。这些特性如下：o重复出现的数据点占所有数据点的百分比。o重复出现的数据点的总和。o重复出现的值占所有值的百分比。o重复出现值之和。o装箱熵（最大装箱数：10）。o数值与时间序列长度的比率（=1，如果重复任何值）。JAVIER FRANCO-PEDROSO等人15在以下示例中可以注意到重复出现的数据点和重复出现的值之间的差异：时间序列{1，4，0.5，1，2.9，1.8，4}表示4个重复出现的数据点（4个数组位置，其中数字4处的值也出现在其他数组位置）。所有这些特征都与时间序列样本中返回值的随机性有关：值越随机，重复的可能性就越大（熵也越大）。模拟过程生成返回值。然而，发现真实数据集的重复值百分比很高（接近整个数据集的25%）。这是System 7检测到的真实数据和模拟数据之间的主要区别，我们执行了以下两个步骤：o首先，开发了独立的特征提取器，仅提取上述特征，并使用了相同的分类器。

修改后的系统仅使用了6项功能，而不是222项，与提交的系统相比，其性能差异的绝对AUC低至0.2%。o然后，在实时序列样本中添加极低功耗的随机噪声，以避免重复返回值。噪声的最大振幅设置为-13，比实时序列中的最小绝对返回值小九个数量级(-4). 该特定值是导致实际数据集中出现非重复值的最小值。如图9所示，对于一个特定的样本，时间序列的行为并没有发生精确的变化。对模拟时间序列也进行了同样的处理，以确保每个输入样本都以相同的方式进行处理，无论其类别如何，这在测试阶段是未知的最后，该系统被用于处理那些复制挑战方案的修改后的时间序列样本，获得了导致几乎随机输出（0.53%AUC）的性能大幅下降，从而证实了初始假设。另一方面，未修改任何其他提交系统的性能。提交的系统2在挑战赛中获得了第二好的性能。如前一节所述，此系统使用的特征可分为以下子集：o时间序列样本中的排序返回值（260个特征）。o在连续返回值之间对产品进行排序（259个特征）。o连续返回值之间的排序差异（259个特征）。o在长度为2的滚动窗口上计算的排序标准偏差值（259个特征）。o在长度为3的滚动窗口（258个特征）上计算的排序标准偏差值。首先执行。其目的不是寻找一个在整体中特别具有歧视性的特定特征，而是寻找其中的子集。

如图10所示，所有子集在特征子集的边缘呈现相对重要性较高的特征，其中一些也在中间。需要注意的是，对每个子集内的特征值进行排序的过程会将其转换为累积密度函数（CDF）的近似值，而无需对计数进行规格化。然后，图10显示的是，这些值的分布在真实时间序列和模拟时间序列之间有所不同，尤其是分布的极值。16 JAVIER FRANCO-PEDROSO等人。F I G U R E 9原始时间序列样本及其噪声版本。F I G U R E 1 0提交的系统2各个功能的相对重要性。预测重要性估计Avier FRANCO-PEDROSO等人17转换模拟收益（图7中的步骤3），这是通过核函数估计的（图7中的步骤1）。图11中突出显示了特定股票的两种不同趋势的差异。如图11（a）所示，由于观察到的样本和范围很少，短期趋势分布的极值附近出现了很大的差异。当趋势更长时（图11（b）），核估计更接近经验CDF。然而，如果我们仔细观察零附近的区间，我们可以注意到，即使对于长期趋势，也会出现差异，因为实时序列可能有大量的零返回值，如图11（c）所示。这些差异至少解释了预测值处于第一个特征子集（图10中的1到260）的极端和中等值的相对重要性，但它们也可能影响其余的预测值，因为它们是基于涉及连续返回值的计算。（a） 短期趋势的CDF比较。

（b） 长期趋势的CDF比较。（c） 详细信息表b）返回值约为0。对特定时间序列的两种不同趋势的CDF的经验和核估计。为了克服这一问题，方法2中的CDF核心估计值被经验模型所取代，从而更好地描述了每个趋势中的股票收益分布。这种修改导致提交的系统2的性能从0.82 AUC下降到0.76 AUC，这证实了以下假设，即某些特征捕捉到了CDF中描述的差异。然而，系统仍然可以区分real和18 JAVIER FRANCO-PEDROSO等人。这些特征基于时间序列中连续返回值之间的关系。这些关系在方法2中通过相邻维度之间的协方差进行建模。然而，由于协方差矩阵计算为估计值，而这些关系可能会从一个时间序列更改为另一个时间序列。从0.76到0.6 AUC。这是对CDF更好拟合的结果，因为它的一些特性直接尝试超过给定阈值（针对多个阈值计算）|模拟系列检测系统作为生成过程的评估框架如前几节所示，所提出的挑战允许客观地衡量模拟方法的优点，并很容易将所使用的特征与过程建模的特性中的缺点联系起来。类似地，我们可以通过选择更好地执行所提议的任务的系统来比较不同的模拟方法。在本节中，我们使用参考系统1、2和3，以及提交给《挑战》第二版的系统2和7（但是，请注意，对于系统7，我们仅包括前一节中发现的最相关功能）。

除了应用前一节中提到的改进后的方法2外，比较的方法如下：o随机微分方程（SDE）模型：几何布朗运动（GBM）和恒定方差弹性（CEV）。o指数GARCH（EGARCH）和Glosten Jagannathan Runkle（GJR）模型【Glosten L.R.和Runkle（1993）】多元GARCH：2维和5维的BEKK实现。请注意，这是目前在生成金融系列时定义最新技术的主要现代模型之一。也就是说，模拟方法的“良好性能”意味着检测系统的AUC值较低。然后，可以看出，结果与其他模型的先前知识一致：例如，SDE模型不遵循自回归方法，因此它们在基于自相关的参考系1上表现不佳；此外，它们不模拟方差的时变行为，因此它们对参考系2的性能也不好。相反的情况发生在GARCH模型中，但它们的表现不如方法2。GARCH模型也因此以重尾的形式再现了更好的静态特征。对于所测试的多变量实施，可以看到之前在【Franco-Pedroso et al.（2018）】中报告的效果：波动率聚类的重现性较差（参见创新的结果，因此参考系统3的性能也较低。JAVIER Franco-Pedroso et al。19TA B L E 5 AUC值用于检测模拟时间序列的一组系统。