墨菲图：预计短缺的预测评估

该图提供了S中所有SCORINGFUNCES下一种预测是否支配另一种预测的简单图形检查。具体而言，命题2.1意味着方法A的预测支配方法B关于Sif和ifE的预测Sv（XA，XA，Y）≤ ESv（XB、XB、Y）对于所有v∈ R比较Ehm等人（2016，推论1）。显然，我们也可以考虑Tα相对于所有一致性评分函数的预测优势。以下描述的程序可适用于这种情况；一种概念简单但在实践中单调乏味的扩展。这是因为需要检查两个参数网格（vand v）上的不等式。相反，当关注S时，需要检查单个网格上的不等式。我们在附录D.3测试预测优势中给出了所有一致性评分函数的结果，作为稳健性检查。我们首先将第2节中的方法转换为时间序列上下文，然后介绍了基于基本分数的预测优势度测试。3.1比较时间序列预测迄今为止，我们只考虑了一个单期预测问题。然而，在大多数金融应用中，目标是预测时间序列{Yt}t∈N、 例如，在交易日t=1，2，…，服务的资产回报序列。。此外，设Xt=（Xt，1，Xt，2）∈ 对Yt进行（VaRα，ESα）预测，了解Xtis基于适当的信息集Wt-1由时间t的可用数据生成- 1、在应用中，我们力求使预测和实现在时间上具有可比性。因此，我们需要以下假设。假设3.1。时间序列{Zt}t∈NW，Zt=（Xt，Yt）∈ A×R是平稳的andergodic，具有平稳分布FZ。这种假设排除了确定性的时间趋势、结构突变和季节性等因素。

同时，只要预测最终被“洗掉”，预测和实现就可以超时进行。特别是，许多多元自回归模型（如L–utkepohl，2005）或随机波动率模型（如Harvey et al.，1994）是平稳的。考虑Tα的任何一致评分函数S。假设3.1意味着随机变量S（Xt，Yt）的分布不依赖于时间t。特别是，当S等于命题2.1的基本分数sv时，这一点成立。因此，我们可以定义预期的基本分数，如下所示。考虑一系列预测{Xt}t∈Nand对应实现{Yt}t∈N将平稳时间序列定义为假设3.1。该过程的预期基本分数为byE（Sv（Xt，1，Xt，2，Yt））=ZA×RSv（x，x，y）dFZ（x，x，y），（4），其中Fzi在假设3.1中定义。基于这一定义，预测优势“随时间平均”的概念自然如下：定义3.1。设{XAt}t∈Nand{XBt}t∈ndnote Tα和let{Yt}T预测的两个竞争序列∈n注意相应的实现，使得{（XAt，Yt）}t∈Nand{（XBt，Yt）}t∈Nboth分别满足平稳分布FAZand和FBZ的假设3.1。我们说方法A相对于SifE弱支配方法BSv（XAt，1，XAt，2，Yt）≤ ESv（XBt，1，XBt，2，Yt）对于所有v∈ R、 其中，对于相应的平稳分布，期望值如（4）所示。在标准的规律性条件下，定义3.1中的预期可以通过在datest=1、…、时观察到的预测和实现的经验平均值进行一致估计，T，例如。

作为T→ ∞ 它认为ttxt=1Sv（XAt，1，XAt，2，Yt）a.s。→ ESv（XAt，1，XAt，2，Yt）,与方法B.3.2预测优势检验类似，我们对以下无效假设感兴趣：H0：方法A弱支配方法B；定义3.1给出了假设的正式陈述。附录B中详述的测试程序可总结如下：o第1阶段：测试方法A和B在给定的基本分数下表现同样好的无效假设，与B表现严格更好的单侧备选方案相比，即对于给定的V，逐点无效和备选假设为h0v:eSv（XAt，1，XAt，2，Yt）= ESv（XBt，1，XBt，2，Yt）,H1v:ESv（XAt，1，XAt，2，Yt）> ESv（XBt，1，XBt，2，Yt）.对预先定义的网格中的阈值重复该测试，产生一系列逐点p值第2阶段：计算校正后的p值，用于控制程序的家庭智能错误率（FWER）。FWER定义为至少做出一次错误拒绝的概率，即拒绝至少一个不低于B的网格点vat的H0VF。如果校正的p值的最小值低于所选的显著水平，则拒绝H0。第一阶段的测试是对模型A和B之间预期得分差异为零的无效假设的单侧t检验。为了在第二阶段实现校正，我们将Westfall和Young（1993）算法应用于逐点p值；另见Cox和Lee（2008），他们在功能数据的背景下研究了算法的特性，即在我们的案例中，零假设指的是一些参数值的网格。最重要的实施选择是如何在模型A弱支配模型B的零假设下模拟p值，如定义3.1所述。我们的方法得出了i.i.d。

样本中，通过在每个时间步以相同的概率重新分配预测标签，模拟联合逐点p值的每个实现。这强制所有v的模型A和B的预期基本分数相等，从而呈现弱优势的无效假设的边界。我们将校正后的p值的最小值称为最小Westfall-Young p值。我们的结果基于这样一个假设，即分数差异随时间的推移是独立的（从今往后，IOT）。考虑到我们考虑的是提前一天的预测，这一假设遵循了计量经济学预测文献中的标准实践，即考虑滞后τ的自相关-1，其中τ为预测层位；参见Clark和McCracken（2013年，第7节）。与物联网假设一致，第一阶段的测试没有考虑可能的自相关，第二阶段的标签切换是随着时间的推移独立执行的。考虑到分数差异随时间变化的相关性，可以实施不同的测试。我们在附录D中考虑了这种替代实现，其中我们将结果测试应用于第4节的数据示例。在这里，我们还考虑了Tα的两种基本分数的使用，这是一种扩展，其中逐点零假设和交替假设分别定义在vand v的两个独立值网格上。我们承认，关于刚才描述的测试程序，有两个悬而未决的问题。首先，重新标记步骤加强了两个模型分数的可交换性。虽然交换性意味着期望分数的相等，但反之则不然。目前尚不清楚这种不平衡是消失还是保持渐近。其次，我们的测试程序将其大小α控制在零假设的边界处，以确保模型A和B的预期分数相等。

直觉上，正如Ehm et al.（2016，第522页）所推测的那样，当A在某些网格点上严格控制B时，人们会认为在零假设内部，测试的拒绝概率小于α。然而，这种直觉的正式证明超出了本文的范围。鉴于这些开放性问题，我们通过仿真研究了测试过程。数据生成过程类似于我们在第4节的实证分析中使用的重型预测模型。为此，我们首先从确定性过程σt=0.5 RKt创建数据-1+0.7σt-1，其中RKtis是对日内波动性的“已实现的核心”度量（Barndorff-Nielsen et al.，2008，2009），即在一天结束时间t- 1和t，σ=0.35。我们使用第4节标准普尔500指数数据集中记录的RK值，并假设t天的回报率为t=rν- 2νσtXt，其中{Xt}t∈Nis是一个i.i.d.随机变量序列，其t分布为ν=6自由度。已知过程和序列{RKj}j≤t型-1、对风险值的Rtconsists进行完善的Tα预测*t | t-1，α=rν- 2νσtqα，ν，ES*t | t-1，α=αZαVaR*t | t-1，zdz，我们使用R编程语言（R Core Team，2017）进行本文中的所有模拟和实证分析。系数（ν- 2） /ν解释了t-分布变量的方差等于ν/（ν）的事实- 2） 。因此，该因子确保由σt给出的RTI的条件方差。其中qα，ν是具有ν自由度的t分布的α-分位数。我们假设α=0.025，并考虑两个预测模型m∈ {1，2}，预测如下：VaRt | t-1，m=VaR*t | t-1+εt，m，ESt | t-1，m=ES*t | t-1+εt，m，其中εt，m~ N（0，ζm），独立于t和m。方差项ζm≥ 0是最优性预期偏差的度量值。极限情况ζm=0意味着εt，m=0几乎确定，并对应于完美预测。

注意，模型m在其Tα预测的两个分量中产生相同的误差。为了研究所提议的测试程序的大小和威力，我们对ζ和ζ的不同选择进行了实验。首先考虑ζ=ζ=1的情况。这意味着两个模型的预期得分相等，这与弱优势一致。为了研究我们程序的规模，我们模拟了1000个数据集，包括T=500个时间段的预测和实现，产生了1000个最小Westfall Young p值的样本。图1的左面板显示了0%到15%的标称水平的结果。我们观察到实验规模略低于标称水平时的保守行为。这些结果似乎很令人满意，并表明我们在当前环境下，在零假设边界控制测试大小的方法是有效的。我们进一步研究了5%水平下的功率行为。考虑ζ>0且ζ=0的情况，这意味着第二个模型发布了完美的预测，而第一个模型偏离最优性的程度由ζ衡量。这意味着在Tsyplakov（2014）的研究结果之后，第二个模型的优势关系得到了支持。在模拟中，我们将ζ从0.05变为0.5，考虑T=200500，并为ζ和T的每个组合生成500个最小Westfall Young p值的样本。图1的右侧面板表明，两个变量的幂函数都是单调增长的，收敛到1。这些定性特征符合常识，因此为测试程序提供了健全的检查。4标准普尔500指数和DAX指数的实证结果在本节中，我们应用我们的方法来比较标准普尔500指数和DAX两种股票指数的收益预测。

指数（标准普尔500指数或DAX指数）的回报率定义为RT=100×（对数Pt- 对数Pt-1） ，其中PTI是交易日t结束时的指数水平。与之前一样，让Wt-1删除截至第t天的数据生成的信息集- 1、我们考虑了三种dailylog回报模型，相应的（VaRα，ESα）预测水平为α=0.025：o重模型（Shephard和Sheppard，2010），该模型使用日内实现的度量来建模财务回报的时变方差。模型位置为V（Rt | Wt-1） =σt=ω+γRKt-1+βσt-1，（5）其中V表示方差，RKt-1是根据第t天的日内价格变动计算得出的已实现核心指标- 1、量ω>0、γ和β是我们通过Shephardan Sheppard（2010年，第2.4.1节）中描述的拟似然方法估计的模型参数。我们仅在每个月的第一个交易日使用1500个观察值的滚动窗口（即大约六年的日常调查）对模型进行重新拟合。对于所有调查，测试程序使用50个等距网格点表示v，其范围由所有预测和实现的经验范围确定。此外，我们在每个测试的第2阶段使用了500次重新标记过程的迭代。两个模型都可以访问相同的信息库，第二个模型最佳使用该信息库，但第一个模型次优使用该信息库。Tsyplakov（2014）表明，这种设置意味着在所有适当的评分规则下，第二个模型占主导地位。大小功率●●●●●●●●●●●●●●●●●●●● ●●●●●●●●●●●0.00 0.05 0.10 0.15尺寸（标称）拒收率0.00 0.05 0.10 0.15●●●●●●●●●●0.1 0.2 0.3 0.4 0.50.2 0.4 0.6 0.8 1.0ζ1喷射率●T=200T=500图1：预测优势检验的蒙特卡罗分析。左-根据标称试验尺寸绘制的Westfall YoungDistribution rates；H0（ζ=ζ=1）下模拟的数据。每个模拟数据集包含T=500个时间段。

结果基于1000个蒙特卡罗迭代。右-Westfall Young测试的拒绝率为5%；对于两个样本量（T=200和T=500），在备选方案（ζ>0，ζ=0）下模拟数据。结果基于ζ和T的每种组合的500次蒙特卡罗迭代。平均VaRα平均ESαVaRα‘违规’率&P 500HEAVY-2.056-2.736 0.042GARCH（1,1）-2.184-2.906 0.040HS-2.761-4.028 0.029DAXHEAVY-2.500-3.326 0.037GARCH（1,1）-2.607-3.469 0.036HS-3.130-4.493 0.025表1：经验预测的汇总统计数据。样本期为2006年1月至2016年1月（每日数据）。VaRα‘违规’率是实际回报低于VaRα预测的天数的分数，不应超过α=0.025。数据我们进一步假设，以Wt为条件-1，（p（ν- 2） /νσt-（1）-1RTF以六个自由度分布。这组假设得出Rt的VaRα和ESα估计值，条件是Wt-1.oBollerslev（1986）提出的GARCH（1,1）模型。方差规格与方程式（5）有关，但平方日收益率Rt除外-1，用于代替RKt-1、对于重模型，我们假设标度条件收益率分布为六自由度的t分布经验无条件VaRα和ESα是根据截至第t天的1500次观察中的收益计算得出的- 1、该方法类似于实践中流行的“历史模拟”（HS）方法（参见McNeil等人，2015年，第9.2.3节）。我们的分析基于http://realized.oxford-man.ox.ac.uk/；该来源包括每日收盘价和根据日内数据计算的已实现指标。我们构建了2006年1月至2016年1月期间的预测。整体分析是样本外的，即。

我们根据未用于模型拟合的实现情况评估预测。更准确地说，标准普尔500指数样本包括2006年1月6日至2016年1月25日的2420个观测值；DAX样本包括2006年1月4日至2016年1月25日的2494次观察结果。表1列出了预测的汇总统计数据；附录C中的图3显示了响应时间序列图。平均而言，HS模型的预测值低于其他两种方法。对于标准普尔500指数数据集，平均VaRα预测为-重型为2.056，与-2.184对于GARCH和-HS为2.761。VaRα预测的违约率为4.2%（重）、4%（GARCH）和2.9%（HS），三种方法均超过2.5%的名义水平，部分原因是2007-09年金融危机带来的负回报。附录C中的图3显示，Heavy和GARCH预测高度相关，并且显示出比简单HS方法预测更多的时间变化。后一个观察结果表明，与HS方法相比，HEAVYand和GARCH模型对市场环境变化的反应要快得多。图2和表2包含标准普尔500指数和DAX数据集的主要预测评估结果。我们分三个步骤进行预测评估：o图2的顶行显示了所有三种方法的墨菲图，左侧显示了标准普尔500指数数据集，右侧显示了DAX结果。对于这两个数据集，重模型似乎在绝大多数阈值v中获得了最低的平均基本分数。基于GARCH（1,1）模型的预测表现稍差，HS方法的表现相差很大图2的底行强调了这一点，其中基于重模型的方法分别与GARCH（1,1）和HS直接进行比较。

检查小学成绩的差异可以提高我们检测两个模型中哪一个在某个阈值下更好的能力，尤其是当差异很小时。95%水平的逐点置信区间（优势度测试中的第1阶段）为HEAVYmodel表现出的卓越表现提供了显著的印象。似乎大多数考官只会对DAX数据示例中的权重与GARCH（1,1）的比较结果提出质疑。然而，最终的重大决策主要取决于逐点结果的组合方式表2报告了优势度检验的最小Westfall-Young p值：有充分证据支持HS支配重的无效假设，但没有证据表明重对HS的优势。这些结果适用于标准普尔500指数和DAX数据。在标准普尔500指数的重加息和GARCH（1,1）比较中，我们同样发现了反对重加息的证据，但反之亦然。正如之前对图2的目视检查所示，DAX数据的重/GARCH比较结果不同：在传统显著水平上，我们没有找到足够的证据来拒绝弱优势的任何一个方向。重模型往往优于竞争对手，这一事实可能可以通过其更大的信息集来解释，除了每日收益外，还包括每日内的数据。根据Holzmann和Eulert（2014），我们知道，在正确的规格下，较大的信息集会导致更好的核心。虽然后一种假设在实践中不太可能得到满足，但人们可能会期望在中等程度的误判下也能得到类似的结果。在附录D中，我们沿着两个维度分析了置换测试的稳健性。首先，我们比较了两种关于基础分数时间依赖性的不同假设。