forecast包中的accuracy函数怎么用？（附帮助手册和作者原文）

帮助代码是：

1. fit1 <- rwf(EuStockMarkets[1:200,1],h=100)
   
2. fit2 <- meanf(EuStockMarkets[1:200,1],h=100)
   
3. accuracy(fit1)
   
4. accuracy(fit2)

复制代码

结果：

    在Another Look at Measures of Forecast Accuracy一文中，forecast包的作者给出的结论是，MASE可以成为标准的检验预测精度的标准，比其它被推荐的方法（如MAPE）都好，其解说也简单，“values of
MASE greater than one indicate the forecasts are worse, on average, than in-sample one-step
forecasts from the naive method.”
   前半句是说：“若MASE的值大于1，表明预测更差了，与来自幼稚方法的样本内一步预测相比。”那么，样本内一步预测的幼稚方法指什么呢？用R如何实现？
    我的理解是，最简洁的标准是设定一个标准，MASE小于（或大于）这个标准，就说预测结果较为精准。但作者的解释好像不是这样子。
    相关的一个困惑是，作者在摘要中提到：“ we propose that the mean absolute scaled error become
the standard measure for comparing forecast accuracy across multiple time series”
    大意是，我们提出，MASE法应该成为比较预测精度的标准方法，在多个时间序列中。
疑惑出在后半句：在多个时间序列中。
    众所周知，ARIMA模型是用于单变量时间序列估计和预测的，那么，要判断预测是否精准，怎么还和其它时间序列有联系？
    中国的时间序列书籍众多，但优质的不多。中国的时间序列教师众多，但把关键细节都能讲清楚的不多。在中国教科书中找不到答案，这是我的遗憾。但我相信，高手出在民间。广大的网友中，肯定不乏高手。更期待这些民间高手站出来，引领中国时间序列研究的发展，使更多的中国学生、学者解除困惑。
    期待！
附上forecast包帮助手册和作者原文。
Another look at measures of forecast accuracy.pdf (277.57 KB)

2014-8-1 22:51:07 上传

forecast.pdf (284.77 KB)

2014-8-1 22:51:42 上传

总体来说，MASE是相对最为重要的指标。当采用平均绝对误差（MAE）作为模型预测准确性的相对指标的话，如果MASE>1, 则表明对于样本之外的预测比基于样本本身的朴素预测要差。也即如果我们期望样本之外的资料能非常接近样本本身的话，当出现MASE>1的情况，则对样本之外的预测值是不可取的（因为我们仅仅知道基于样本本身的朴素预测，而不知道样本之外的情况）。英文原文：

MASE>1 implies that the actual forecast does worse out of sample than a naive forecast did in sample, in terms of mean absolute error. Thus if mean absolute error is the relevant measure of forecast accuracy (which depends on the problem at hand), MASE>1 suggests that the actual forecast should be discarded in favour of a naive forecast if we expect the out-of-sample data to be quite like the in-sample data (because we only know how well a naive forecast performed in sample, not out of sample).

其中，朴素预测包括naïve预测（即 ARIMA(0,1,0)模型，也即最简单的随机游走模型）和snaïve预测（即ARIMA(0,0,0)(0,1,0)m模型，也即最简单的季节随机游走模型），可以采用以下方法初步验证naïve预测和snaïve预测（存在微小的误差）

accuracy (naive(ts,h=12))
naive1 <- Arima(ts,order=c(0,1,0))
accuracy (forecast(naive1, h=12))

accuracy (snaive(ts,h=12))
naive2 <- Arima(ts,order=c(0,0,0),seasonal = c(0, 1, 0))
accuracy (forecast(naive2, h=12))

这个函数只是给出了一堆统计量吧 具体怎么评价还是要看lz自己如何取舍的咯

求证1加1 发表于 2014-8-1 23:34
这个函数只是给出了一堆统计量吧 具体怎么评价还是要看lz自己如何取舍的咯

我的核心疑问，不是统计量之间的取舍，而是如何用某个统计量，比如作者推荐的MASE。
尤其是说，它说这些统计量是用于多变量时间序列的比较，是什么意思。
核心问题搞不清楚，是不敢使用的。
谢谢！