请选择 进入手机版 | 继续访问电脑版
楼主: 胖胖小龟宝
30140 221

【时间简“识”】2.那些必不可少的预处理   [推广有奖]

大师

21%

还不是VIP/贵宾

-

TA的文库  其他...

龟宝的档案室

威望
3
论坛币
793110 个
通用积分
21906.8556
学术水平
2211 点
热心指数
2133 点
信用等级
1424 点
经验
978650 点
帖子
10001
精华
25
在线时间
4757 小时
注册时间
2012-7-27
最后登录
2020-12-21

相似文件 换一批

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
上一辑预告说啦~~本期的主题是时间序列的预处理~~序列在建模前到底要做哪些预处理呢?首先,大伙都知道的平稳性检验是必须的!


说到平稳,其实有两种平稳——宽平稳、严平稳
严平稳相较于宽平稳来说,条件更多更严格,而我们时常运用的时间序列,大多宽平稳就够了~~
什么是严平稳:是在固定时间和位置的概率分布与所有时间和位置的概率分布相同的随机过程。这样,数学期望和方差这些参数也不随时间和位置变化。(比如白噪声)

什么是宽平稳:宽平稳是使用序列的特征统计量来定义的一种平稳性。它认为序列的统计性质主要由它的低阶矩决定,所以只要保证序列低阶矩平稳(二阶),就能保证序列的主要性质近似稳定。
两者关系:
一般关系:严平稳条件比宽平稳条件苛刻,通常情况下,严平稳(低阶矩存在)能推出宽平稳成立,而宽平稳序列不能反推严平稳成立。
特例:不存在低阶矩的严平稳序列不满足宽平稳条件,例如服从柯西分布的严平稳序列就不是宽平稳序列。当序列服从多元正态分布时,宽平稳可以推出严平稳。



如何判断序列是平稳的?
咱们这次先从图形法上看(通常越是简单的方法,往往越能看到问题,图形给出的第一感觉也许就是真相哦~~~~)
时序图,例如(eviews画滴):

1.jpg


分析:什么样的图不平稳,先说下什么是平稳,平稳就是围绕着一个常数上下波动。
看看上面这个图,很明显的增长趋势,不平稳。


我们还可以根据自相关和偏相关系数来查看:

2.jpg




还以上面的序列为例:用eviews得到自相关和偏相关图,Q统计量和伴随概率。
分析:平稳的序列的自相关图和偏相关图不是拖尾就是截尾。截尾就是在某阶之后,系数都为 0 ,怎么理解呢,看上面偏相关的图,当阶数为 1 的时候,系数值还是很大, 0.914. 二阶长的时候突然就变成了 0.050. 后面的值都很小,认为是趋于 0 ,这种状况就是截尾。再就是拖尾,拖尾就是有一个衰减的趋势,但是不都为 0 。
自相关图既不是拖尾也不是截尾。以上的图的自相关是一个三角对称的形式,这种趋势是单调趋势的典型图形。


下面是通过自相关的其他功能
如果自相关是拖尾,偏相关截尾,则用 AR 算法
如果自相关截尾,偏相关拖尾,则用 MA 算法
如果自相关和偏相关都是拖尾,则用 ARMA 算法, ARIMA 是 ARMA 算法的扩展版,用法类似 。

一定有同学要问了:楼主检测出来不是平稳的怎么办啊?(楼主:当然要把它整平稳啦~~)


如果遇到数据检测出来不平稳,可以考虑使用差分这个最常用的办法(当然,还有好多种其他方法处理)


还是上面那个序列,两种方法都证明他是不靠谱的,不平稳的。确定不平稳后,依次进行1阶、2阶、3阶...差分,直到平稳位置。先来个一阶差分:


3.jpg



从图上看,一阶差分的效果不错,看着是平稳的。

在图形检验法中,我们能够较为直观的看到数据的一个大致变动趋势,如果它有周期或者上升等趋势,一般就不太平稳,需要做些处理,但图形始终是个主管判断为主的方法,这次,就来说说平稳检验的另一个方法:单位根检验(ADF检验)。

ADF检验简介:
       检查序列平稳性的标准方法是单位根检验。有6种单位根检验方法:ADF检验、DFGLS检验、PP检验、KPSS检验、ERS检验和NP检验,本节将介绍DF检验、ADF检验。ADF检验和PP检验方法出现的比较早,在实际应用中较为常见,但是,由于这2种方法均需要对被检验序列作可能包含常数项和趋势变量项的假设,因此,应用起来带有一定的不便;其它几种方法克服了前2种方法带来的不便,在剔除原序列趋势的基础上,构造统计量检验序列是否存在单位根,应用起来较为方便。ADF检验是在Dickey-Fuller检验(DF检验)基础上发展而来的。因为DF检验只有当序列为AR(1)时才有效。如果序列存在高阶滞后相关,这就违背了扰动项是独立同分布的假设。在这种情况下,可以使用增广的DF检验方法(augmented Dickey-Fuller test )来检验含有高阶序列相关的序列的单位根。

检验步骤(一般进行ADF检验要分3步):
1 对原始时间序列进行检验,此时第二项选level,第三项选None.如果没通过检验,说明原始时间序列不平稳;
2 对原始时间序列进行一阶差分后再检验,即第二项选1st difference,第三项选intercept,若仍然未通过检验,则需要进行二次差分变换;
3 二次差分序列的检验,即第二项选择2nd difference ,第四项选择Trend and intercept.一般到此时间序列就平稳了!
tips:
在进行ADF检验时,必须注意以下两个实际问题:
(1)必须为回归定义合理的滞后阶数,通常采用AIC准则来确定给定时间序列模型的滞后阶数。在实际应用中,还需要兼顾其他的因素,如系统的稳定性、模型的拟合优度等。
(2)可以选择常数和线性时间趋势,选择哪种形式很重要,因为检验显著性水平的 t 统计量在原假设下的渐近分布依赖于关于这些项的定义。

① 若原序列中不存在单位根,则检验回归形式选择含有常数,意味着所检验的序列的均值不为0;若原序列中存在单位根,则检验回归形式选择含有常数,意味着所检验的序列具有线性趋势,一个简单易行的办法是画出检验序列的曲线图,通过图形观察原序列是否在一个偏离 0 的位置随机变动或具有一个线性趋势,进而决定是否在检验时添加常数项。
② 若原序列中不存在单位根,则检验回归形式选择含有常数和趋势,意味着所检验的序列具有线性趋势;若原序列中存在单位根,则检验回归形式选择含有常数和趋势,意味着所检验的序列具有二次趋势。同样,决定是否在检验中添加时间趋势项,也可以通过画出原序列的曲线图来观察。如果图形中大致显示了被检验序列的波动趋势呈非线性变化,那么便可以添加时间趋势项。


      本例所选择的基础数据是每日收盘价,上证指数日数据从 1990-12-19至2011-8-9,样本容量为5058,周数据从1990-12-21至2011-8-9,样本容量为1043,深证成指日数据从1991-4-3至 2011-8-9,样本容量为4998,周数据从1991-4-5至2011-8-9,样本容量为1070。在证券市场的实证研究中,通常使用收益率即价格的变化而非价格本身,因为证券价格之间存在明显的序列相关性和趋势性,使得许多分析方法不能使用。在本例中,所采用的数据为收盘价的对数收益序列。

在本例中,通过软件操作得到如下图:


4.jpg



5.jpg


        运用传统的ADF检验检验时间序列的平稳性,我们发现,上证、深证投资基金日、周收盘指数的对数收益率序列都是平稳的。
       从上表中可以看出,在99%、95%和90%置信度下的检验,ADF的T统计值都是小于其值的,即全部是拒绝原假设的,说明都是平稳的。在1%的显著水平下,两市的收益率都拒绝随机游走的假设,说明是平稳的时间序列数据。

针对平稳性,楼主做过一个帖子——开学大献礼:怎样理解时间序列的“平稳性”?

你们可以随便戳~~~


预处理还有一项内容就是随机性检验,其实就是俗称的残差白噪声检验——

360截图20141107143737369.jpg


标准的正态白噪声

为什么残差要是白噪声?
答:得到白噪声序列,就说明时间序列中有用的信息已经被提取完毕了,剩下的全是随机扰动,是无法预测和使用的,残差序列如果通过了白噪声检验,则建模就可以终止了,因为没有信息可以继续提取。如果残差不是白噪声,就说明残差中还有有用的信息,需要修改模型或者进一步提取

怎样对白噪声进行检验?
答:白噪声检验的步骤为:打开resid序列,view,correlogram,差分阶数选择level,确定,看q统计量的伴随p值是不是很大就行了。



下一期——差分、延迟算子的故事!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:预处理 correlogram difference Intercept augmented 时间序列 平稳性 ADF 白噪声 残差

已有 5 人评分论坛币 学术水平 热心指数 信用等级 收起 理由
xunxiezhi + 1 + 1 + 1 精彩帖子
crystal8832 + 24 + 2 + 2 精彩帖子
日新少年 + 1 + 1 + 1 精彩帖子
静水深流 + 2 + 1 精彩帖子
statax + 20 + 3 + 2 + 2 对论坛有贡献

总评分: 论坛币 + 44  学术水平 + 9  热心指数 + 7  信用等级 + 4   查看全部评分

本帖被以下文库推荐

roqu 在职认证  发表于 2014-11-11 10:39:38 |显示全部楼层 |坛友微信交流群

回帖奖励 +2

Unit root is the most common issue in times series

使用道具

statax 发表于 2014-11-11 10:43:01 |显示全部楼层 |坛友微信交流群

回帖奖励 +2

一般关系:严平稳条件比宽平稳条件苛刻,通常情况下,严平稳(低阶矩存在)能推出宽平稳成立,而宽平稳序列不能反推严平稳成立。
特例:不存在低阶矩的严平稳序列不满足宽平稳条件,例如服从柯西分布的严平稳序列就不是宽平稳序列。当序列服从多元正态分布时,宽平稳可以推出严平稳。
——————————————————————————————昨晚上课才讲了这个内容,哈哈[em09]。。

使用道具

heguima 发表于 2014-11-11 10:57:03 |显示全部楼层 |坛友微信交流群

回帖奖励 +2

这个太难···

使用道具

guyiyin2003 发表于 2014-11-11 11:41:33 |显示全部楼层 |坛友微信交流群
太棒了,正需要。

使用道具

guyiyin2003 发表于 2014-11-11 11:41:36 |显示全部楼层 |坛友微信交流群

回帖奖励 +2

太棒了,正需要。

使用道具

mymei 发表于 2014-11-11 11:57:47 |显示全部楼层 |坛友微信交流群

回帖奖励 +2

楼主这个系列很好,学习了。

使用道具

postcam 发表于 2014-11-11 13:56:36 |显示全部楼层 |坛友微信交流群

回帖奖励 +2

很好,学习了

使用道具

回帖奖励 +2

正在自学时间序列分析,解决了困扰我的一些问题,感谢

使用道具

希望早点出下一期

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注jltj
拉您入交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-3-29 19:55