|
就要单独一个变量进行异常值检验的话，以前有次听统计建模讲座，那老师说到过用一个箱线图还是盒图什么的来衡量异常值，好像是用spss实现的，忘了是2倍还是4倍标准差之外的的就算异常值。
这个异常值的问题老师没说怎么处理。
我自己的经验和想法是插值，而插值的方法有很多种比如平均数插值、线性插值、曲线性插值、二次/三次样条插值、模型拟合插值和生成随机数法。总体的思想就是平均或者模型估计。
这里简单说一下我个人的经验性的理解。
【这些方法用的时候大多数都要把异常值删去，但把他的空缺位置保留，而不是删去这个异常样本】
平均数插值：就是用该变量所有的样本求出一个平均值，然后替代那个异常值。这个方法也用来处理缺失值。但问题在于某些变量本身就是有趋势的，比如递增或者递减，如果用这种平均的方法来替代异常值或者缺失值，则本身就成为了违反趋势的异常值了，这显然不好用，把数据拿出去给别人看，人家做个图就会觉得你数据有问题，直接就否定你的论文了。而且还有一个，样本中出现少量的平均值还好，如果平均值太多，数据的随机性就减弱了，数据的质量同样下降了。
平均值还有一种方法，就是前后几个数据求平均的方法，这种方法就是用来对付那些有趋势的变量。具体来说就是比如第4个数据是离群值或者缺失值，就可以用第3个、第5个（我称每使用前后多少个数值为步长，这里前后一个数值，所以步长为1）数据的平均值替代第4个数据，或者用第1、2、3、5、6、7个数据（这里前后三个数值，所以我称其步长为3）的平均值来替代第4个值，这样融合的前后的数值，能够体现出趋势。但前后选多少步长是个值得考虑的问题，从我个人的体验来说，我的建议是步长为2到4比较合适，太短显得数据处理技术不够（呵呵。。。。），太长可能导致数据被过度平滑，成为偏离趋势的离群值。
线性插值：顾名思义，就是线性拟合插值，这个适合有趋势的，而且变量的数据趋势是直线的。方法就是把数据（异常值删去，但保留其空位，自变量是1、2、3......或者年份1978、1979....，被解释变量就是你的那个要处理的变量）用最小二乘法拟合出一个线性方程，然后用异常值所对应的自变量（比如第5个为异常值或者缺失值，对应的自变量就是5）代入带你求出来的那个线性方程，这样得到的数值可以用来替代那个缺失值或者异常值。
曲线插值：就是针对线性插值的。有些变量的数值有趋势，但不是线性的，即图形出来不是直线，而是转弯的甚至拐好几个弯的那种（我去。。。。），这时候就可以按照线性插值的方法拟合曲线模型来估计缺失值或者异常值大概的数值。这个最好用的就是SPSS了，里面有个专门的模型拟合模块，大概有10种左右的模型任你挑。建议的挑选步骤是先全选所有的模型，然后全部拟合出来，看R方，R方越高拟合优度越好（其实不用我说的。。。），挑拟合优度最高的那个模型，然后把缺失值或者异常值对应的自变量（编号或者年份）代入那个模型，然后就可以填补缺失值或者异常值了。
二次/三次样条插值：这个东西是在固定收益证券里的看到的，里面讲利率期限结构的问题，说怎么拟合利率期限结构图。基本思想是拟合二次或者三次曲线方程，但由于数据存在断点（这里可以理解为缺失值或者异常值），拟合出来的曲线是不连续、连接点是不可导的（好高端的样子。。。。。）于是就通过某种高端的计算方法（我忘了。。。我也不会。。。。可能是蒙特卡洛或者bootstrap还是什么搜索方法）求连接点的数值，让曲线连续且可导。我这里就提供个思路哈，详情我也不懂。。。。。。这个样条插值法最优的是三次样条插值。
模型拟合插值：某些数据的量可能很大，随机性很高，同时可以含有趋势，那么这个时候计量里的自回归模型就可以用了，MA/AR/ARIMA/GARCH随便尝试（有技术，任性！呵呵。。。），然后挑个拟合优度最高的，然后求出异常值或者异常值的估计值。
生成随机数法：这个。。。。呃。。。。用的少。。。基本方法就是针对那些随机性很高、没有趋势、服从某种分布的变量。先作图或者用某个软件（我不知道用啥。。。）找出该变量的分布和参数（如均值方差之类的），然后采用生成随机数的方式随机生成数值，填补替代缺失值或者异常值。
当然，一些数学方法也可以用来拟合，比如模糊灰度啥的、遗传算法之类的（我不懂哈，只是见过有用来做预测和拟合的。。。）
上面这些方法可以综合运用，比如某个变量前面一段是直线，后面一段是曲线，就可以先用直线拟合前面那一段，后用曲线拟合后面那一段，从而求出估计值；比如前面那一段有一定的趋势和随机性，后面那一段则完全随机，就可以前面那一段用自回归模型，后面那一段用随机生成的方法。
而联合所有检验异常值的话，我在最近的MATLAB课上听老师说，先建立回归模型，然后看残差，如果哪个点或说样本的残差明显离群那么这个样本就是离群值（如图所示），处理方法老师说的是删除该样本。
以上纯属个人经验和理解，欢迎讨论，请勿拍砖！层主码这么多字也不容易。。。。
| 
发帖
雷达卡
加好友,备注jltj
京公网安备 11010802022788号
论坛法律顾问：王进律师
知识产权保护声明
免责及隐私声明
