关于实证分析中数据预处理的问题

guokuidai 发表于 2016-5-19 08:48
可否请问具体异常值与极值的处理方法呢？是均值加减3倍标准差？还是用箱图确定呢？

在公司金融领域中，常用的是winsorize的方法，在99%或者90%的分位数处winsor一下，就把尾部的异常值全部一致化为相应的位置的值了。不过具体的情况还需要具体应用的分析。这个本就是非常具有弹性的问题。相关的教材的话，建议先把软件学会，比如little sas book，这些软件用熟了之后需要的就是按照你自己的思路来清洗数据，所以掌握软件是最重要的

主要是检查数据一致性，处理无效值和缺失值等，删除重复信息、纠正存在的错误，并提供数据一致性。
1、首先看数据类型，是定性变量还是定量的，即字符型的还是数字型的变量
2、根据样本量，即行，有几条记录
3、统计量是不是有异常值，超出3个标准差？缺失严重否，是否需要用均数或者中位数填补
4、是否有逻辑错误
5、统计描述，proc means 或者 freq 过程做出直条图或者直方图，进行描述
6、对不符合要求的，进行处理

guokuidai 发表于 2016-5-18 17:06
RT，各位在用软件跑数据前，是如何对数据进行预处理的？缺失值，异常值，数据变换……？欢迎讨论，集思广益 ...

请问应该用什么工具软件实现预处理呢？除了异常值和缩尾处理之外，是否用excel计算呢？比如计算权益资本成本，操纵性应计等。

guokuidai 发表于 2016-5-20 11:13
请问是否有关于实证研究前的数据清洗的教材呢？想系统性的学习下！

关注，一般介绍了跑数据的方法，预处理却没有细讲。