[STATA数据压缩]你真的会用-compress-吗？-经管之家官网！

我们知道，将数据导入STATA后，如果觉得数据储存空间有点大，会用-compress-命令进行压缩下。这样基本会搞定。
可是最近的一次经历让我改变了看法：导入一份125M左右的Excel，后储存为.dta格式，居然有2.3+G -- 匪夷所思吧！
回到STATA，compress --> save ，依然是那么大！……思索良久…… -des- 查看下， 哇！有三个字符型变量居然是：str2045！！看来应该就是这个原因了，why？经过一阵摸索，发现了原来是有一条记录导入时出现差错：一个单元格里放入几乎所有变量的值，too long too long……删除 --> compress --> save ， 马上只有200+M了！
总结：如果发现.dta格式大小异常，不妨尝试查看是不是因为某个字符型变量出现问题。
1.des --> 找出异常长的字符型变量，如：abvar。2.replace abvar=subinstr(abvar," ","",.) --> 消除不必要的空格（多数情况下，空格都是占空间的和无意义的！）
3.-compress-并-des abvar-如果差不多了就到这吧，毕竟时间宝贵！如果还是很异常，如：str1000！那么，继续吧。。。
4.ed abvar --> 肉眼大概估计出正常的、最小的长度为多少合适，如：str30（或者省去这一步，直接跳到下一步）
5.ed abvar if length(abvar) >= 30--> 哪些作怪的异常记录必会在这里面，通常这一步就可以发现它们了！
6.发现了后，接下来3种处理方法，自己选择吧！
A、修改记录：如果只有少数几个异常记录，直接手动在单元格里改吧，可以避免损失这几条样本（but，谨慎！不可逆。。。）
B、删除：drop if length(abvar)># (#的大小自己设定一个--保证异常的记录删除又不会影响正常的记录即可！)
删除后 --> compress --> OK!
C、-recast-如：recast str30 abvar ， force （慎用，因为如果30这个数不准确，那么会造成部分记录显示不完全！）
then，-compress- --> OK！
详细操作，见代码：

1. * 主要针对字符型变量的压缩
   
2. 
   
3. 
   
4. *=产生仿真数据=
   
5. cap drop tsvar //实验变量
   
6. cap drop rfvar
   
7. input str200 tsvar
   
8. "Storage "
   
9. "space "
   
10. " of "
    
11. "your "
    
12. "data "
    
13. "is "
    
14. " matter ! "
    
15. " So what can we do ? this is a abnormal entry , because its too long too long ..." //异常记录！
    
16. end
    
17. gen rfvar=tsvar //参照变量
    
18. compress// 自动压缩至最小的、合适的长度 -- tsvar 最后一条记录的长度
    
19. // 这一步是为了&仿真& -- 因为导入数据时stata会自动匹配最合适、最小的str长度
    
20. ed
    
21. des
    
22. 
    
23. * &很明显这么长的变量不是我们想要的 -- 因为将会占用很大储存空间！！！&
    
24. * &当你手中有这样的数据时，按照常规的-compress-命令是无法实现压缩的&
    
25. * &有人会想到，找出这样的异常记录值，单独处理掉 -- good idea !&
    
26. * &First，发现是否有这样异常的记录 ；then，处理！&
    
27. * go on !
    
28. 
    
29. *=压缩=
    
30. *-去除无意义的空格 //多数情况下，空格是不必要的
    
31. replace tsvar=subinstr(tsvar," ","",.) //if you hope to reserve some blanks , you can use -trim- etc ...
    
32. compress tsvar
    
33. des // look! --> str62
    
34. 
    
35. *-找出异常值，并处理掉-
    
36. *异常值，目前我只能凭经验去找，而且肉眼很难去找到的：
    
37. * 大致浏览 tsvar -->
    
38. * 大概估计出正常的、最长的记录应该会是: str10 -->
    
39. ed if length(tsvar)>=10// -> found!
    
40. drop in 8
    
41. ed
    
42. * -->
    
43. compress
    
44. des // look: str7
    
45. * 压缩完成！！！
    

复制代码
最后附上一个自编的批量删除空格的小命令：-dlblanks- （见代码！）用法：dlblanks v1v2v3 ...[if][in]， 即可删除字符型变量v1v2v3 ...中的所有空格。

1. *! version 2015年2月16日21:44:11
   
2. *! Author : Firsword
   
3. 
   
4. 
   
5. *= dlblanks v1 v2 v3 ...[if] [in]
   
6. *= 批量删除变量中的所有空格
   
7. 
   
8. 
   
9. 
   
10. cap pro drop dlblanks
    
11. pro define dlblanks
    
12. version 13.0
    
13. 
    
14. syntax varlist(string) [if] [in]
    
15. 
    
16. tokenize `varlist'
    
17. loc n : word count `varlist'
    
18. forval i=1/`n'{
    
19. replace ``i''=subinstr(``i''," ","",.)`if' `in'
    
20. }
    
21. 
    
22. end
    

复制代码