数据集太大，如何压缩？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我有一个数据集，大小2G，800多变量，200000观测，其中的字符型变量全部定义的是输入，输出格式$55.，这样感觉数据集太大，做什么分析处理都影响速度，有没有办法对数据集进行压缩，主要是字符变量，把数据集大小变小一点。
第一，有没有特有的sas程序实现对数据集的压缩
第二，怎么使用输出输入格式对数据集的全部字符变量进行统一重新定义？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：数据集 字符型变量 sas程序 字符变量 输出格式 数据 如何

分箱处理

SAS本身的数据库不适应BIG  DATA

写个宏语句,把每个字段的最大字符数length算出来,之后根据每个字段的最大length,重新设置字段大小看看,是不是能减小数据库大小

huntdreamer 发表于 2012-7-10 15:46
SAS本身的数据库不适应BIG  DATA

你不是开玩笑吧？

前面option中加 compress=yes

SAS对字符变量以固定长度存储，意味行的物理长度是一样的，即使各字符变量没填满，后面会以空格补齐，可以用数据集选项 compress=yes,将记录物理长度改为可变长的，这样可以节省很多空间。
另外，你分析，用keep=，只分析你要的变量，不要整个行都读入PDV。

sabrinaxin 发表于 2012-7-11 10:59
前面option中加 compress=yes

请问我要压缩一个数据集，是这样写吗？

1. option compress=yes;
   
2. data test1;
   
3. set test;
   
4. run;

复制代码

option compress=yes; 加这个选项 压缩率会提升很多

都说了是影响速度，不是缺少存储
添加了压缩岂不是更加影响速度？

在数据相对固定的情况下，如楼上某位说的，适当修改下char的长度，如果仅作建模使用，优化代码，根据变量的不同算法要求，好可以考虑将字符串代码化做成format......