数据集观测条数几百万条，PROC SORT效率低、占用资源大，如何破？

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

RT，做项目的过程中，有一个数据集有900万条观测（变量为3个），需要使用PROC SORT对其进行排序，且整个处理过程排序次数至少2~3（排序的变量不同）。

实际操作时，实在太慢了，而且占用计算机资源太多，基本上算死机状态，这个有办法破吗？谢谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

关键词：ROC 数据集 SOR 实际操作 计算机 计算机 如何 资源 而且 项目

hash表，试试。

另外，问一下排序变量多吗，是字符串吗？

zhengbo8 发表于 2014-1-8 11:04
另外，问一下排序变量多吗，是字符串吗？

排序的变量不多，只需要对两个变量排序（一个是数值型的，一个是字符型的）。排一次要20分钟，而且计算机基本处于死机状态，我的目的是想尽量“降低硬件资源的占用”，时间长点可以忍受，但是干不了其它事情很杯具。
ps：那个vba中调用sas代码的事情我搞通了，现在就是在excel中调用sas代码进行数据集的排序。多谢之前的帮助哈！

If you don't mind efficiency, you can change sortsize option.
......

SORTSIZE=memory-specification
specifies the maximum amount of memory that is available to PROC SORT. Valid values for memory-specification are as follows:

MAX
specifies that all available memory can be used.

n
specifies the amount of memory in bytes, where n is a real number.

nK
specifies the amount of memory in kilobytes, where n is a real number.

nM
specifies the amount of memory in megabytes, where n is a real number.

nG
specifies the amount of memory in gigabytes, where n is a real number.

Specifying the SORTSIZE= option in the PROC SORT statement temporarily overrides the SAS system option SORTSIZE=. For more information about SORTSIZE=, see the chapter on SAS system options in SAS Language Reference: Dictionary.

很常见的问题，期待好的答案！！

第一种方法：在proc sort 步 options 选项中，加 sortsize=、tagsort选项。

1. proc sort data=test tagsort sortsize=200m;
   
2.        by x1 x2;
   
3. run;

复制代码

sortsize= ：用以指定可用最大内存的大小，等号后为表示内存大小的数值及单位，比如10m 。
tagsort：指定在临时文件中仅存储排序变量和记录编号，以减少对磁盘空间的使用。


第二种方法：拆分大数据集成若干小数据集，小数据集排序，再合并。

zhengbo8 发表于 2014-1-8 12:28
第一种方法：在proc sort 步 options 选项中，加 tagsort选项。
第二种方法：拆分大数据集成若干小数据集， ...

tagsort选项有啥用？

shenliang_111 发表于 2014-1-8 12:33
tagsort选项有啥用？

详见帖子上一楼。

zhengbo8 发表于 2014-1-8 12:28
第一种方法：在proc sort 步 options 选项中，加 sortsize=、tagsort选项。

昨天按照你的方法，在sort过程中增加了选项sortsize=600m、tagsort；同时还修改了sasv9.cfg中的sortsize（之前该值为256m，我改为768m），最终sort过程所花费的时间为45分钟。之前为15~20分钟。不过资源占用方面确实好了一些。