sas 提速 编程效率

一个大苹果 发表于 2012-3-31 09:59
谢谢您的热心参与。
您的意思是把原始数据分门别类的储存好，以便日后调用？另p=是什么命令？
小生驽钝 ...

p= means calculating the predict value

一个大苹果 发表于 2012-3-31 09:54
不一定，千万至万，主要是合并、提取

从数据处理的角度来讲，需要进行预处理，包括：
1. 单个表的数据筛选， 尽量的把没用的数据先去掉，这样当多表合并的时候，效率提升很多；
2. 单个表的数据排序；
3. 如果数据量真是达到千万级别了，那建立索引的时候需要注意，如果有频繁的插入、删除操作，那面效率会损失很多。建议所以在最后数据提取的时候加进去；
4. 数据分块。千万级的数据，可以考虑并行操作，这样每次容易得到处理结果，而且内存不会占用太多，这样避免虚拟内存的使用，也会减少硬盘的操作。如果能多台机器一起操作，那么这个级别的数据，也可以很快得到结果。

我也是在用sas 写论文~
写的我好失落~

第一，尽量少使用data步，可以在一个data步里面完成的处理，就在一个data步里面完成，省去数据i/o的时间，I/O的时间在数据处理里面占用是时间是大头；

第二，适当使用modify语言，和程序上面进行一些效率的优化，条条大路通罗马，花点心思找到个好的路线

serenaakh 发表于 2012-4-1 09:20
我也是在用sas 写论文~
写的我好失落~

同是天涯沦落人

小春1988 发表于 2012-4-1 13:54
第二，适当使用modify语言，和程序上面进行一些效率的优化，条条大路通罗马，花点心思找到个好的路线

收益了。
能不能说说modify语言

小春1988 发表于 2012-4-1 13:53
第一，尽量少使用data步，可以在一个data步里面完成的处理，就在一个data步里面完成，省去数据i/o的时间，I ...

我出一个题目，请兄台看看几步能完成。

题面：一个表，有a、b两个变量，a是字符型的数字，b是日期型(年月日，如2012/4/4)。
要求：1.将a变为数值型；2，将b变成20120404这种数值型；3，最后结果只保留新生变量；且，4，对应的变量名不变，即，仍为a、b。

josephwen 发表于 2012-4-1 07:58
从数据处理的角度来讲，需要进行预处理，包括：
1. 单个表的数据筛选， 尽量的把没用的数据先去掉，这样 ...

关于索引，可否多说两句，小生对此一直不甚了然

一个大苹果 发表于 2012-4-4 14:01
同是天涯沦落人

为啥俺发的帖子 一个会的人都么有~~
唉~ 更失落~~！！