楼主: xulimei1986
1184 7

如何优化下面的程序 [推广有奖]

  • 3关注
  • 0粉丝

博士生

68%

还不是VIP/贵宾

-

威望
0
论坛币
41 个
通用积分
0
学术水平
3 点
热心指数
8 点
信用等级
3 点
经验
22590 点
帖子
138
精华
0
在线时间
439 小时
注册时间
2012-3-20
最后登录
2019-5-11

楼主
xulimei1986 发表于 2012-10-17 11:36:36 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
利用下面的程序,表a和表b均有几个G的数据,生成temp会更大,如何优化呢?

proc sql;
create table temp as
select b.name,
        a.nick_name,
  a.server,
  a.date
from  huizong_data a, tx2_quit b
where a.nick_name=b.nick_name and a.server=b.server;
quit;
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:proc sql Server Select Create Serve 程序 优化 如何

沙发
ziyenano 发表于 2012-10-17 11:39:25
优化什么?效率?

藤椅
xulimei1986 发表于 2012-10-17 11:46:00
ziyenano 发表于 2012-10-17 11:39
优化什么?效率?
程序的目的是将表b的name匹配到表a中,用上述程序不仅运行时间长,而且需要的内存空间也非常大,是否有其他程序可以达到相同的目的,同时可以较大的提高效率并节省空间?

板凳
ziyenano 发表于 2012-10-17 11:51:18
速率问题,可以建立索引;
内存空间问题,
根据server这个字段,把表进行分割,后以nick_name匹配,不仅能解决内存不足的问题,而且速率也会提高。

报纸
xulimei1986 发表于 2012-10-17 12:19:05
ziyenano 发表于 2012-10-17 11:51
速率问题,可以建立索引;
内存空间问题,
根据server这个字段,把表进行分割,后以nick_name匹配,不仅能 ...
用proc sql 来做好像就是很费时,我做几个表都出现同样的问题了,考虑用其他脚本,有好的建议没?
家家有本难念的经,计较的少一点,会和睦许多!!

地板
timex1441 发表于 2012-10-17 12:55:07
不要用sql,效率太低
用data步
索引方面
可以用两个字段的复合索引
例如
DATA class(INDEX=(age i_ah=(age height)));
  SET sashelp.class;  
 RUN;
认真学习人工智能与大数据

7
ziyenano 发表于 2012-10-17 12:57:37
xulimei1986 发表于 2012-10-17 12:19
用proc sql 来做好像就是很费时,我做几个表都出现同样的问题了,考虑用其他脚本,有好的建议没?
sas9以上sql的效率并不差,merge的效率稍微高一点。
但是没有sql灵活,你看nick_namer和server合起来能不能作唯一的主键,如果可以,试试merge。
还有如果很多的匹配都用到同一张大表,可以用sasfile命令将这张表放在内存里,减少I/O,也能节省时间。
已有 1 人评分学术水平 热心指数 信用等级 收起 理由
xulimei1986 + 1 + 1 + 1 好的意见建议

总评分: 学术水平 + 1  热心指数 + 1  信用等级 + 1   查看全部评分

8
timex1441 发表于 2012-10-17 13:02:45
ziyenano 发表于 2012-10-17 12:57
sas9以上sql的效率并不差,merge的效率稍微高一点。
但是没有sql灵活,你看nick_namer和server合起来能不 ...
正解
认真学习人工智能与大数据

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2025-12-31 19:43