求教merge效率的问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

有两个数据集进行merge，一个为主表数据较大（billion级别record，20-30variables），另一个从表数据较小（thousands级别record，<=5variable）当对两个表进行merge或者bridge的时候，使用哪种方法的效率更高呢？
我现在能想到的有
proc sql
data merge（with and without index）
hash (内存有限，不确定)
proc format cntlin and put format
求大牛指点一下，哪种方法的效率最高，能排个顺序就更好了，多谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Merge Variables thousands Thousand Variable thousands record

个人感觉算上merge的sort或者index(proc sql也需要)以及定义format的开销
若小表为k条数量级，那么hash不会有内存问题，format定义基本不占时间
效率为

hash>=format>merge~=proc sql

希望指正

2# soporaeternus
多谢，另外问一句，如果是表B也是billion级别的和A类似，hash被排除，鉴于format只能操作一个变量，那么剩下的data （算上sort，index）和sql，哪个更有优势？大概优势有多大呢？

这个还真的不好说
不过题外一句是，如果这样规模的表原来在数据库里，就还是让数据库去做吧，肯定比SAS快

4# soporaeternus
谢了，我自己在测试一下吧。
后面还要用到一些统计方面的处理，而且最重要的一点:
用什么不用什么我说的不算⊙﹏⊙b汗......