数据集观测条数几百万条，PROC SORT效率低、占用资源大，如何破？

zhengbo8 发表于 2014-1-8 11:03
hash表，试试。

另外我问下，hash的add方法，是按照指针的方式插入的吗？

还是随意的插入到了底部？

最近忙，好久没研究这个了，忘了。有兴趣了，可以一起研究。
{:2_39:}主要是我这也没这样的数据用来测试，要不就只有自己写写模拟的数据了。

Tigflanker 发表于 2015-5-22 08:58
另外我问下，hash的add方法，是按照指针的方式插入的吗？

还是随意的插入到了底部？

最近忙，好久没研究这个了，忘了。有兴趣了，可以一起研究。
{:2_34:}主要是我这也没这样的数据用来测试，要不就只有自己写写模拟的数据了。

Tigflanker 发表于 2015-5-22 08:58
另外我问下，hash的add方法，是按照指针的方式插入的吗？

还是随意的插入到了底部？

Sort with SAS and BigData.ppt (637.5 KB)

2015-5-22 10:01:50 上传

A Sort of a Mess — Sorting Large Datasets on Multiple Keys.pdf (105.22 KB)

2015-5-22 10:01:40 上传

希望有一些帮助或启发。

应该很快啊，怎么要这么长时间，你把代码贴出来。看看你的排序到底是在哪里进行的。

Tigflanker 发表于 2015-5-22 08:58
另外我问下，hash的add方法，是按照指针的方式插入的吗？

还是随意的插入到了底部？

再贴两篇。
A Method for Sorting a Large Data Set with Limited Memory.pdf (8.44 KB)

2015-5-22 10:11:01 上传

Sorting a Large Data Set When Space is Limited.pdf (158.34 KB)

2015-5-22 10:12:39 上传