求最优算法：累计相乘

code	date1	date2	r
1	1	1	0.1
1	1	2	0.2
1	2	1	0.3
1	2	2	0.4
2	1	1	0.1
2	1	2	0.2
2	2	1	0.3
2	2	2	0.5

根据上面的表格生成下面的表格
其中rr是相同date2 的数据的累计相乘

code	date1	rr
1	1	0.02
1	2	0.12
2	1	0.02
2	2	0.15

注意：由于数据量很大（几亿的数据量），所以求优化的算法。

sql语句尽量不要！proc sort也会效率很低。

向各位高手致敬！

抛个砖。。。

data test;
input code date1 date2 r ;
cards;
2 1 1 0.1
2 1 2 0.2
2 2 1 0.3
2 2 2 0.5
1 1 1 0.1
1 1 2 0.2
1 2 1 0.3
1 2 2 0.4
;
run;

proc tabulate data=test out=aa;
    class code date1 r;
    table code,date1,r;
run;

data wanted;
    set aa;
by code date1;
retain rr;
keep code date1 rr;
if first.date1 then rr=1;
rr=rr*(r**N);
if last.date1 then output;
run;

我只想到sql的求和和data步累乘
静等其他好的算法......

原始数据集按code,date1排好序了吗?
date2起什么作用?是说每个code,date1组只有固定的2条记录吗?
计算后的结果数据集大概能有多少条记录?

我觉得SAS是做不出来的

4# hopewell

原始数据集按code,date1排好序了吗?
没有进行排序，不过已经是group的。

date2起什么作用?是说每个code,date1组只有固定的2条记录吗?


date2是二级时间，在进行计算的时候实际上是没有用处的。
每个code,date1组有很多条记录，不固定。

计算后的结果数据集大概能有多少条记录?

总的数据有5千万，最后能剩下四分之一。（由于亿级数据处理不现实，所以拆分为7个文件，实际上总的数据有5千万*7）

DATA步
跑几个小时应该没得问题

不太确定,这种数量级的数据已经远远超出了我的认知水平,祝你好运.

1. data raw;
   
2.     input code date1 date2 r;
   
3. cards;
   
4. 2 1 1 0.1
   
5. 2 1 2 0.2
   
6. 2 2 1 0.3
   
7. 2 2 2 0.5
   
8. 1 1 1 0.1
   
9. 1 1 2 0.2
   
10. 1 2 1 0.3
    
11. 1 2 2 0.4
    
12. ;
    
13. data _null_;
    
14.     if _n_=1 then do;
    
15.         declare hash h(hashexp: 16, ordered: 'a');
    
16.         h.defineKey('code', 'date1');
    
17.         h.defineData('code', 'date1', 'rr');
    
18.         h.defineDone();
    
19.         call missing(code, date1, rr);
    
20.     end;
    
21.     set raw end=last;
    
22.     if h.find()=0 then do;
    
23.         rr=r*rr;
    
24.         rc=h.replace();
    
25.     end;
    
26.     else do;
    
27.         rr=r;
    
28.         rc=h.add();
    
29.     end;
    
30.     if last then rc=h.output(dataset: 'out');
    
31. run;

复制代码

ERROR: 内存失败时，Hash 对象添加了 14942192 个项。
FATAL: 内存不足，无法执行 DATA 步程序。 EXECUTION 过程中止。
NOTE: SAS 系统由于内存不足而停止了对该步的处理。
NOTE: 从数据集 C.A 读取了 74710962 个观测。
NOTE: “DATA 语句”所用时间（总处理时间）:
      实际时间         8:52.00
      CPU 时间         1:51.92


hash的速度果然很快，但是对内存容量可能要求很高，我是1G内存的PC，悲剧了......

1. data a;
   
2.         do code=1 to 10000000 by 1;
   
3.                 do date1= 1 to 10 by 1;
   
4.                         do date2 = 1 to 5 by 1;
   
5.                                 r=ranuni(123);
   
6.                                 output;
   
7.                         end;
   
8.                 end;
   
9.         end;
   
10. run;

复制代码

我的测试数据是这样的
sql执行时间是
NOTE: “PROCEDURE SQL”所用时间（总处理时间）:
      实际时间         49:08.34
      CPU 时间         12:20.10

应该是这个问题执行效率的一个上限吧