怎么利用hash或sql将不同观测按要求重新组合？

bobguy 发表于 2012-11-6 12:14
I think the key is to figure out how many duplicates one needs to make for each and every observatio ...

你的思路和我最初的思路一样，可惜这个思路有漏洞的。用下面这个样例跑一下，您就会发现这个思路的问题。

data test;
input subjn dt Rx $ x;
cards;
2 3 A 21
2 7 C 22
2 7 B 23
2 12 D 24
2 12 B 25
;run;

不错，好好学习一下

data test;
input subjn dt Rx $ x;
cards;
1 1 A 11
1 2 B 12
1 3 C 13
2 3 A 21
2 7 C 22
2 7 B 23
2 12 D 24
3 1 B 31
3 1 C 32
3 5 A 33
3 8 t 34
3 8 p 35
3 11 D 36
3 11 E 37
;;;;

data test1(keep=subjn dt rx x n);
   set test end=last;
   by subjn dt;
   length obs $100 code $1000;
   retain obs code;
   n=_n_;
   output test1;
   if first.dt then obs=catx(",",_n_);
   else obs=catx(",",obs,_n_);

   if _n_=1 then code="data all; ";

   if first.subjn then do;
        code=trim(code)||" subjn="||strip(subjn)||"; caseid=0; ";
                dtnum=0; caseid=0; i=0;
         end;
   if last.dt then do;
                  dtnum+1;
          code=trim(code)|| " do obs"||strip(dtnum)||"="||strip(obs)||";";
                end;
   if last.subjn then do;
              code=trim(code)||"caseid+1; output;";
                do i=1 to dtnum;
                   code=trim(code)||" end;";
            end;
        end;
   if last then do;
       code=trim(code)||" run;";
       call execute(code);
        end;
run;

data all1;
   set all;
   keep caseid n;
   array temp(*) obs:;
   do i=1 to dim(temp);
      n=temp(i);
          if ^missing(n) then output;
        end;
run;

proc sort data=all1;
   by n;
run;

data wanted;
   merge test1 all1;
   by n;
   drop n;
run;

proc sort data=wanted;
   by subjn caseid;
run;

感谢各位高手的答案，有空一个一个好好学习一下，至于悬赏币，只是一个形式，就给第一位同学了。
我也贴上我后来写的程序，有点长，但一步步都做了注释，供需要的人围观

1. data test;
   
2. input subjn dt Rx $ x;
   
3. cards;
   
4. 1 1 A 11
   
5. 1 2 B 12
   
6. 1 3 C 13
   
7. 2 3 A 21
   
8. 2 7 C 22
   
9. 2 7 B 23
   
10. 2 12 D 24
    
11. 3 1 B 31
    
12. 3 1 C 32
    
13. 3 5 A 33
    
14. 3 8 B 34
    
15. 3 11 B 35
    
16. 3 11 D 36
    
17. 3 11 E 37
    
18. ;
    
19. run;
    
20. 
    
21. /*可能可以有很多方法来做这个问题，sql查询如果学得好貌似应该可以解决这个问题，无奈本人不太熟悉sql*/
    
22. /*只能用最擅长的base一点一点解决，可能不是最好的方法，但最后能解决问题*/
    
23. /*基本处理思想，把每个subjn一个一个拿出来做，做好后不断append final数据集中
    
24. 对于每个subjn，用sas的point=n语句不断跳转并输出，n由每个subjn和dt的数据结构决定*/
    
25. 
    
26. %macro dat(source=,total=);
    
27. 
    
28. %do h=1 %to &total;
    
29. data a;
    
30. set &source;
    
31. where subjn=&h;
    
32. run;
    
33. proc sql noprint;
    
34. select count(*) into:x from a;
    
35. quit;  /*将subjn=&h的人拿出生成a*/
    
36. 
    
37. %if &x^=0 %then %do; /*如果a数据集观测不为空的话*/
    
38. proc sql noprint;
    
39. create table c as select subjn,dt,count(dt) as count from a
    
40. group by subjn,dt;
    
41. quit;
    
42. data d;
    
43. merge a c;
    
44. by subjn dt;
    
45. run; /*生成的d中，每个dt都对应一个count，为该dt出现的次数*/
    
46. 
    
47. 
    
48. data f;
    
49. set d;
    
50. n=_n_;
    
51. if first.dt then output;
    
52. by dt;
    
53. run;
    
54. /*生成的f中,两个需要用来作point指针的变量，一个为count，一个为n*/
    
55. data g;
    
56. set f;
    
57. keep subjn dt count n;
    
58. n=n-1;
    
59. run;
    
60. 
    
61. 
    
62. proc sql noprint;
    
63. select count(*) into:num from g;
    
64. quit;
    
65. proc sql noprint;
    
66. select n into:n1-:n%left(&num) from g;
    
67. select count into:count1-:count%left(&num) from g;
    
68. quit; /*分别将n和count赋给多个宏变量,用于随后生成多个point=n的指针*/
    
69. 
    
70. %macro r;
    
71. data o;
    
72. %do i=1 %to #
    
73. a&i=&&n&i;
    
74. %end;
    
75. run;
    
76. %mend;
    
77. 
    
78. %r  /*o中的几个变量，为point=n第一个循环时的观测位置减去1*/
    
79. 
    
80. 
    
81. %macro sb;
    
82. data p;
    
83. set o;
    
84. %do b=1 %to #
    
85. do point&b=1 to &&count&b;
    
86. %end;
    
87. %do c=1 %to #
    
88. c&c=a&c+point&c;
    
89. %end;
    
90. output;
    
91. %do d=1 %to #
    
92. end;
    
93. %end;
    
94. keep c1-c%left(&num);
    
95. run;
    
96. %mend;
    
97. %sb  /*关键一步，生成的所有观测实际为point=n的所有指针*/
    
98. 
    
99. %macro cat;
    
100. data q;
     
101. set p;
     
102. informat d $40.;
     
103. d=catx(",",%do j=1 %to %eval(&num-1); C&j,%end; c%left(&num));
     
104. run;
     
105. %mend;
     
106. %cat  /*将所有指针用逗号连起来*/
     
107. 
     
108. proc sql noprint;
     
109. select count(*) into:num2 from q;
     
110. quit;
     
111. proc sql noprint;
     
112. select d into:e1-:e%left(&num2) from q;
     
113. quit; /*将所有的d赋给多个宏变量，即point=n中用到的宏变量*/
     
114. 
     
115. %macro last;
     
116. data last;
     
117. %do k=1 %to &num2;
     
118. do n=&&e&k;
     
119. set d point=n;
     
120. output;
     
121. end;
     
122. %end;
     
123. drop count;
     
124. stop;
     
125. run;
     
126. %mend;
     
127. %last /*最后一步，将point=n按照前面生成的宏变最不断变换位置，并输出*/
     
128. 
     
129. %if &h=1 %then %do;
     
130. data final;
     
131. set last;
     
132. if _n_=1 then stop;
     
133. run;
     
134. %end; /*先建立一个空的数据集*/
     
135. 
     
136. proc append base=final data=last force;
     
137. run; /*不断添加*/
     
138. 
     
139. %end;
     
140. %end;
     
141. 
     
142. %mend dat;
     
143. 
     
144. 
     
145. 
     
146. /*两个宏参数source代表源数据集，total为总共的病人数，如上例为3人，稍大于总人数没有关系
     
147. 最后结果保存在work的final中*/
     
148. %dat(source=work.test,total=4)

复制代码

maidenhan 发表于 2012-11-5 19:41
对不起楼主，我的思路有问题，2*3的时候ok，2*2的时候结论是错的，容我晚上在好好想想~~

学习了 谢谢

yuerqieqie 发表于 2012-11-6 04:16
感觉group的逻辑很难。

强悍

I know one of codes above is quite good. but I am not able to figure out how the group was defined so far. I had to use a macro to simulate the loop I need, which makes the code strange. Anyway, i think it does work. JingJu

1. proc sort data = test out =test0; by subjn dt;
   
2. run;
   
3. data test1;
   
4.         set test0 end =Eof; by subjn dt;
   
5.         array s[2] _temporary_;
   
6.         obs = _n_;
   
7.         if first.subjn         then do; d1 =0;                                        end;
   
8.         if first.dt                 then do; d2 =0; d1 ++1; end;
   
9.         d2 ++1;
   
10.         if last.subjn then s[1] = max(d1, s[1]);
    
11.         if last.dt                 then s[2] = max(d2, s[2]);
    
12.         if Eof then do;
    
13.                 call symputx('maxS', s[1]);
    
14.                 call symputx('maxD', s[2]);
    
15.         end;
    
16. run;%put &maxS &maxD;
    
17. data test2;
    
18.         array s[&maxS]; array t2[&maxS,&maxD] _temporary_; array t3[&maxS] _temporary_;
    
19.         set test1; by subjn dt;
    
20.         t2[d1, d2]         = obs        ;
    
21.         t3[d1]                         = d2        ;
    
22.         if last.subjn then do;
    
23.                 %macro loops;options nomprint;%local ends;
    
24.                         %do i =1 %to &maxS;        %let ends = &ends %str(end;);
    
25.                                 do i&i =1 to max(1, t3[&i]); s[&i] = t2[&i,i&i];
    
26.                         %end;
    
27.                         output; &ends
    
28.                 %mend loops;
    
29.                 %loops;
    
30.                 call missing(of t2[*]); call missing(of t3[*]);
    
31.         end;
    
32.         keep s1-s&maxS;
    
33. run;
    
34. data testOUT;
    
35.         set test2;array s[&maxS];
    
36.         do i =1 to dim(s);
    
37.                 obs0 =s[i]; if missing(s[i]) then leave;
    
38.                 do p =1 to nobs;
    
39.                         set test1 point =p nobs =nobs;
    
40.                         if obs0 =obs then output;
    
41.                 end;
    
42.         end;
    
43.         keep subjn dt Rx x;
    
44. run;

复制代码

jingju11 发表于 2012-11-7 01:10
I know one of codes above is quite good. but I am not able to figure out how the group was defined s ...

人间遍地是高手

maidenhan 发表于 2012-11-6 14:31
你的思路和我最初的思路一样，可惜这个思路有漏洞的。用下面这个样例跑一下，您就会发现这个思路的问题。 ...

Yes, I think I overlook the original request. The combination needs to be considered in here. I still see a lot of solution proposed is so complicated. Here is a solution using 'by logic' to deal with each subjn block.  Within each subjn a combination will produced exactly for dt blocks. To simplify the problem I left only relevant variables and remove any dt block with only one obs in there.

The trick part here is the number of dt blocks in each subjn in unknown before hand. I use the different sub branch to handle it. The problem calls different sub-output-routine according to the number of dt blocks in a subjn block. I only write for cases of 2, 3 dt blocks in a subjn block. It is easily to expand it.


   

data test;
input subjn dt   x ;
cards;
1 7   22  
1 7   23   
1 12  24  
1 12  25
2 7   22  
2 7   23  
2 12  24  
2 12  25  
2 12  26  
2 14  24  
2 14  25  
;
run;

data test2;
  do n=1 by 1 until (last.subjn);
     set test end=end;
         by subjn dt;
         array d[4] subjn dt order  x ;
         array ss[100, 4] _temporary_;
         array s[5] s1-s5;
         array e[5] e1-e5;
         if first.subjn then do;
       order=0;
           idx=0;
         end;
         order+1;
         if first.dt then do;
      idx+1;
          s[idx]=order;
         end;
         if last.dt then do;
          e[idx]=order;
         end;

     l2=dim(d);
     do i=1 to l2;
        ss[order,i]=d;
         end;
  end;

  group=0;


  if idx=2 then link out2;
  else if idx=3 then link out3;
  *else if idx=4 then link out4;
  *else if idx=5 then link out5;
return;

out3:
  do i=s1 to e1;
     do j=s2 to e2;
            do k=s3 to e3;
                  group+1;
                  do l=1 to l2;
            d[l]=ss[i,l];
              end;
                  output;
                  do l=1 to l2;
            d[l]=ss[j,l];
              end;
                  output;
                  do l=1 to l2;
            d[l]=ss[k,l];
              end;
                  output;
        end;
        end;
end;
return;


out2:
  do i=s1 to e1;
     do j=s2 to e2;
                  group+1;
                  do l=1 to l2;
            d[l]=ss[i,l];
              end;
                  output;
                  do l=1 to l2;
            d[l]=ss[j,l];
              end;
                  output;
        end;
end;
return;

drop s1  s2  s3  s4  s5  e1  e2  e3  e4  e5  idx  l2 i j k l;

run;

proc print;run;

   

好贴啊，人大SAS版的高手都齐了，就缺hopewell大大没放程序啦~~
我自己也来帖一个，用上面bobguy的dataset：

1. data test;
   
2. input subjn dt   x ;
   
3. cards;
   
4. 1 7   22  
   
5. 1 7   23   
   
6. 1 12  24  
   
7. 1 12  25
   
8. 2 7   22  
   
9. 2 7   23  
   
10. 2 12  24  
    
11. 2 12  25  
    
12. 2 12  26  
    
13. 2 14  24  
    
14. 2 14  25  
    
15. ;
    
16. run;
    
17. 
    
18. proc sql noprint;
    
19.   select distinct subjn into:subj separated by '|'
    
20.     from test;
    
21. quit;
    
22. 
    
23. data ff;
    
24.   if 0 then set test;
    
25. run;
    
26. 
    
27. %macro ff;
    
28.   %let k=1;
    
29.   %let id=%scan(&subj.,&k.,'|');
    
30.   %do %until(&id.= );
    
31.       proc sql noprint;
    
32.             select distinct dt into:dt separated by '|'
    
33.                   from test
    
34.                     where subjn=&id.;
    
35.           quit;
    
36.           %let j=1;
    
37.           %let dtj=%scan(&dt.,&j.,'|');
    
38.        %let dtj1=%scan(&dt.,%eval(&j.+1),'|');
    
39.            proc sql noprint;
    
40.              create table ffj as
    
41.                    select subjn, dt as dt0, x as x0
    
42.                      from test
    
43.                            where subjn=&id. and dt=&dtj.;
    
44.            quit;
    
45.           %do %until(&dtj.= );
    
46.                %let dtj1=%scan(&dt.,%eval(&j.+1),'|');
    
47.                    proc sql noprint;
    
48.                      create table ffj as
    
49.                            select a.*, b.dt as dt&j., b.x as x&j.
    
50.                              from ffj as a,
    
51.                                       (select * from test where subjn=&id. and dt=&dtj1.) as b
    
52.                                    where a.subjn=b.subjn;
    
53.                    quit;
    
54. 
    
55.                    %let j=%eval(&j.+1);
    
56.                    %let dtj=%scan(&dt.,&j.,'|');
    
57.           %end;
    
58. 
    
59.           data ffk;
    
60.             set ffj;
    
61.             %do i=0 %to %eval(&j.-1);
    
62.                     dt=dt&i.;
    
63.                         x=x&i.;
    
64.                         output;
    
65.                 %end;
    
66.           run;
    
67. 
    
68.           data ff;
    
69.                   set ff ffk;
    
70.           run;
    
71. 
    
72.      %let k=%eval(&k.+1);
    
73.      %let id=%scan(&subj.,&k.,'|');
    
74.   %end;
    
75. 
    
76.   proc sort data=ff out=final(keep=subjn dt x) nodup;
    
77.     by subjn;
    
78.         where nmiss(subjn,dt,x)=0;
    
79.   run;
    
80. %mend ff;
    
81. %ff;

复制代码

写了个简单点的，有warning和error，木有考虑其他情况，不过final还是给出了所需要的结果，嘿嘿~
也请各位高手指点warning和error的问题，有待改进！