生成过去特定一段时间特定条件下某ID重复出现的次数

有如下格式数据：
id           date                  B         E         MA       Var1         Var2        Var3     
AA   1980/01/02             1          .           .
B     1980/01/31             0          .           .
C     1982/02/16             .           .           1
D     1982/03/18             .           0           .
AA    1982/03/21            .           1           .
AA    1982/03/21            1          .            .
B      1982/03/22            
AA    1983/06/30            .           0            .
E      1985/11/22            0          .             .
AA    1985/12/31            0          .             .
G      1987/01/01            .           .             1
D      1991/02/27            .           1            .
.
AA    1999/03/16            .             .            1
.
Z     2010/12/31             0           .             .


想在Var1列生成本行对应id过去5年在B＝1的情况下重复出现的次数（不计当次），在Var2列生成本行对应id过去5年在E＝1的情况下重复出现的次数（不计当次），在Var3列生成本行对应id过去5年在MA＝1的情况下重复出现的次数（不计当次）。举例来说，对应AA 1985/12/31行，Var1应显示1，Var2应显示1，Var3应显示0

我根据以前dxystata在类似问题中的程序，改写程序如下：
gen Var1=.
local N = _N
forvalues i = 1/`N' {
count if B＝＝1&id==id[`i'] & (date[`i']-date)/365.2<=5 & (date[`i']-date)/365.2>0
replace var1=r(N) in `i'
}
但是这个程序运算速度比较慢，遇到观察值为几十万的情况，几个小时也出不了结果。

哪位高人有比较好的解决办法啊？非常感谢！！！

根据jonathanjp引用Nick Cox的建议，我编写如下代码，优点是不需要任何循环，因此速度快，缺点是如果数据量比较大，例如我提供的样本，会占用大量内存，甚至超过32G。
bys id Date: egen total_B=total(B)
bys id Date: egen total_E=total(E)
bys id Date: egen total_MA=total(MA)
duplicates drop id Date, force
egen ID=group(id)
xtset ID Date
tsfill
bys ID (Date): gen sum_B=sum(total_B)
bys ID (Date): gen freq_B=l.sum_B-l1827.sum_B
bys ID (Date): gen sum_E=sum(total_E)
bys ID (Date): gen freq_E=l.sum_E-l1827.sum_E
bys ID (Date): gen sum_MA=sum(total_MA)
bys ID (Date): gen freq_MA=l.sum_MA-l1827.sum_MA
drop if missing(id)

根据jonathanjp引用Michael Barker的程序，我进行了试验，运行速度也不快，而且结果有问题，但是思路有帮助。我一开始写的那个程序把每一个obs和其他所有obs进行比较，比较是否id一致及是否在5年之内，这样在样本大的情况下，运行速度自然很慢。现在有没有可能在一开始按时间sort数据的情况下，循环程序截止在5年的时间范围内？

目前为止，不管使用循环还是不使用循环，如果想解决速度问题，voodoo提出的“分而治之”的思路是最佳方案。

我把voodoo的“分而治之”的方法评为最佳答案，这个方法唯一的缺点是需要写的程序较为复杂，但是这种“分而治之”的思路是很好用的，而且程序运行速度比较快，不过多耗费系统资源。我写的上面这个不需要循环的程序运行速度最快而且代码比较简洁，但是必须保证内存足够大（建议16G或以上）。

在楼上程序的基础上加入“分而治之”的做法，将总样本划分为若干个小样本，在我的电脑上程序运行时间缩减至楼上程序的10%！只需303秒即解决问题！！

1. //        以下程序尽管循环部分并未优化，但只需根据你的数据对数据进行清洁，并合并重复样本的信息，就可将程序运行时间缩短至原来的20%！这事实上也说明了在数据管理过程中理解数据的重要性。
   
2. //        加入“分而治之”的做法，分30个子样本，程序运行时间进一步缩减至未采取此做法前的10%！
   
3. set rmsg on
   
4. set more off
   
5. global NSMPL = 30        // 分而治之以加速循环计算效率，分NSMPL个子样本
   
6. 
   
7. use sample.dta, clear
   
8. count        // 看看共有多少样本
   
9. 
   
10. //        #1
    
11. //        根据你的说明，B E MA取值要么1，要么missing，不应为0啊？
    
12. //        将0替换为.，然后删除三个变量均为.的样本
    
13. //        竟然多达26万个，节约50%的时间
    
14. foreach v in B E MA {
    
15.         replace `v' = . if `v' == 0
    
16. }
    
17. drop if missing(B) & missing(E) & missing(MA)
    
18. save sample2, replace
    
19. 
    
20. //        #2
    
21. //        循环计算
    
22. /*
    
23.         //        #2.0
    
24.         //        10000样本先试一下
    
25. sort id date
    
26. keep in 1/10000
    
27. */
    
28.         //        #2.1
    
29.         //        用`v't合并重复样本的信息，然后删除重复样本
    
30. foreach v in B E MA {
    
31.         bysort id date: egen `v't = total(`v')
    
32.         drop `v'
    
33. }
    
34. duplicates drop id date, force
    
35. 
    
36.         //        #2.2
    
37.         //        删除只有一个date的，肯定无需进入循环
    
38. by id: gen N = _N
    
39. drop if N == 1
    
40. drop N
    
41. count        // 看看还剩下多少样本
    
42. 
    
43.         //        #2.3
    
44.         //        按总样本id数划分为NSMPL个子样本
    
45. sort id date
    
46. by id: gen _tagid = (_n==1)
    
47. gen id2 = sum(_tagid)
    
48. su id2, meanonly
    
49. local cid = ceil(r(max)/$NSMPL)        // 每个子样本id数
    
50. drop _tagid
    
51. 
    
52. local j = 1
    
53. forval i = 1/`=$NSMPL-1' {        // 前NSMPL-1个子样本
    
54.         preserve
    
55.         keep if inrange(id2, `j', `j'+`cid'-1)
    
56.         drop id2
    
57.         local j = `j' + `cid'
    
58.         save _smpl`i', replace
    
59.         restore
    
60. }
    
61. keep if inrange(id2, `j', `j'+`cid'-1)        // 最后一个子样本
    
62. drop id2
    
63. save _smpl$NSMPL, replace
    
64. 
    
65.         //        #2.4
    
66.         //        三重循环计算目标变量
    
67. forval i = 1/$NSMPL {        // 子样本集循环
    
68.         use _smpl`i', clear
    
69.         foreach v in B E MA {        // 变量循环
    
70.                 gen Var_`v' = .
    
71.                 qui forval j = 1/`=_N' {        // 子样本内循环
    
72.                         su `v't if id==id[`j'] & inrange((date[`j']-date), 1, 1826)
    
73.                         replace Var_`v' = r(sum) in `j'
    
74.                 }
    
75.                 drop `v't
    
76.         }
    
77.         save _smpl`i'_, replace
    
78. }
    
79.         
    
80.         //        #2.5     
    
81.         //        和原来的样本数据合并
    
82. clear
    
83. forval i = 1/$NSMPL {
    
84.         append using _smpl`i'_
    
85. }
    
86. save _SMPL_, replace
    
87. 
    
88. use sample2, clear
    
89. merge m:1 id date using _SMPL_, nogen
    
90. save sample2, replace
    
91. 
    
92.         //        #2.6
    
93.         //        收尾
    
94. /*
    
95. foreach v in B E MA {
    
96.         replace Var_`v' = 0 if missing(Var_`v')
    
97. }
    
98. */
    
99. save sample2, replace
    
100. 
     
101. forval i = 1/$NSMPL {
     
102.         erase _smpl`i'.dta
     
103.         erase _smpl`i'_.dta
     
104. }
     
105. erase _SMPL_.dta
     
106. 
     
107. set rmsg off
     
108. set more off

复制代码

这是上面问题的示例文件。

用 12-Core Stata/MP

你的数据里有很多重复的观测，删掉后能好一些。

答案和问题是相关的。请你再澄清一下关于你样本的性质：
1. 为什么存在很多完全相同的duplicate obs？
2. id很多，且每个id的样本数多少也差很多呢？
3. 你所附的sample是你所拥有的全部样本，还是它仅是你所有样本的一个样本而已？
总之，请问这是关于什么研究的样本？

dxystata 发表于 2013-5-1 11:57
用 12-Core Stata/MP

我用的就是这个版本，跑了10多小时了，没出结果，哈哈

jonathanjp 发表于 2013-5-1 13:35
你的数据里有很多重复的观测，删掉后能好一些。

对于完全相同的行（重复值），楼主要如何处理？

jonathanjp 发表于 2013-5-1 13:35
你的数据里有很多重复的观测，删掉后能好一些。

重复的观测值是必须的，没有办法去掉

dxystata 发表于 2013-5-1 11:57
用 12-Core Stata/MP

说错了哈哈，我是4-core版本，找不到12-core版本，我也只有i7的4核8线程机器，没有12-core的机器