原创：如何让Stata更快的进行maximum likelihood计算

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

这几天正在使用maximum likelihood方法估计discrete choice模型。很多情况下，计算likelihood的程序需要根据被解释变量y的取值来计算likelihood `lnf'。达成这个目的常见的方法是使用if条件语句。例如：

1. program lfprobit  
   
2.     version 10.1  
   
3.     args lnf xb  
   
4.     local y "$ML_y1"  
   
5.     quietly replace `lnf' = ln(  normal(`xb')) if `y'==1  
   
6.     quietly replace `lnf' = ln(1-normal(`xb')) if `y'==0
   
7. end

复制代码

当数据量较大（例如，超过10万）时，这样计算likelihood耗费的时间太长，从而影响这个maximum likelihood估计的速度。这时，只要对算法稍加改进，就能大幅度提高运算速度！

这个改进其实很简单。原理就是用in语句代替if语句。大家一看下面的例子就会明白了。

剧透一下：试验结果表明，当数据包含20万观测值时，使用in条件比默认的使用if条件来计算likelihood可以使运算速度减少（相对于默认算法）40%至50%!

1. // testing speed of updating likelihood function
   
2. // =============================================
   
3. 
   
4. foreach iter in 100 200 500 1000 {
   
5. 
   
6. clear all
   
7. 
   
8. // set up testing parameters
   
9. set seed 130507
   
10. set obs 200000
    
11. 
    
12. // setting up dependent variable so it assumes values 1 to 3
    
13. cap drop depvar
    
14. gen depvar = runiform()
    
15. qui su depvar, d
    
16. replace depvar = 1 if depvar<r(p25)
    
17. replace depvar = 2 if depvar!=1&depvar<r(p75)
    
18. replace depvar = 3 if depvar!=1&depvar!=2
    
19. // confirm that depvar is set correctly
    
20. noi su depvar
    
21. noi levelsof depvar
    
22. 
    
23. // setting up xb variable and placeholder for likelihood
    
24. cap drop lnf xb
    
25. gen lnf = .
    
26. gen xb = runiform()
    
27. 
    
28. // initialize timer
    
29. timer clear 1
    
30. timer clear 2
    
31. timer clear 3
    
32. timer clear 4
    
33. 
    
34. // NOTE: the data is NOT sorted by depvar.
    
35. 
    
36. // first method of updating the likelihood, the default, as benchmark
    
37. timer on 1
    
38. forvalues i = 1/`iter' {
    
39.     replace lnf=ln(normal(0-xb)) if depvar==1
    
40.     replace lnf=ln(normal(2-xb)-normal(0-xb)) if depvar==2
    
41.     replace lnf=ln(1-normal(2-xb)) if depvar==3
    
42. }
    
43. timer off 1
    
44. 
    
45. // second method of updating the likelihood
    
46. timer on 2
    
47. forvalues i = 1/`iter' {
    
48.     replace lnf=ln(normal(0-xb))*(depvar==1)+ln(normal(2-xb)-normal(0-xb))*(depvar==2)+ln(1-normal(2-xb))*(depvar==3)
    
49. }
    
50. timer off 2
    
51. 
    
52. // now sort the data and see if speeds up the default method
    
53. sort depvar
    
54. timer on 3
    
55. forvalues i = 1/`iter' {
    
56.     replace lnf=ln(normal(0-xb)) if depvar==1
    
57.     replace lnf=ln(normal(2-xb)-normal(0-xb)) if depvar==2
    
58.     replace lnf=ln(1-normal(2-xb)) if depvar==3
    
59. }
    
60. timer off 3
    
61. 
    
62. // finally, try the updating method using in conditions
    
63. // as counting is part of the procedure, start timer before counting
    
64. timer on 4
    
65. // note that a forvalues loop can be easily constructed if number of
    
66. // categories of the dependent variable is unknown
    
67. sort depvar
    
68. count if depvar==1
    
69. local start1 = 1
    
70. local end1 = r(N)
    
71. count if depvar==2
    
72. local start2 = `end1'+1
    
73. local end2 = `start2'+r(N)-1
    
74. local start3 = `end2'+1
    
75. // finished counting, start updating using in conditions
    
76. // note that without loss of generality it is assumed that the entire data set is used.
    
77. // unused portion of the data set can be dropped after preserve then restore
    
78. // after the program finished
    
79. forvalues i = 1/`iter' {
    
80.     replace lnf=ln(normal(0-xb)) in `start1'/`end1'
    
81.     replace lnf=ln(normal(2-xb)-normal(0-xb)) in `start2'/`end2'
    
82.     replace lnf=ln(1-normal(2-xb)) in `start3'/l
    
83. }
    
84. timer off 4
    
85. 
    
86. // list results
    
87. noi di "Benchmark: using if conditions before sorting"
    
88. noi timer list 1
    
89. noi di "Method 2"
    
90. noi timer list 2
    
91. noi di "Using default method after sorting"
    
92. noi timer list 3
    
93. noi di "Proposed alternative using in conditions"
    
94. noi timer list 4
    
95. 
    
96. // clean up
    
97. drop depvar lnf xb
    
98. timer clear 1
    
99. timer clear 2
    
100. timer clear 3
     
101. timer clear 4
     
102. 
     
103. } // end foreach

复制代码

执行的结果是：

1. Number of iterations:  100
   
2. Benchmark: using if conditions before sorting
   
3.    1:      2.36 /        1 =       2.3560
   
4. Method 2
   
5.    2:      4.87 /        1 =       4.8670
   
6. Using default method after sorting
   
7.    3:      4.35 /        1 =       4.3530
   
8. Proposed alternative using in conditions
   
9.    4:      1.37 /        1 =       1.3730

复制代码

1. Number of iterations:  200
   
2. Benchmark: using if conditions before sorting
   
3.    1:      4.88 /        1 =       4.8830
   
4. Method 2
   
5.    2:      9.59 /        1 =       9.5940
   
6. Using default method after sorting
   
7.    3:      8.74 /        1 =       8.7360
   
8. Proposed alternative using in conditions
   
9.    4:      2.65 /        1 =       2.6520

复制代码

1. Number of iterations:  500
   
2. Benchmark: using if conditions before sorting
   
3.    1:     11.72 /        1 =      11.7160
   
4. Method 2
   
5.    2:     23.81 /        1 =      23.8050
   
6. Using default method after sorting
   
7.    3:     21.67 /        1 =      21.6680
   
8. Proposed alternative using in conditions
   
9.    4:      6.63 /        1 =       6.6300

复制代码

1. Number of iterations: 1000
   
2. Benchmark: using if conditions before sorting
   
3.    1:     23.35 /        1 =      23.3540
   
4. Method 2
   
5.    2:     48.55 /        1 =      48.5470
   
6. Using default method after sorting
   
7.    3:     43.29 /        1 =      43.2900
   
8. Proposed alternative using in conditions
   
9.    4:     13.26 /        1 =      13.2600

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：Likelihood Maximum Stata tata like 如何 计算 version replace choice

为什么sort之后，变慢了呢

kerrydu 发表于 2014-4-19 17:04
为什么sort之后，变慢了呢

把你的程序和运行结果贴出来。你在你机器上运行我贴出来的那个程序了吗？结果如何？

我在我的新电脑上重新运行了一下上面的程序，效果还是很明显的。

1. . run "C:\SYStemp\STD03000000.tmp"
   
2. 
   
3.     Variable |       Obs        Mean    Std. Dev.       Min        Max
   
4. -------------+--------------------------------------------------------
   
5.       depvar |    200000           2    .7071085          1          3
   
6. 1 2 3
   
7. Benchmark: using if conditions before sorting
   
8.    1:      1.43 /        1 =       1.4260
   
9. Method 2
   
10.    2:      2.35 /        1 =       2.3450
    
11. Using default method after sorting
    
12.    3:      2.61 /        1 =       2.6120
    
13. Proposed alternative using in conditions
    
14.    4:      0.83 /        1 =       0.8300
    
15. 
    
16.     Variable |       Obs        Mean    Std. Dev.       Min        Max
    
17. -------------+--------------------------------------------------------
    
18.       depvar |    200000           2    .7071085          1          3
    
19. 1 2 3
    
20. Benchmark: using if conditions before sorting
    
21.    1:      2.68 /        1 =       2.6770
    
22. Method 2
    
23.    2:      4.66 /        1 =       4.6620
    
24. Using default method after sorting
    
25.    3:      5.27 /        1 =       5.2690
    
26. Proposed alternative using in conditions
    
27.    4:      1.80 /        1 =       1.8000
    
28. 
    
29.     Variable |       Obs        Mean    Std. Dev.       Min        Max
    
30. -------------+--------------------------------------------------------
    
31.       depvar |    200000           2    .7071085          1          3
    
32. 1 2 3
    
33. Benchmark: using if conditions before sorting
    
34.    1:      6.89 /        1 =       6.8920
    
35. Method 2
    
36.    2:     11.87 /        1 =      11.8710
    
37. Using default method after sorting
    
38.    3:     12.93 /        1 =      12.9290
    
39. Proposed alternative using in conditions
    
40.    4:      5.02 /        1 =       5.0190
    
41. 
    
42.     Variable |       Obs        Mean    Std. Dev.       Min        Max
    
43. -------------+--------------------------------------------------------
    
44.       depvar |    200000           2    .7071085          1          3
    
45. 1 2 3
    
46. Benchmark: using if conditions before sorting
    
47.    1:     14.89 /        1 =      14.8870
    
48. Method 2
    
49.    2:     27.89 /        1 =      27.8860
    
50. Using default method after sorting
    
51.    3:     28.78 /        1 =      28.7780
    
52. Proposed alternative using in conditions
    
53.    4:     10.99 /        1 =      10.9900
    
54. r; t=141.62 9:12:49

复制代码

夏目贵志 发表于 2014-4-22 21:34
我在我的新电脑上重新运行了一下上面的程序，效果还是很明显的。

我也试过了，确实是这样。但实质上第3与第1没区别，不知道为什么加了个sort反而慢了这么多，难以理解

kerrydu 发表于 2014-4-22 22:02
我也试过了，确实是这样。但实质上第3与第1没区别，不知道为什么加了个sort反而慢了这么多，难以理解

不好意思，我一开始没看明白你的问题。现在明白了。

kerrydu 发表于 2014-4-22 22:02
我也试过了，确实是这样。但实质上第3与第1没区别，不知道为什么加了个sort反而慢了这么多，难以理解

我又反复做了一下这个实验，尝试了很多别的方法（比如反向sort和随机sort等等），也尝试了一些别的命令，比如count。似乎只有replace才会存在这个现象。

我这两个月实在事情太多。你要是有兴趣的话可以去statalist发个邮件问问。说不定这个是stata的bug呢。

我用的stata12。别的版本我没试过。