数据量大，分组回归速度慢，可以尝试下parallel多线程

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

      之前做三因子的模型，数据量比较大，分组回归速度那叫一个慢，后来尝试了parallel大大提高了速度，下面来做一个测试：

      使用test.dta数据，需要循环回归36058次，使用以下命令来计算下运行时间：

1. use test.dta, clear
   
2. timer on 1
   
3. statsby _b _se, by(stkcd month) clear: reg  R MKT SMB HML
   
4. timer off 1
   
5. timer list 1

复制代码

     最终用时：928.83秒。。。

   

      接下来使用parallel命令，使用以下命令来计算下运行时间：

1. use test.dta, clear
   
2. * 如果没有安装parallel的话使用以下命令安装
   
3. ssc install parallel, replace
   
4. * 设置线程数量
   
5. parallel setclusters 8
   
6. egen id=group(stkcd month)
   
7. sort id
   
8. timer on 2
   
9. parallel, by(id): statsby _b, by(stkcd month) clear: reg  R MKT SMB HML
   
10. timer off 2
    
11. timer list 2

复制代码

      最终用时：180.48秒！！！

      测试所用的数据：
       test.rar (4.6 MB) 本附件包括：

• test.dta

2018-7-27 23:28:59 上传

      两者计算出来的结果是完全一致的。


      当然parallel还有更多用法，可以help parallel了解下
      也可以登Github上去看下：https://github.com/gvegayon/parallel

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

关键词：运行时间 三因子 数据量 多线程 大提高 stata 大数据 parallel 多线程

Thank you for sharing!~

求问为什么我的cluster总是有connection error？[img][/img]

请问为什么我运行parallel后总是显示  ‘cluster 0001 has finished with a connection error -601- (timeout) (see more)...’

楼主可以详细解释一下这一行代码吗？parallel, by(id): statsby _b, by(stkcd month) clear: reg  R MKT SMB HML