并行化机制的疑问

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我的循环中的程序分为两部分：一是从数据库下载数据，二是处理这些数据，类似以下程序：

1. data <- data.frame()
   
2. for(i in 1:1000){
   
3.   tempdata <- sqlFetch(...) ##从数据库下载数据
   
4.   data <- rbind(data,tempdata) ##处理数据
   
5. }

复制代码

由于下载数据用的包有bug，只能循环去取，不能直接下载所有数据，所以不考虑优化程序了。

由于程序速度很慢，考虑使用并行化，那么：
将以上程序并行化以后，data作为一个不断被粘贴的变量在各核中是怎样的变化？
占用时间的是下载数据这一过程，并行化是将1000次下载数据的行为分配在各核上，还是仅仅分配了数据处理的过程？

多谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：下载数据 Data 数据库 程序 数据库

并行是通过矩阵处理的。建议用gputools试试，这个好像只能在linux上使用。

顶上来，有人明白吗？