Rhadoop代码问题。。提示出错。。求大神啊！！

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

各位大神，以下是代码，求帮忙啊！看看哪里出错了。。。。


Sys.setenv("HADOOP_CMD"="/usr/bin/hadoop")
Sys.setenv("HADOOP_STREAMING"="/usr/hdp/2.2.0.0-2041/hadoop-mapreduce/hadoop-streaming-2.6.0.2.2.0.0-2041.jar")

##
## packages
##
require(rmr2)


## hadoop specific definitions
rmr.options(backend.parameters = list(
hadoop = list(D = "mapreduce.map.memory.mb=1024")
))

small.ints <- to.dfs(1:100)

myMapper <- function(k,v){
S=sum(v)
L=length(v)
return (keyval(key=c("S","L"), c=c(S,L)))
}

myReducer <- function(k, vv) {

return(keyval(key = k, val = sum(vv)))

}
newOut <- mapreduce(

input = small.ints,
map = myMapper,
reduce = myReducer)

localNewOut <- from.dfs(newOut)

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Hadoop Had DEFINITIONS parameters definition specific require

帮顶~~