关于mapreduce中shuffle的问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我运行任务成功了以后，通过查看日志，发现shuffle的过程特别长，一开始我以为是内存小的问题，将计算机的内存从2G提到了4G，再进行测试的时候，速度的确提高了，多机由原来的240s提到220s左右，但是单机运算由140s到75s，快了一倍左右。再次查看任务日志，map和reduce的用时减少了。但是shuffle的过程基本没变，请问有什么办法多机下能将shuffle的时间缩短呢？是哪里需要修改设置吗？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：MapReduce shuffle reduce Pred Apr shuffle