Python 写的脚本语言可以直接在Hadoop 上运行吗？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我的意思是Python 写的脚本语言不经任何处理是否可以在Hadoop 上运行，还是说，需要将脚本进行mapreduce转化后才能运行，如果是转化，怎么转化，很难吗？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：脚本语言

顶一下

首先 由于python默认应用于单机环境，因此python脚本如果没有按照Hadoop的模式来编写、部署是不能直接在hadoop上运行的。
MapReduce是hadoop处理数据的引擎（框架），在hadoop上运行的程序都是基于这种思想来编写的。因此Python脚本必须做这样的转换才可以。可以参考一下 pydoop、mrjob 、hadoop streaming、这些来对自己代码做转换。因为是进群模式运行，因此集群中的每个节点都要安装相同的python环境（python解释器+相关的包）。

hunter.Z 发表于 2018-6-26 10:22
首先 由于python默认应用于单机环境，因此python脚本如果没有按照Hadoop的模式来编写、部署是不能直接在had ...

请问这种转换是分两步吗？先写单机环境下的Python 脚本，然后再进行mapreduce 转换。还是直接用Python 语言就可以直接写基于Hadoop的程序？
未来会不会有像hive 这样的语言壳子，直接将单机环境下的Python 脚本直接转换成Hadoop 环境下运行的脚本，这样就不需要了解Hadoop 了。

liuben822 发表于 2018-6-26 12:57
请问这种转换是分两步吗？先写单机环境下的Python 脚本，然后再进行mapreduce 转换。还是直接用Python 语 ...

直接按MapReduce方式写  map和 reduce部分的代码，其实可以选择用spark ，spark提供了更全面的python接口，开发起来效率更高一些。

hunter.Z 发表于 2018-6-26 13:58
直接按MapReduce方式写  map和 reduce部分的代码，其实可以选择用spark ，spark提供了更全面的python接口 ...

非常感谢

pyspark  了解下

sas +hadoop可以实现楼主想法

湖心亭亭主 发表于 2018-7-13 09:45
pyspark  了解下

非常感谢

hgz2373294 发表于 2018-11-2 23:11
sas +hadoop可以实现楼主想法

恩恩，我去百度一下