楼主: liuben822
1633 9

[Hadoop] Python 写的脚本语言可以直接在Hadoop 上运行吗? [推广有奖]

  • 0关注
  • 0粉丝

硕士生

11%

还不是VIP/贵宾

-

威望
0
论坛币
98 个
学术水平
0 点
热心指数
3 点
信用等级
0 点
经验
2577 点
帖子
61
精华
0
在线时间
161 小时
注册时间
2012-5-2
最后登录
2018-11-10

liuben822 发表于 2018-6-24 02:11:39 来自手机 |显示全部楼层
我的意思是Python 写的脚本语言不经任何处理是否可以在Hadoop 上运行,还是说,需要将脚本进行mapreduce转化后才能运行,如果是转化,怎么转化,很难吗?
关键词:脚本语言

stata SPSS
liuben822 发表于 2018-6-25 08:13:21 来自手机 |显示全部楼层
顶一下
回复

使用道具 举报

hunter.Z 在职认证  发表于 2018-6-26 10:22:23 |显示全部楼层
首先 由于python默认应用于单机环境,因此python脚本如果没有按照Hadoop的模式来编写、部署是不能直接在hadoop上运行的。
MapReduce是hadoop处理数据的引擎(框架),在hadoop上运行的程序都是基于这种思想来编写的。因此Python脚本必须做这样的转换才可以。可以参考一下 pydoop、mrjob 、hadoop streaming、这些来对自己代码做转换。因为是进群模式运行,因此集群中的每个节点都要安装相同的python环境(python解释器+相关的包)。
回复

使用道具 举报

liuben822 发表于 2018-6-26 12:57:44 来自手机 |显示全部楼层
hunter.Z 发表于 2018-6-26 10:22
首先 由于python默认应用于单机环境,因此python脚本如果没有按照Hadoop的模式来编写、部署是不能直接在had ...
请问这种转换是分两步吗?先写单机环境下的Python 脚本,然后再进行mapreduce 转换。还是直接用Python 语言就可以直接写基于Hadoop的程序?
未来会不会有像hive 这样的语言壳子,直接将单机环境下的Python 脚本直接转换成Hadoop 环境下运行的脚本,这样就不需要了解Hadoop 了。
回复

使用道具 举报

hunter.Z 在职认证  发表于 2018-6-26 13:58:05 |显示全部楼层
liuben822 发表于 2018-6-26 12:57
请问这种转换是分两步吗?先写单机环境下的Python 脚本,然后再进行mapreduce 转换。还是直接用Python 语 ...
直接按MapReduce方式写  map和 reduce部分的代码,其实可以选择用spark ,spark提供了更全面的python接口,开发起来效率更高一些。
回复

使用道具 举报

liuben822 发表于 2018-6-27 15:27:41 |显示全部楼层
hunter.Z 发表于 2018-6-26 13:58
直接按MapReduce方式写  map和 reduce部分的代码,其实可以选择用spark ,spark提供了更全面的python接口 ...
非常感谢
回复

使用道具 举报

湖心亭亭主 发表于 2018-7-13 09:45:06 |显示全部楼层
pyspark  了解下
回复

使用道具 举报

hgz2373294 发表于 2018-11-2 23:11:26 |显示全部楼层
sas +hadoop可以实现楼主想法
回复

使用道具 举报

liuben822 发表于 2018-11-5 17:57:42 |显示全部楼层
湖心亭亭主 发表于 2018-7-13 09:45
pyspark  了解下
非常感谢
回复

使用道具 举报

liuben822 发表于 2018-11-5 17:58:03 |显示全部楼层
hgz2373294 发表于 2018-11-2 23:11
sas +hadoop可以实现楼主想法
恩恩,我去百度一下
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 我要注册

GMT+8, 2018-11-15 00:04