楼主: daazx
3348 3

【科普贴】用Hadoop可以搭建一个完整的云计算平台么? [推广有奖]

  • 0关注
  • 53粉丝

VIP

教授

2%

还不是VIP/贵宾

-

TA的文库  其他...

Hadoop与大数据

威望
0
论坛币
50036 个
通用积分
7.1159
学术水平
176 点
热心指数
197 点
信用等级
114 点
经验
11003 点
帖子
446
精华
3
在线时间
1069 小时
注册时间
2007-10-19
最后登录
2021-6-1
毕业学校
深圳大学

楼主
daazx 在职认证  发表于 2014-11-27 11:09:59 |只看作者 |坛友微信交流群|倒序 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
本文选自知乎陈韬

Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以,核心在“服务”。(当然这是我的理解),关于服务,展开来就是常用的那3种(也是事实上的标准):SaaS,PaaS,IaaS。对云计算来说,公有和私有,虚拟和存储,这其实是相对讨论的核心。

回头说Hadoop。在Google三大论文的直接刺激下,Hadoop社区兴起,而在众多的开源实现中,Hadoop(主项目)可以说是所有已知云计算方面开源项目的一个Top项目。

云计算中有哪些构件?发展到目前的技术与规模,并没有一个确切的定论,今天的说的话明天可能就不一样了。但对Hadoop来说,实现了的部分,就是大部分企业在不断发展中所遇到的大部分问题。直接上图:

从整体生态系统的角度,从底层存储,到中间的计算模型和框架,再到上层的逻辑处理和流、显示,都有相应开源的实现。这就是你说的构件了。

包括我们看到的Hadoop2.0中,引入的新的处理框架,Spark,Storm,YARN(取代MR),都是Hadoop生态系统的完善与实现。

Hadoop实现的是在简易硬件的基础上进行尽量高可用性海量计算与处理的中上层模型。Hadoop处理了存储(也只是一部分),虚拟化是没有涉及的,而底层硬件Hadoop也是不涉及的,不管是Hadoop还是其他的项目,只是在软件的层面想通过纵向或者横向的拓展解决所有的问题是不现实的。Hadoop在硬件这方面,只是在实现中预留或者接入硬件特性,也就是在虚拟化这方面Hadoop只是个“APP”,不是“始作俑者”(用词不当了)。

那么,完整的云计算平台呢?

按照企业级来说,是要看具体的企业方向和企业类型的,包括IBM和VMware都有提供不同的解决方案。大致上一定是由单点-->集群-->多层(准分布式)-->硬件-->分布式(地域分布)来解决的。具体到Hadoop体系的技术,直接去对应上图就好了。

从云计算这个概念出现到今天,资料可以说“浩如烟海”了,但很多资料只是互相复制黏贴,并没有说到云计算的核心。我想提出的一个观点是,完整的云计算平台,依赖的是业务,提供的是存储与支持。


没有业务需求而是照搬网上的资料或者自认为“活用”了某些技术,都可能只是“娱人娱己”。我们看一下互联网负载均衡技术是如何发展的就就更容易理解云计算:

客户端缓存-->CDN缓存-->Apache&Nginx静态页面缓存-->PHP和Java动态内存-->Memcache&Other Nosql-->Mysql&Oracle-->HDFS&Other Big Table

从技术的角度看,所有问题解决起来都是层次化的(大家肯定都有写Demo吧),都是根据不同的需求引入不同的技术,在单层单点乃至集群都无法解决问题的时候,新的计算框架,云计算与网格计算乃至动画需要的大规模渲染都在需要的时候顺理成章的引入。总之,完整的云计算平台,对于不同的公司业务都是不同的,拿腾讯来说,平台的组件多如牛毛,“平台”只是提供最基础的服务:存储与支持,其他的都需要业务根据自身的特点在其上进行构建(相信大公司都是有自己的完整方案的,这里我就不能再说了……),至于提高什么样级别的这种“服务”,就要看公司的业务规模,需要支撑的体系,乃至公司的决策战略了等等。

建议去了解IBM与VMware的“云”,了解SkyDirve,Amazon与icloud的“服务”,就会有更明确的认识。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Hadoop 云计算平台 Had 云计算 vmware 云计算平台

已有 1 人评分论坛币 热心指数 收起 理由
aongao + 10 + 3 鼓励积极发帖讨论

总评分: 论坛币 + 10  热心指数 + 3   查看全部评分

沙发
jiannanchun 发表于 2014-12-10 11:37:23 |只看作者 |坛友微信交流群
不错,科普!
已有 1 人评分论坛币 学术水平 热心指数 收起 理由
daazx + 10 + 3 + 3 精彩帖子

总评分: 论坛币 + 10  学术水平 + 3  热心指数 + 3   查看全部评分

使用道具

藤椅
yangliu09204 发表于 2016-1-5 14:29:16 |只看作者 |坛友微信交流群
好帖,正好学习一下!

使用道具

板凳
xuluoliv 发表于 2016-1-28 21:39:40 |只看作者 |坛友微信交流群
不能,需要其他的软件,硬件

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-5-1 04:48