[Hadoop] Hadoop的十大应用场景 [推广有奖]

3关注
20粉丝

教授

43%

还不是VIP/贵宾

-

0%

威望: 1 级
论坛币: -203418 个
通用积分: 1202.1636
学术水平: 43 点
热心指数: 68 点
信用等级: 43 点
经验: 33824 点
帖子: 597
精华: 0
在线时间: 1278 小时
注册时间: 2015-6-30
最后登录: 2022-1-6

楼主

Frank233 发表于 2015-12-16 17:00:19 |只看作者 |坛友微信交流群|倒序 |AI写论文

是否 +2 论坛币

k人参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

Hadoop的十大应用场景

在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是Hadoop的最大用户呢？首先想到的当然是它的“发源地”，像Google这样的大型互联网搜索引擎，以及Yahoo专门的广告分析系统。也许你会认为，Hadoop平台发挥作用的领域是互联网行业，用来改善分析性能并提高扩展性。其实Hadoop的应用场景远不止这一点，深入挖掘的话你会发现Hadoop能够在许多地方发挥巨大的作用。

　　美国着名科技博客GigaOM的专栏作家Derrick Harris跟踪云计算和Hadoop技术已有多年时间，他也在最近的一篇文章中总结了10个Hadoop的应用场景，下面分享给大家：

　　在线旅游：目前全球范围内80%的在线旅游网站都是在使用Cloudera公司提供的Hadoop发行版，其中SearchBI网站曾经报道过的Expedia也在其中。

　　移动数据：Cloudera运营总监称，美国有70%的智能手机数据服务背后都是由Hadoop来支撑的，也就是说，包括数据的存储以及无线运营商的数据处理等，都是在利用Hadoop技术。

　　电子商务：这一场景应该是非常确定的，eBay就是最大的实践者之一。国内的电商在Hadoop技术上也是储备颇为雄厚的。

　　能源开采：美国Chevron公司是全美第二大石油公司，他们的IT部门主管介绍了Chevron使用Hadoop的经验，他们利用Hadoop进行数据的收集和处理，其中这些数据是海洋的地震数据，以便于他们找到油矿的位置。

　　节能：另外一家能源服务商Opower也在使用Hadoop，为消费者提供节约电费的服务，其中对用户电费单进行了预测分析。

　　基础架构管理：这是一个非常基础的应用场景，用户可以用Hadoop从服务器、交换机以及其他的设备中收集并分析数据。

　　图像处理：创业公司Skybox Imaging 使用Hadoop来存储并处理图片数据，从卫星中拍摄的高清图像中探测地理变化。

　　诈骗检测：这个场景用户接触的比较少，一般金融服务或者政府机构会用到。利用Hadoop来存储所有的客户交易数据，包括一些非结构化的数据，能够帮助机构发现客户的异常活动，预防欺诈行为。

　　IT安全：除企业IT基础机构的管理之外，Hadoop还可以用来处理机器生成数据以便甄别来自恶意软件或者网络中的攻击。

　　医疗保健：医疗行业也会用到Hadoop，像IBM的Watson就会使用Hadoop集群作为其服务的基础，包括语义分析等高级分析技术等。医疗机构可以利用语义分析为患者提供医护人员，并协助医生更好地为患者进行诊断。

经管之家（原人大经济论坛）推出CDA大数据分析师脱产就业班培训（http://cda.pinggu.org/bigdata-jy.html），以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境，详细演示hadoop三种模式的安装配置，以案例的形式，重点讲解基于mahout项目的大数据分析之聚类、分类以及主题推荐。重点培养基于Hadoop架构的大数据分析思想及架构设计，通过演示实际的大数据分析案例，使学员能在较短的时间内理解大数据分析的真实价值，掌握如何使用hadoop架构应用于大数据分析过程，使学员能有一个快速提升成为兼有理论和实战的大数据分析师，从而更好地适应当前互联网经济背景下对大数据分析师需求的旺盛的就业形势。

北京现场&远程直播

时间	课程	大纲简介
第一阶段	系统基础篇 15天	1.开学典礼及大数据概述 1天 2.linux操作系统及 2天 3.unbuntu系统介绍 1天 4.JAVA基础 5天 5.python基础 4天 6.hadoop单机、伪分布、集群搭建 2天
第二阶段	hadoop生态实战篇 15天	1.HDFS深入剖析 1天 2.MapReduce基础理论及高级编程实战 3天 3.Pig原理，部署与Pig Latin语言，应用案例 1天 4.Hive体系架构、安装与HiveQL及Hive应用案例 3天 5.Zookeeper与分布式系统开发 1天 6.HBase体系架构，集群部署，管理 2天 7.HBase数据模型，实战案例建模剖析 3天 8.strom入门及部署 1天
第三阶段	数据分析理论篇 15天	1.SPSS软件入门 1天 2.数据分析之统计基础（使用软件为SPSS） 4天 3.R软件操作入门 1天 4.数据挖掘之聚类（使用软件为R） 3天 5.数据挖掘之分类（使用软件为R） 4天 6.数据挖掘之关联规则（使用软件为R）2天
第四阶段	大数据分析案例篇 15天	1.大数据可视化技术及工具简介 1天 2.大数据背景下隐私保护及技术介绍 1天 3.大数据的分析方法--SMART模型介绍 1天 4.基于hadoop+Mahout的8个大数据分析案例实战 2天 5.Spark基础原理、集群安装并运行Spark 2天 6.Spark SQL 原理及数据整合应用 2天 7.Spark GraphX图计算方法应用 1天 8.Spark 推荐应用（ALS方法，FP-growth方法）2天 9.Spark 数据建模流程（logistics回归，决策树，朴素贝叶斯方法）3天
第五阶段	毕业篇 6天	1.毕业设计 5天 2.毕业典礼 1天