相似文件
换一批
经管之家送您一份
应届毕业生专属福利!
求职就业群
感谢您参与论坛问题回答
经管之家送您两个论坛币!
+2 论坛币
一、大数据时代背景 1.纽约股票交易所,每天产生数据量为4-5terabytes(兆字节) 2.Facebook有超过240 billon照片 ,每个月增长7petabytes,每天有18亿张照片上传或被传播,形成海量数据 3.家谱网站Ancestry.com,存储约10petabyte数据 4.互联网档案约存储18.5 petabytes数据 5.瑞士日内瓦附近的大型粒子对撞机,每年产生约30petabyte数据 6.2015年落成的世界最大观天望远镜主镜头像素为3.2G,每年将产生6PB天文图像数据; 7.欧洲生物信息研究中心(EBI)基因序列数据库容量已达5PB;中国深圳华大基因研究所成为全世界最大测序中心,每天产生300GB基因序列数据(每年100TB)
中国大数据市场正处于高速发展期根据易观的报告,能够发现目前已经处在大数据市场高速发展的尾巴,企业深度利用数据价值的意识迅速提高,数据资产管理成为热门概念,企业开始愿意通过数据交易进行变现,各种与大数据有关的政策及法律法规不断完善。
二、为什么需要Hadoop Hadoop已经被业界公认为是用于大数据的通用存储和分析平台”,许多大型企业软件供应商,开始对Hadoop提供商业支持,包括EMC、IBM、Microsoft和Oracle,以及专门的Hadoop公司如Cloudera、Hortonworks和MapR。
Hadoop应用大致可以分为这两类: IT优化: 已经实现的应用和业务搬迁到Hadoop平台,以获得更多的数据、更好的性能或更低的成本。这几年Hadoop在数个此类应用场景中已经被证明是非常适合的解决方案,包括:历史日志数据在线查询、ETL任务、数据仓库offload
业务优化 在Hadoop上实现原来尚未实现的算法、应用,从原有的生产线中孵化出新的产品和业务,创造新的价值,通过新业务为企业带来新的市场和客户,从而增加企业收入。
三、大数据分析应用——Web网站日志分析 案例演示流程: step 1: 使用Flume来完成Apache服务器日志收集工作,并自动上传到指定的HDFS系统中存储; step 2: 使用MapReduce将HDFS中进行数据清洗 step 3: 使用Hive对清洗后的数据进行统计分析 step 4: 使用Sqoop将Hive统计后的数据导出到关系型数据库MySQL step 5: 使用数据可视化技术呈现分析结果
Web网站日志案例具体应用参考以下视频,请在WIFI状态下观看
小白如何快速大数据领域呢?现在有一个好机会,CDA大数据就业班助你入行,高薪就业。
CDA大数据就业班适合时间充裕、零基础想转行大数据的学员。比如在校数学,经济,计算机,统计等专业教师和学生,想职位晋升、薪酬提高学员系统学习,毕业可推荐相关工作单位。培训师资目前均来自学界、实务界相关领域的讲师、教授、专家、工程师以及企业资深分析师。
CDA大数据符合企业用人需求,从大数据编程——数据库编程——大数据仓库——大数据分析方法——数据挖掘算法——大数据真实项目应用——大数据解决方案等,主要软件应用Hadoop、HDFS、MapReduce、Hbase、Hive、Sqoop等理论知识和大数据平台生态环境,重点学习数据分析基础和数据挖掘经典算法实现,Spark大数据分析工具和Python完美结合让你事半功倍。
PS:2017年11月19日大数据就业班第七期如期开课,每周开放免费试听名额,请私聊张老师
(点击查看课程详情)
在线咨询: 手机:13718534278(微信) QQ:2931495854 邮箱:zhangwei@pinggu.org
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
|