评论列表 - 大数据 |SAS/SPSS数据统计分析师 - 文库

陶陶小秋 2015-3-22

bitcoin 2015-1-30

ldl8120 2013-11-27

中信网培字[2013]019号
关于举办“大数据的处理技巧及案例分析”高级
工程师研修班的通知
各有关单位：
大数据分析作为数据分析的前沿技术，广泛应用于物联网、云计算、移动互联网等新兴产业。为加强大数据分析，创新发展顶层设计和科学布局，推动相关人员更好理解和掌握大数据分析的关键技术原理和未来发展方向，使各企事业单位利益最大化，中国信息协会信息服务网络委员会决定举办“大数据的处理技巧及案例分析”高级研修班，望各单位收到通知后组织相关人员参加。现将有关事宜通知如下：
一、课程内容：
模块课程主题主要内容案例和演示
模块一 Hadoop的来源和动机  传统大规模系统存在的问题
 Hadoop概述
 Hadoop分布式文件系统
 MapReduce工作原理
 Hadoop集群剖析
 Hadoop生态系统对一种新的解决方案的需求
 Hadoop的行业应用案例分析
 Hadoop在云计算和大数据的位置和关系  Hadoop在淘宝、支付宝的作用
 电商眼中的Hadoop和推荐系统。
 移动大云项目(big cloud)中的Hadoop
 联通使用Hadoop/Hbase解决3G详单查询问题。
模块二 Hadoop生态系统介绍和演示  Hadoop HDFS 和 MapReduce
 Hadoop数据库之HBase
 Hadoop数据仓库之Hive
 Hadoop数据处理脚本Pig
 Hadoop数据接口Sqoop和Flume，Scribe DataX
 Hadoop工作流引擎 Oozie  Yahoo如何使用Hadoop构建大规模搜索的应用
 FaceBook 基于Hadoop构建数据仓库
模块三 Hadoop组件详解  Hadoop HDFS 基本结构
 Hadoop HDFS 副本存放策略
 Hadoop NameNode 详解
 Hadoop SecondaryNameNode 详解
 Hadoop DataNode 详解
 Hadoop JobTracker 详解
 Hadoop TaskTracker 详解  Hadoop Mapper类核心代码
 Hadoop Reduce类核心代码
 Hadoop 核心代码
模块四 Hadoop安装和部署  Hadoop系统模块组件概述
 Hadoop试验集群的部署结构
 Hadoop 安装依赖关系
 Hadoop 生产环境的部署结构
 Hadoop集群部署
 Hadoop 高可用配置方法
 Hadoop 集群简单测试方法
 Hadoop 集群异常Debug方法  Hadoop安装部署实验
 Red hat Linux基础环境搭建
 Hadoop 单机系统版本安装配置
 Hadoop 集群系统版本安装和启动配置
 使用 Hadoop MapReduce Streaming 快速测试系统
 Hadoopcore-site，hdfs-site，mapred-site 配置详解
模块五 Hadoop和数据库技术优劣势对比  Hadoop/Hive 对比 Oracle 在构建数据仓库上的优劣势
 Hadoop 如何和传统IT系统配合完成原来不可能的任务  Apache社区版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本
模块六编写MapReduce高级程序  使用 Hadoop MapReduce Streaming 编程
 MapReduce流程
 剖析一个MapReduce程序
 基本MapReduceAPI 概念
 驱动代码 Mapper、Reducer
 Hadoop流
 API 使用Eclipse进行快速开发
 新MapReduce API
 MapReduce的优化
 MapReduce的任务调度
 MapReduce编程实战
 如何利用其他Hadoop相关技术，包括Apache Hive， Apache Pig，Sqoop和Oozie等
 满足解决实际数据分析问题的高级Hadoop API  Hadoop Streaming 和 Java MapReduce Api 差异。
    MapReduce 实现数据库功能
 利用Combiners来减少中间数据
 数据压缩解压算法
 基于统计模型的压缩算法：Huffman编码、算数编码、PPM算法
 基于字典模型的编码：LZ77算法、LZ78算法、LZW算法
 面向实时数据的专用压缩算法：矩形波串法、后向斜率法、旋转门压缩算法。
 其他压缩算法：RLE文本压缩算法、BWT算法
 编写Partitioner来优化负载平衡
    直接访问Hadoop分布式文件系统（HDFS）
 Hadoop的join操作
 辅助排序在Reducer方的合并
    定制Writables和WritableComparables
 使用SequenceFiles和Avro文件保存二进制数据
 创建InputFormats OutputFormats
 Hadoop的二次排序
 Hadoop的海量日志分析
 在Map方的合并
模块七集成Hadoop到现有工作流
及Hadoop API深入探讨  存储系统
 利用Sqoop从关系型数据库系统中导入数据到Hadoop
 利用Flume导入实时数据到Hadoop
 ToolRunner介绍、使用MRUnit进行测试
 使用Configure和Close方法来进行Map/Reduce设置和关闭  使用FuseDFS和Hadoop访问HDFS
 使用分布式缓存（Distributed Cache）
 直接访问Hadoop分布式文件系统（HDFS）
 利用Combiners来减少中间数据
 编写Partitioner来优化负载平衡
模块八使用Hive和Pig开发及技巧  Hive和Pig基础
 Hive的作用和原理说明
 Hadoop仓库和传统数据仓库的协作关系
 Hadoop/Hive仓库数据数据流
 Hive 部署和安装
 Hive Cli 的基本用法
 HQL基本语法
 使用Oozie的动机
    Oozie工作流定义格式     使用JDBC 连接Hive进行查询和分析
 使用正则表达式加载数据
 HQL高级语法
 编写UDF函数
 编写UDAF自定义函数
 使用Sqoop进行数据分析
 使用oozie配置工作流
 phpHiveAdmin 安装和使用
模块九实用开发技巧  排序和搜索索引
 用Mahout进行机器学习
 Term Frequency – Inverse Document Frequency
 图论简介     Word Co-Occurrenc
 用Hadoop表示图
 一个图算法的实现：单源最短路径
二、时间及地点：
2013年12月13日—12月16日（13日全天报到）  深圳
2014年 01月14日—01月17日（14日全天报到）  北京
三、培训对象：
各地ZF云计算、物联网产业相关负责人，各企业CIO、信息中心负责人、技术总监，云计算产业投资团队，云计算应用开发商，云计算硬件设备供应商，云服务提供商，高校、科研院所云计算项目负责人等。
四、培训特色：
注重应用：分析国内实际情况，结合国际、国内成功经验。Hadoop采用实战的项目，让学员在短时间内掌握Hadoop基本运维思路和方法；对Hadoop集群进行管理和优化。并进行高效的大数据清洗和分析。
五、师资力量：
王宝会：主要从事对物联网、云计算相关技术、应用架构及实施有深入的研究。先后参与国家科技支撑项目《增强型搜索引擎研究及示范应用》、《中国移动POC项目设计与开发》、《华为公司网络高级应用协议测试》《汽车制造工艺开发平台》、《工商系统食品在线监管》项目。在国内外期刊多次发表学术论文及学术著作。
白  硕：系统架构设计师；高级软件工程师；项目总监。做hdfs相关的产品。基于hadoop2.0源代码做了修改，修改的功能主要包括了文件的读写,安全模式，添加RPC调用，FileStatus, 装载image，FsEditLog，
六、培训费用及颁发证书
培训费:3900元/人（含培训、教材、专家、场地、证书、费等费用），
食宿统一安排，费用自理。往返交通费自理。                                                                         通过考试的学员可以获得：《大数据分析高级工程师》证书。并且可通过国家信息技术人才服务网（www.ciso.net.cn）查询。
该证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。
注：报到时携带二寸免冠蓝底彩照2张，身份证和最高学历证书复印件各1张。
七、联系方式
联系人：吕成
电  话：010-51458793       手机：13366328120
传  真：010-51137523       QQ 号：931053300
E-mail：cx99@vip.sina.com