发帖
雷达卡
大数据平台的通用架构_大数据
以下是对大数据平台的通用架构的介绍，从本质上来讲，大数据平台的目标都是完成对数据的采集、清洗、加工、加载、建模分析，可视化的过程。希望这篇文章对大家有帮助。
1. 数据采集
采集是指集中企业待分析的原始数据的过程，例如可能是包含但不限于以下：
1. 企业服务器的日志；
2. 企业各种信息系统的数据（CRM/ERP/数据库）；
3. 企业的网站/App/小程序等客户端的用户行为记录；
4. 使用的第三方系统（客服、IM、HR）提供的API；
采集的方式基本上分为两种：
PUSH模式：企业的数据一般来讲都是散落在很多地方，各种系统或者各种服务器，所以有一个数据采集中心，然后在各个数据产生的位置都有一个agent（可以认为是采集程序）然后朝数据采集中心发送数据的过程就是PUSH，比如在App或者网站植入了SDK，定期发送采集到的用户行为数据到服务端的过程就是PUSH模式；
PULL模式：企业有数据采集中心，从采集中心去访问获取各个数据产生点的数据，这个过程就是PULL，比如从企业的数据中心去调用第三方系统的API获取数据，就是PULL模式。
2. 数据的清洗
数据清洗的过程是指对数据进行一些处理，过滤无用的信息，规范得到我们能用到的数据。包括但不限于以下情况：
1. 过滤SPAM垃圾数据，例如被攻击/造假/BUG产生的大量数据
2. 抽取有用字段，例如上传的数据包含的信息很多，我们只用到一小部分
3. 原始数据有很多格式不规范，要统一格式
3. 数据的加工
数据加工是指清洗后的数据，还需要补充一些信息，可能是通过数据库查询出来的，也可能是通过计算规则计算出来的，或者算法技术加工出来的新字段。
例如，数据里面有个ip地址，需要计算出用户的地理位置，那么地理位置就是加工出来的字段。一般来讲，对于大多数大数据分析平台而言，加工是很重要的过程，基本上最后可用来进行分析的数据，要通过这一步充分完成加工计算。
4. 数据加载
数据加载是指把加工后的数据加载到合适的存储，可能是Hadoop集群的HDFS上，也可能是某个数据库，有可能是文件等等其他存储类型。
5. 建模分析
建模分析是指在查询前需要把数据进行处理，以优化查询，例如以下：
1. 数据仓库建好了仓库模型，要把数据加载到数据仓库中
2. 需要做数据索引，把数据进行索引优化
数据模型很重要，是整个数据处理分析的核心之一。每个企业都有自己的核心业务，以及核心目标，并且也有各自的数据源以及数据类型，所以也就意味着每一家企业的数据模型多少都会有些差异，也就是最个性化的一个地方，数据仓库就是这个数据模型的载体，一般来讲数据就是数据库技术，常见数据库之外，还有Infobright，Greenplum，Vertica，也有基于Hadoop技术的，用HDFS作为基础的存储，然后使用的查询引擎，包括Imapla，Presto，SparkSQL等等。
通常而言，数据团队要进行复杂的查询和分析，都是在此基础之上，通过SQL语言或者代码查询来实现的。
6. 可视化
可视化是最终分析结果要展示的过程，例如“双十一”酷炫的图表，一般企业都有自己的数据看板等等。
可视化背后主要是执行SQL或者运行代码得到的数据结果，可能是一维，也可能是二维，还有可能是多维，然后选择合适的图表类型进行展示，例如“线状图”、“柱状图”、“饼状图”、“雷达图”、“中国地图”等等。
大多数企业的分析现状：自建或者第三方统计平台（百度统计/友盟/Talkingdata）+ 数据BI团队（早期团队人数很少，甚至是一两个工程师兼任）；
自建或者第三方统计平台：大多都是汇总统计指标平台。对通用指标（例如PV、UV、DAU、留存）的计算，对企业设定好的业务行为（打车、订单、参与、金额）等汇总统计人数或者次数，数据平台存储的都是指标的汇总结果。指标的选择和下钻分析都需要数据团队的支撑。
数据BI团队：完成基础数据平台的搭建，并且梳理核心业务分析目标，对基础数据进行采集建模，并完成各个部门的分析需求。
所以大家可以看到最开始上面那张图就是大多数企业现在的分析现状：
基本上先统一由大数据部门整理输出各部门日常固定的数据指标，然后做个可视化，比如一个简单的页面
如果有新的分析需求，已经建模好的，那么数据团队就需要根据业务去写SQL然后得到结果，如果没有建模好的，就需要开始采集原始数据，然后重新开始清洗，这样一个过程，往往都比较反复耗时，分析效率很低
主要原因是，这样一种分析流程，是由固定的业务指标驱动数据的采集和处理，然后数据处理的过程基本上都是多维汇总的统计和计算
所以也就造成了问题：各个业务部门的分析需求需要依赖数据团队专业的数据分析能力进行问题建模，并且依赖他们SQL语言或者代码能力完成分析目标。但数据部门往往也有核心的分析需求和任务，所以公司变大过程中很多问题变得很低效。
京公网安备 11010802022788号
