大数据的处理流程包括了哪些环节？每个环节有哪些主要工具？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

大数据的处理流程包括了哪些环节？每个环节有哪些主要工具？

有很多小伙伴刚刚入门大数据分析，对于一个完整的大数据分析流程没有一个清晰的掌握。总体来说大数据的处理流程包括采集层，预处理层，整合，分析&展现等。

采集层：采集机、报文、离线数据、在线录入等

预处理层：Hadoop map reduce、java程序、SAS可以方便处理不规则文本文件、实时型可以用storm

整合：IBM DataStage、Oracle Data Integrator

分析&展现：R、SAS、SPSS

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：大数据 Integrator datastage Oracle reduce 大数据分析 大数据采集层 大数据预处理 大数据分析展现