最近10年,没有一个技术名词能像大数据一样深入社会每个阶层,获得这么广泛的关注。大数据被讨论得如此泛滥已经引起警觉,以至于2013年后,真正从事大数据行业的人尽量避免提及这三个字。本文无意对大数据概念做任何修正,评判,或专家论调。只是一些事实,和来自20年数据分析从业经验的一些感想。
1 辉煌的十年
大数据浪潮来自三股力量推动:技术社区,市场,学术圈。
2004, Google 发表了 "MapReduce: Simplified Data Processing on Large Clusters",明确提出 MapReduce。值得注意的是,Google 并没有发明什么,'分布执行-中央汇总' 是最朴素古老的并行思想,Google 这篇文章价值在于,把这种并行思想流程化、规范化了,并提出了可能的实现架构。市场迅速对此作出反应,很多软件实现涌现出来,其中最成功的是 Hadoop, 雅虎慷慨地把它交给Apache 软件基金会。之后数年经过无数人努力发展成了完整的工具栈。
2008年前后以安卓手机为代表的智能设备开始普及,信息采集成本 ...
全文地址:https://bbs.pinggu.org/thread-3814337-1-1.html