CDA数据分析师:数据科学、人工智能从业者的在线大学。
数据科学(Python/R/Julia)数据分析、机器学习、深度学习 Q群:874447702
在大数据发展的过程中,最缺少“学术圈”的理论指导。在数据仓库领域,还有教授提出一些基本的理论和框架。而在当前的大数据领域,连这种基本的框架都没有确定下来,更多的是互联网企业通过实践硬闯出来的一条结合自身企业特点的工业实践架构,理论上却没有任何指导内容。
在非结构化数据处理上,主要是引入“爬虫”方法,可以进行一定程度的内容分析。但这些内容分析的方法、效果评估等各个方面都没有理论指导,仅是实践的内容。
例如,当年的工人阶级运动,开始时是自发地和资本家在进行斗争,以罢工、集会等各种形式进行抗争,在实战中逐步积累了和资本家进行斗争的经验。但只有在马克思和恩格斯给出相关的理论之后,工人阶级的斗争才有了明确的方向,才有了指引,最终完成了社会主义革命,引领了全世界的工人运动。
同样地,没有理论的指引,目前大数据还在摸索中前进,无法有更高的追求和发展,很难实现理论层面的飞跃。
这种理论层面的急待突破问题,是大数据未来发展的致命瓶颈之一。