细数做大数据过程中遇到的13个问题-经管之家官网！

先将数据量小的情况下，可能一个复杂的sql就可以搞出来，之后搞个web服务器，页面请求的时候，执行这个sql，然后展示数据，好了，一个最简单的数据分析，严格意义上讲是统计的分析。这种情况下，分析的数据源小，分析的脚本就是在线执行的sql，分析的结果不用传输，结果的展示就在页面上，整个流程一条龙。

这个确实是，mapreduce的程序，本身的可测性没有执行一个简单的单元测试来的爽，所以效率确实不高。这个时候，hive出现了，hive是一个数据仓库分析的语言，语法类似于数据库的sql，但是有几个地方是不同的。有了hive之后，数据分析就好之前写sql一样了，按照逻辑编写hivesql，然后控制台执行。可能最大的感觉是，数据库的sql很快就能有结果，但是hive的，即使很小的一个数据分析，也需要几分钟时间。构建hive，需要在hadoop的集群上，原理很简单，就是把文件构建成表的形式(有一个数据库或者内存数据库维护表的schema信息)，之后提交写好的hivesql的时候，hadoop集群里面的程序把hive脚本转换成对应的mapreduce程序执行。这个时候，做离线的数据分析简单写脚本就行了，不用再搞java代码，然后上传执行了。