你真的了解机器学习、人工智能、统计建模吗？-经管之家官网！

分布式计算简单来说，是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算，然后再进行结果汇总。 目的在于分析计算海量的数据，从雷达监测的海量历史信号中分析异常信号(外星文明)，淘宝双十一实时计算各地区的消费习惯等。

海量计算最开始的方案是提高单机计算性能，如大型机，后来由于数据的爆发式增长、单机性能却跟不上，才有分布式计算这种妥协方案。 因为计算一旦拆分，问题会变得非常复杂，像一致性、数据完整、通信、容灾、任务调度等问题也都来了。

举个例子，产品要求从数据库中100G的用户购买数据，分析出各地域的消费习惯金额等。 如果没什么时间要求，程序员小明就写个对应的业务处理服务程序，部署到服务器上，让它慢慢跑就是了，小明预计10个小时能处理完。 后面产品嫌太慢，让小明想办法加快到3个小时。

平常开发中类似的需求也很多，总结出来就是，数据量大、单机计算慢。 如果上Hadoop、storm之类成本较高、而且有点大才小用。 当然让老板买更好的服务器配置也是一种办法。

四、统计建模

统计建模其实就是解决“哪一种概率模型可以产生我所观察到的数据？”这个问题，所以你可以这样做：首先从众多合理的模型中挑选出候选模型，然后评估它的未知量，再比较你所拟合出来的模型跟其他候选模型的最优化程度。

举例来说，如果你的数据代表了总数，比如这个数字代表了客人感到反胃的数量，或者细胞分裂的数量，那么泊松模型(Poisson)、负二项模型或者零膨胀模型(zero-inflated model)都有可能是适用的。

一旦选择了一个统计模型，那预估模型就会被用作调查的设备：测试假说，创建预测值和测量置信度。预估模型就会成为我们解读数据的棱镜。我们从来没有声称所选模型生成的数据，但会把它当做一个在随机的过程中合理的近似，然后再基于它去验证推论。

验证推理是统计建模中一个重要的方面。举例来说，如果要在三个可能的医疗设备中，决定哪个对病人最有益，你就会对这样的模型感兴趣：它能捕捉病人使用什么样的途径治疗是明显有效果的。总是这样，那些能很好地捕捉数据生成途径的模型，同时也是在观测数据范围内最好地做出预测的模型，或许它还能预测出新的观测结果。

在统计建模中，数据指引人们到一个随机模型的可挑选范围里，它就相当于是抽象的利益问题的概率表达，实现预测的功能和对某些事物的前瞻判断。

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP