发帖
雷达卡
优酷2017年采用阿里云MaxCompute
第一个特点，简单易用。MaxCompute 有一个非常完整的链路，不管是从数据开发，还是数据运维，包括数据集成，数据质量的管控，还有整个数据地图，数据安全。当年优酷从 Hadoop 迁到 MaxCompute 之后，我们最大的体会是自己不用半夜经常起来去维护集群了，不用去跑任务了，写一个任务，别人之前提一个需求过来，我可能要给他排几周，而现在我可以告诉他，我给你马上跑一下，就可以出来了。包括之前像分析师 BI 还要登录客户端，写脚本，自己写调度，经常会说我的数今天为什么没出来？包括高层看的数，可能要到 12 点钟才能出来。而现在基本上所有重要的数据都会在 7 点钟产出，包括一些基本的业务需求，其实分析师或者产品，他们自己都可以实现了，不需要所有需求都提到数据这边。
第二个特点，完整的生态。优酷在 2017 年之前是完全基于 Hadoop 的生态，迁到 MaxCompute 之后，是基于阿里云提供的 Serverless 大数据服务的生态。大家可以在开源上看到的组件，在整个的 MaxCompute 上都是有的，而且比开源的要更好用、更简单。从架构图上可以看到，我们中间是 MaxCompute，左侧依赖的Mysql、Hbase、ES、Redis 这些都是由同步中心去做一个双向的同步。右侧会有资源管理、资源监控、数据监控，包括数据资产，还有一些数据规范。我们下层的数据输入，包括一些集团的采集工具，再往上边，有提供给开发人员用的 DataWorks，包括一些命令行的工具；有提供给 BI 人员用的 QuickBI 及数据服务。
第三个特点，强悍的性能，MaxCompute 支撑了优酷 EB 级的数据存储，千亿级的数据样本分析，包括千亿级的数据报表，10W 级实例的并发、任务。这些在之前维护 Hadoop 的时候，是想都不敢想的。
第四个特点，资源使用的弹性。我们在 2016 年迁移之前，其实优酷的 Hadoop集群规模已经达到了一千多台，这个当时还是一个比较大的规模。当时我们遇到了很多问题，包括像 NameNode 这种内存的问题，机房没有办法再扩容的问题，当时是非常痛苦的，包括一些运维管理上面的问题。我们不断的去问运维要资源，运维告诉说，说你们已经花了多少多少资源，花了多少多少钱。我们面临的问题是计算资源如何按需使用，夜里的时候作业很多，到了下午之后，我的整个集群都空下来了，没有人用，造成了浪费。其实 MaxCompute 完美的解决了这个问题。
京公网安备 11010802022788号
