国内的大数据平台,基础语言都是java,而爬虫开发,机器学习,python已经占据主流位置
java 这几年发展中,已spring cloud 为基础的微服务占据越来越重要的位置
无论公司大小,只要做数据平台,就注定了 业务逻辑复杂,为了可扩展性和健壮性 微服务都是最好的选择
前几天,老板提出 想把爬虫开发架构 搞成微服务,折腾很久,用了 zookeeper 做为服务注册与发现中心,使用 饿了么 的 thrift python实现,搭了一个简单的微服务demo,以后有时间 可能还会折腾一下 consul为 注册中心的 python 微服务
代码 https://github.com/zgbgx/MicroserviceUseThriftAndZookeeper