使用Apache Kafka开源生态系统实现深度扩展的深度学习基础架构

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

使用Apache Kafka开源生态系统实现深度扩展的深度学习基础架构
“使用Apache Kafka开源生态系统以极大规模（在云中）进行深度学习-如何使用Kafka，Connect，Streams，KSQL等构建机器学习基础架构。 ”
和往常一样，我想分享幻灯片。谈话也被记录下来。组织者发布视频后，我将立即分享它。
房间满了。没有免费座位。对这个话题很感兴趣。我与许多与会者进行了交谈，这些与会者在将分析模型引入关键任务生产中遇到了巨大挑战。当人们仅使用Python环境来构建分析模型时，无可伸缩性和缺乏灵活性是许多人面临的其他挑战。
Apache Kafka作为机器学习基础架构中的关键组件
开源Apache Kafka生态系统可在机器学习过程的许多情况下提供帮助。数据集成，数据提取，数据预处理，
模型部署，监视等。许多公司已经建立了Kafka ML基础架构。看一下像Netflix和Meson或Uber和Michelangelo这样的科技巨头，举两个例子。
科技巨头和许多其他公司已经非常大规模地使用Apache Kafka。因此，您不必为此担心。您只需要评估如何将其集成到现有环境和项目中即可。请参阅来自LinkedIn（每天> 4.5万亿条消息）或Netflix（每天6 PB峰值）的示例：
机器学习和Apache Kafka都是其核心基础架构的一部分。这些天，我在大多数传统公司（例如银行，电信公司，零售商）中看到了类似的情况。他们都围绕Apache Kafka建立了一个中枢神经系统，并在几种场景和业务流程中应用了分析模型。
演讲摘要：使用Apache Kafka进行机器学习和深度学习
该演讲展示了如何以极大规模构建机器学习模型，以及如何通过利用公共云中的开源组件在关键任务实时应用中生产已构建的模型。会议讨论TensorFlow与Apache Kafka生态系统之间的关系-以及为什么这非常适合极端规模的机器学习。
机器学习架构包括：用于将大量数据连续摄取到公共云的Kafka Connect，利用深度学习算法在强大的GPU上构建分析模型的TensorFlow，用于模型部署和实时推理的Kafka Streams以及用于实时分析的KSQL预测，警报和模型准确性。
实时预测警报的传感器分析被用作物联网场景中的真实示例。实时演示显示了这些组件在Google Cloud上的即用型集成和动态可伸缩性。
基于Apache Kafka和Confluent开源生态系统的机器学习基础架构：
Apache Kafka和用于机器学习和深度学习的融合开源生态系统
观众的重点
数据科学家和开发人员必须不断合作（组织+技术！）
关键任务，可扩展的生产基础架构是机器学习项目成功的关键
Apache Kafka生态系统+云=极端规模的机器学习（摄取，处理，训练，推理，监控）
幻灯片：Apache Kafka +极限机器学习
这 是我演讲的幻灯片，一如既往，我非常感谢任何反馈。
题库

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：apache 生态系统 深度学习 APA PAC