发帖
雷达卡
在我们之前的一篇文章中，我们 详细讨论了 为什么如此多的机器学习计划未能进入生产阶段的多种原因。应对这些挑战和部署机器学习模型的其他细微差别的需要催生了相对较新的 MLOps 概念。
什么是 MLOps
MLOps——一组旨在自动化 ML 生命周期的最佳实践——将 ML 系统开发和 ML 系统操作结合在一起。MLOps 融合了 DevOps、机器学习和数据工程，通过将 ML 确立为一门工程学科，简化了各种业务场景中的机器学习部署问题。
企业可以利用它来制定明确的流程，通过 ML 推动切实成果。MLOps 越来越受欢迎的最突出原因之一是它能够弥合业务和数据团队之间的专业知识差距。此外，机器学习的广泛采用对监管环境的演变产生了影响。随着这种影响的持续增长，MLOps 将帮助企业在不影响数据实践的情况下处理大部分法规遵从性。
最后，数据和运营团队之间的协作专业知识允许 MLOps 绕过部署过程中存在的瓶颈。随着我们进一步探索，我们将看到 MLOps 如何收紧循环并消除机器学习系统设计和实现框架中的折痕。
成功的 MLOps 框架
由于 MLOps 是一个新兴领域，因此很难掌握它的含义及其要求。实施 MLOps 的首要挑战之一是难以将 DevOps 实践叠加到 ML 管道上。这主要是由于根本区别：DevOps 处理代码，而 ML 是代码和数据。在数据方面，不可预测性始终是一个主要问题。
由于代码和数据是独立并行发展的，由此产生的断开连接会导致机器学习生产模型运行缓慢且经常不一致。此外，由于难以跟踪和版本化的海量数据缺乏可重复性，可能无法应用简单的 CI/CD 方法。因此，对于生产中的机器学习，采用 CI/CD/CT（持续训练）方法至关重要。
探索 ML 管道 (CI/CD/CT)
数据团队需要将 MLOps 简单地视为独立于单个数据实例的代码工件。这就是为什么将其分成两个不同的管道（训练管道和服务管道）有助于确保批处理文件的安全运行环境以及有效的测试周期。
训练管道涉及从收集和准备数据开始的整个模型准备过程。收集、验证和准备数据后，数据科学家需要实施特征工程来为训练和生产分配数据值。同时，必须选择一种算法来定义模型如何识别数据模式。完成此操作后，模型可以根据历史离线数据开始训练。然后可以评估和验证经过训练的模型，然后通过模型注册表将其部署到生产管道。
完整模型准备过程的示意图
生产管道涉及使用已部署的模型根据在线或真实数据集生成预测。这就是 CI/CD/CT 方法通过管道自动化进入一个完整周期的地方。数据是从端点收集的，并使用来自功能存储的附加数据进行丰富。随后是数据准备、模型训练、评估、验证和最终生成预测的自动化过程。加强此自动化过程的一些组件包括元数据管理、管道触发器、特征存储以及独立的数据和模型版本控制。
一旦模型部署到管道中，生成的数据就可以用于在训练管道中持续训练模型。通过这样做，它关闭了数据/代码循环并简化了部署过程。
建立合适的团队
理想情况下，MLOps 团队应该包括来自运营、IT 和数据科学部门的成员。具有机器学习操作经验的企业领导者应该领导这个团队。
就团队对齐而言，MLOps 团队可以与 IT 下的企业架构团队对齐，也可以与中央分析或数据科学团队集成。根据要求，MLOps 团队可以与特定业务部门以及数据科学或 IT 团队一起管理复杂的模型。
MLOps 团队负责人需要为数据准备、训练 ML 模型、部署模型等任务明确定义角色。
MLOps 的优势和前进的道路
利用 MLOps 的最大好处是快速、创新的 ML 生命周期管理。MLOps 解决方案使数据团队更容易与 IT 工程师协作并提高模型开发速度。此外，为机器学习模型监控、验证和管理系统的规定加快了部署过程。
除了通过快速的自动化工作流程节省时间外，MLOps 还支持资源的优化和可重用性。通过利用 MLOps，IT 团队可以创建一个自学习模型，从长远来看可以适应数据漂移。
MLOps 的快速崛起预示着未来我们将看到它演变成竞争的必要性。随着机器学习从研究转向应用，它需要与现代商业模式的敏捷性保持一致并适应不断变化的环境。虽然这在未来还有一段路要走，但企业需要现在就采取行动，以便在机会出现时抓住它。
相关帖子DA内容精选
|
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
