发帖
雷达卡
TensorFlow 是一个用于数值计算的开源软件库。它使用灵活的架构，旨在轻松部署在各种平台（GPU、TPU、CPU）和一系列设备（台式计算机、服务器集群、各种移动和边缘设备）上。TensorFlow最初是由谷歌大脑团队（谷歌人工智能组织的一部分）。它具有灵活的数值计算核心，为机器学习和深度学习提供了极好的支持。他们开发了一种由 8 个 GPU 驱动的新型深度学习服务器。
想了解情况吗？
在您的收件箱中获取我们的每周通讯，其中包含最新的数据管理文章、网络研讨会、活动、在线课程等。
订阅
James Kobielus 认为容器化正在开启软件的新时代。容器化正在重塑几乎所有 IT 软件平台的格局，并正在影响人工智能(AI) 和机器学习 (ML)。例如，思科最近宣布正在努力改进 TensorFlow 堆栈的容器化。科比卢斯 说：
“当我谈论高度复杂的 AI 时，我指的是 TensorFlow 之类的东西。例如，当您在 TensorFlow 中构建深度学习模型时，假设该模型将支持自动驾驶汽车应用程序。当然，车辆本身内部会有模型、深度学习模型，以便能够处理传感器数据来进行物体识别等等。将在控制许多车辆的区域控制器内运行深度学习模型，可能是针对给定区域内的交通拥堵。”
根据科比卢斯的说法，阿帕奇星火通常与作为持久层或存储层的 Hadoop 分布式文件系统 (HDFS) 一起运行。Spark 是主要的机器学习开发环境之一，并使用内存中的方向。越来越多地，它被用于实时 ETL，以及为几种混合部署的数据准备TensorFlow，并且也正在被容器化。
Kubeflow
软件容器允许组织在不同类型的环境中轻松移动工作负载。本质上，Kubeflow是一个基于 Kubernetes 的框架和工具，用于构建和训练机器学习模型。这些模型可能从一开始就被容器化。容器研究中的一些主要主题是Kubernetes编排、机器学习和深度学习。
整个容器化开发运维所有应用程序开发的工作流程正在迅速成为常态。Kobielus 说，在人工智能应用程序的开发中尤其如此。“Kubeflow 支持 DevOps在容器编排环境中端到端管理这些应用程序。” Kubeflow 正在成为 DevOps 行业（包括 AI DevOps 空间）中的关键粘合剂，并支持 AI 的容器化。Azure 的新机器学习程序支持基于容器的模型管理和 DevOps，Apache Spark 也是如此。
他说，Kubeflow 制作“缩放”机器学习模型，然后以尽可能简单的格式将它们部署到生产环境中。由于机器学习研究人员使用多种工具，因此主要目标是根据用户的要求定制堆栈，并在 Kubernetes 已经运行的任何位置提供易于使用的机器学习堆栈。
机器学习
机器学习已经发展成为一种用于识别模式和预测概率的数据分析形式，并继续作为人工智能研究的一个分支而存在。通过为模型提供具有“已知”答案的数据，计算机能够训练自己预测未来对未知情况的反应。机器学习在解决特定任务方面取得了相当大的成功，它是估计 AI 和 ML将成为推动云计算的主要催化剂。为了有效地工作，机器学习需要有效地学习，并与云技术集成，包括容器化。
考虑到这一点，谷歌开发了 Kubeflow，一个可移植、可组合和可扩展的机器学习堆栈构建在 Kubernetes 之上. Kubeflow 提供了一个开源平台，用于通过将自身附加到容器来传输 ML 模型，并在数据旁边而不是在叠加层中执行计算。Kubeflow 有助于解决实现 ML 堆栈的基本问题。生产级机器学习解决方案的构建需要多种数据类型。有时，堆栈是使用不同的工具构建的，这使得算法变得复杂并且结果不一致。
边缘深度学习
深度学习是机器学习的一个分支，它支持深度神经网络计算机“从经验中学习”，并使用分层顺序来理解世界。这种层次结构通过将复杂概念建立在简单概念的基础上来支持计算机对复杂概念的使用。现实世界的组织以这些独立的开源项目的原始开发人员从未预料到的方式结合了机器学习和开源平台技术。科比卢斯说：
“我认为深度学习和人工智能将成为将云原生计算革命一路带到每台设备的强大且绝对必不可少的部分。我们在移动计算领域全面看到，智能设备、自主设备是人工智能将存在于每个人的环境中、每个人的机器上的地方。”
此类创新已经在人脸识别、语音识别等领域发生。但它需要以标准化的方式发生或通过标准化的云启用到边缘部署环境，即容器化并使用Kubernetes. 他继续：
“作为一名开发人员，我认为关键是能够将执行不同任务的模型容器化，并使这些模型能够按照编排方式连接在一起，使它们能够在分布式应用程序中作为组件一起运行环境。此外，这使得这些模型能够被实时监控和管理，通常是通过一个流式背板。”
蚀和云原生计算基金会(CNCF) 最近宣布，他们正在合作构建容器化开源代码堆栈，以及将深度学习和机器学习容器部署到边缘设备所需的工具。Eclipse 基金会为开源软件、创新和协作提供了一个商业友好的环境。
几个月前，Eclipse 基金会发起了一个名为同上，这是由博世贡献的。该项目的重点是使用数字孪生技术来支持人工智能的开发，旨在以容器化的方式在边缘设备上运行。
数据管理
数据管理是关于管理和维护数据和元数据资产的。在采访中，科比卢斯说：
“我喜欢用策展这个词。该行业通过其几个级别来管理堆栈。社区通过决定什么被接受为项目，什么被提交给工作组来构建它，然后最终从沙盒中升起什么，在这个社区策展中孵化毕业。有供应商管理，即每个供应商、云管理和服务器管理。”
Kobielus 认为这种类型的数据管理是这个新时代的必要组成部分。有些事情会被非常广泛或普遍地接受，并且会拥有自己的生命。有些事情会被搁置一旁，比如在 Hadoop 开始时，他说：
“我记得有一些 Hadoop 部分，例如，Mahout 机器学习库. 我知道那里有一些采用，但它还没有达到接近采用水平的任何地方火花库有。”
他认为作为 AI 核心开发人员的数据科学家并没有完全意识到他们需要对容器和 Kubernetes 有更多的了解，“因为这将在他们的工具中，而且会成为部署其模型的目标环境。所以 DATAVERSITY 的读者需要意识到这一点。” 他最后说，数据科学家、人工智能开发人员、数据架构师和业内其他所有人都需要了解这些新技术如何以及为什么现在成为其数据堆栈中的核心组件。每个参与的人都需要了解这一点，否则随着新时代数据的发展，他们将被抛在后面。
| 相关帖子DA内容精选 |
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
