楼主: 时光永痕
900 0

[数据挖掘新闻] Azure机器学习概念-简介 [推广有奖]

  • 0关注
  • 14粉丝

svip3

学术权威

12%

(VIP/贵宾)八级

1%

威望
0
论坛币
26 个
通用积分
57.2238
学术水平
4 点
热心指数
4 点
信用等级
4 点
经验
34180 点
帖子
2732
精华
0
在线时间
321 小时
注册时间
2020-7-21
最后登录
2024-8-1

楼主
时光永痕 学生认证  发表于 2020-9-29 17:54:32 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
Azure机器学习概念-简介
Azure机器学习概念-简介
介绍
上周,我们在一个周末发布了一本名为《分类与回归》的免费书籍。“周末”系列丛书的想法是在周末学习一个复杂的代码部分以掌握这一概念。本星期。我们计划推出一本名为《周末Azure机器学习入门》的书。该博客与即将出版的书有关。如果您没有Azure订阅,则可以使用免费或付费版本的Azure机器学习服务。使用后删除资源很重要。
Azure机器学习服务是一种云服务,可用于训练,部署,自动化和管理机器学习模型-充分利用云部署的所有优势。
在开发方面,您可以使用Jupyter笔记本 和 Azure SDK。您可以查看Azure机器学习Python SDK的更多详细信息,通过 它可以选择Scikit学习,Tensorflow,PyTorch和MXNet等环境。
流动顺序
来源:https://docs.microsoft.com/en-gb/azure/machine-learning/service/ove ...
Azure机器学习工作流通常遵循以下顺序:
用Python开发机器学习训练脚本 。
创建和配置 计算目标。
将脚本提交 到配置的计算目标以在该环境中运行。在训练过程中,脚本可以读取或写入 数据存储区。和执行的记录保存为 运行 在 工作区 和下分组 实验。
在实验中查询 当前和过去运行的记录指标。如果度量标准未表明期望的结果,请循环回到步骤1并在脚本上进行迭代。
找到满意的运行之后,在模型注册表中注册持久模型 。
开发使用该模型的评分脚本,并将 该模型作为 Web服务部署到 Azure中或部署 到 IoT Edge设备。
下面,我们按照上述流程说明一些与在Azure云中运行机器学习算法有关的概念
工作区是Azure机器学习服务的顶级资源。当您使用Azure机器学习服务时,它提供了一个集中的位置来处理您创建的所有人工制品。工作区保留所有训练运行的历史记录,包括日志,指标,输出和脚本快照。
拥有所需的模型后,可在工作空间中注册它。然后,您可以使用注册的模型和评分脚本将Azure容器实例,Azure Kubernetes服务或基于REST的HTTP终结点部署到现场可编程门阵列(FPGA)。您还可以将模型作为模块部署到Azure IoT Edge设备。
创建新的工作区时,它会自动创建该工作区使用的多个Azure资源:
Azure容器注册表:注册您在培训期间和部署模型时使用的Docker容器。
Azure存储帐户:用作工作区的默认数据存储
Azure应用程序见解:存储有关模型的监视信息。
Azure密钥保管库:存储计算目标使用的机密以及工作区所需的其他敏感信息。
实验是一组来自指定脚本的多个运行的分组。它始终与工作空间关联。
模型:具有与传统机器学习相同的含义。在Azure中,模型是通过运行生成的,但也可以使用在Azure外部训练的模型。Azure机器学习服务与框架无关,即可以使用流行的机器学习框架,例如Scikit-learn,XGBoost,PyTorch,TensorFlow等。
模型注册表会跟踪Azure Machine Learning服务工作区中的所有模型。
运行配置是一组指令,这些指令定义了应如何在指定的计算目标中运行脚本。该配置包含一系列行为定义,例如是使用现有的Python环境还是使用根据规范构建的Conda环境。
Azure机器学习数据集在各种情况下管理数据,例如模型训练和管道创建。使用Azure机器学习SDK,您可以访问基础存储,浏览和准备数据,管理不同数据集定义的生命周期,以及在培训和生产中使用的数据集之间进行比较。
数据存储是Azure存储帐户上的存储抽象。数据存储可以使用Azure blob容器或Azure文件共享作为后端存储。每个工作空间都有一个默认的数据存储,您可以注册其他数据存储。您可以使用Python SDK API或Azure机器学习CLI来存储和检索数据存储中的文件。
计算目标是用于运行训练脚本或托管服务部署的计算资源。您的本地计算机,Azure中的linux VM;Azure Databricks等都是计算目标的示例
培训脚本–将所有内容整合在一起。在训练期间,将包含训练脚本和相关文件的目录复制到计算目标并在其中执行。目录的快照也存储在工作区中的实验下。
运行-提交脚本以训练模型时会生成运行。运行是一条记录,其中包含有关运行的元数据,输出文件,指标等信息。
Github跟踪和集成-在源目录为本地Git存储库的情况下开始训练运行时,有关存储库的信息存储在运行历史记录中。
快照–快照(运行)表示压缩的目录,其中包含脚本(作为记录的zip文件)。快照也将发送到计算目标,在该目标中提取zip文件并在此处运行脚本。
活动表示长时间运行的操作。创建或删除计算目标。在计算目标上运行脚本等都是活动的示例。
映像映像提供了一种可靠地部署模型以及使用该模型所需的所有组件的方法。图像包含模型,评分脚本或应用程序以及模型/评分脚本/应用程序所需的依赖项
Azure机器学习可以创建两种类型的图像:
FPGA映像:当您部署到Azure中的现场可编程门阵列时使用。
Docker映像:在部署到FPGA以外的计算目标时使用。示例包括Azure容器实例和Azure Kubernetes服务。
图像注册表:图像注册表跟踪从模型创建的图像。创建图像时,可以提供其他元数据标签。
部署方式
部署是将模型实例化为可托管在云中的Web服务或用于集成设备部署的IoT模块。
Web服务:部署的Web服务可以使用Azure容器实例,Azure Kubernetes服务或FPGA。您可以从模型,脚本和关联文件中创建服务。它们被封装在一个映像中,该映像提供了Web服务的运行时环境。该图像具有负载平衡的HTTP端点,该端点接收发送到Web服务的评分请求。
物联网模块:已部署的物联网模块是一个Docker容器,其中包括您的模型,关联的脚本或应用程序以及任何其他依赖项。您可以通过在边缘设备上使用Azure IoT Edge部署这些模块。
管道:您使用机器学习管道来创建和管理将机器学习阶段结合在一起的工作流。例如,管道可能包括数据准备,模型训练,模型部署以及推理/评分阶段。每个阶段都可以包含多个步骤,每个步骤都可以无人值守地运行在各种计算目标中。
结论
我们希望此博客提供一个了解Azure的简单框架。该博客基于此处的Azure文档。
1
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Azure 机器学习 scikit-learn E-learning Microsoft

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2025-12-9 07:22