楼主: 时光永痕
427 1

[数据挖掘新闻] 关于数据管理你需要知道的 6 件事以及为什么它对计算机视觉很重要 [推广有奖]

  • 0关注
  • 14粉丝

svip3

学术权威

12%

(VIP/贵宾)四级

13%

威望
0
论坛币
26 个
通用积分
49.8622
学术水平
4 点
热心指数
4 点
信用等级
4 点
经验
34070 点
帖子
2731
精华
0
在线时间
317 小时
注册时间
2020-7-21
最后登录
2024-5-13

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
工业 4.0 竞赛和数字自动化的加速采用是跨行业的压力测试组织。越来越多的事实表明,企业利用数据的能力是竞争优势的关键来源——这一原则在构建和维护计算机视觉应用程序时尤其适用。视觉自动化模型由捕获我们物理世界的数字表示的图像和视频提供支持。在大多数企业中,媒体是跨多个传感器边缘设备捕获的,并且存在于孤立的源系统中,这使得跨环境的媒体集成成为构建旨在自动化视觉检查的计算机视觉系统时需要解决的核心挑战。

在模型架构(构建用于训练 AI 模型的神经网络的代码)日益商品化和稳定的世界中,媒体变得更加重要。这意味着有更多行业信任的模型类型,现在不再关注调整这些模型的代码以优化性能,而是更多地强调使用必要数据训练行业标准模型为您的应用提供最佳服务。在以数据为中心的计算机视觉模型开发方法中,组织必须不断地在新的真实数据上训练模型,以防止域和数据漂移. 因此,无论是大型计算机视觉供应商还是小型计算机视觉供应商,都必须确保组织能够以程序化的方式持续大规模地整合媒体。下面,我们将探讨一些我们认为在评估计算机视觉数据管理解决方案时必不可少的领域。

预建数据连接器
要管理数据,您必须首先将它们全部带到同一个地方。您今天的数据可能存在于各种商业云环境、本地系统和边缘设备中。您需要的是一种简化连接所有硬件和软件的方法。预先构建的连接只需点击几下而不是几行代码,就可以使这些过程无缝衔接。拥有一个代码编辑器(Python SDK)也没有什么坏处,它可以让您在需要时构建自定义连接。简而言之,您不希望每次需要集成新媒体源时都去敲您的 IT 部门的门。那将是每个人的痛苦!

数据组织
将来自不同来源的数据汇集在一起​​可能是一件麻烦事。为了快速找到您需要的数据,文件夹、存储桶或数据集等组织结构将帮助您对媒体进行分类。您可能希望根据捕获的日期组织数据,或者您可能希望将单个生产线捕获的所有数据保存在同一个文件夹中。选择是你的,只要确保保持一致。

数据可视化
您的所有数据现在都在同一个位置,但您如何快速筛选这些数据以找到感兴趣的媒体?这是一个可视化工具,可让您轻松浏览大型媒体。这可能是您认为理所当然的事情,但是看到在页面上快速刷新并在您滚动时动态显示的缩略图,或者快速浏览不需要永远加载的图像轮播的能力是组织今天面临的问题尝试使用像谷歌云平台这样的商业消费者应用程序来存储大规模媒体。简而言之,您需要采用具有灵活且可扩展的后端的解决方案,该后端专为大数据而构建,让您能够以最短的加载时间快速浏览媒体。记住,

数据可搜索性
那张照片又在哪个文件夹里?在处理数百万个媒体文件时,您不想被这个问题所困扰。一个简单的类似 Google 的搜索栏将帮助您快速按名称搜索并找到您感兴趣的媒体。一些计算机视觉平台还允许您使用称为“视觉搜索”的强大工具,它会自动检测图像内容并让您搜索,使媒体更容易被发现。请记住,保持对大规模媒体的快速搜索性能是一个独特的问题,并且需要一个系统构建为随着数据集大小的增加而扩展。

元数据管理和过滤器
说到媒体在大型数据集中的可发现性,让我们谈谈元数据的好处。元数据允许您保存“有关您的数据的数据”,例如这张照片是 10 月 4 日由安提瓜一家工厂的 Linespex 相机拍摄的,它公开了更多关于媒体的信息,而不仅仅是图像的文件名。更重要的是,一些数据管理平台允许您根据元数据创建过滤器,让您更细致地找到您感兴趣的媒体。

数据来源
这个文件又是从哪里来的?完整的数据来源将帮助您轻松回答这个问题,让您了解媒体的来源,而无需猜测或追踪源系统。数据来源意味着您将了解来自哪个系统的媒体以及该系统向平台发送新媒体的频率。大多数组织将使用此信息,然后根据运营需求选择新的培训数据。例如,如果在 7 号生产线上检测缺陷的模型的性能下降,我们首先尝试从监控该生产线的摄像机中获取一些新媒体。

将计算机视觉模型从研发转移到生产的关键需要更好地管理您的企业媒体。这对于公司有能力利用数据来获得竞争优势至关重要。为成功做好准备意味着您在选择计算机视觉合作伙伴时会认真对待数据管理。

      相关帖子DA内容精选
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:计算机视觉 数据管理 计算机 CDA LEVEL excel函数

沙发
三重虫 发表于 2022-8-16 20:30:11 |只看作者 |坛友微信交流群

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-5-21 10:10