数据质量对大数据管理的影响

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

正如现有的行业文献表明的那样，数据质量（DQ) 严重阻碍了许多大数据项目的成功。然而，很明显，如果没有有组织的运动来支持大数据的数据质量，那么实际上不会发生任何事情来改变当前的情况。

在一个采访Informatica 的首席执行官 Anil Chakravarthy 揭示了缺乏 DQ 如何抑制信息技术的创新。一致 DQ 的两个主要障碍已被确定为大量数据和不一致的数据元素，这两者都可能潜在地限制业务分析的能力。


避免丑闻：不要让您的数据维护马虎 表明这很容易忽略数据支持许多关键业务活动这一事实。因此，涉及安全漏洞和其他风险业务流程的“草率数据维护”可能会给公司带来长期的声誉管理问题。

上述实例表明，迫切需要衡量业务数据是否满足关键 DQ 标准，即准确性、相关性、一致性、可靠性、一致性和唯一性。Gartner 衡量了不良数据的“平均财务影响”为每年 1500 万美元，这重申了数据质量管理 (DQM) 对全球企业的重要性。

糟糕的数据质量如何影响企业？
根据托马斯·C·雷德曼，DQ 专家指出，“如果数据适合其在运营、决策、分析和规划中的预期用途，那么数据就是高质量的。” 这意味着数据应该没有缺陷，同时具有相关性、全面性、适当的详细程度并且易于解释。当然，要了解数据质量，我们必须定义什么是高质量数据。

Redman 先生在他的《数据质量：管理与技术》一书中指出，“工资单记录更改的错误率为 1%，账单记录的错误率为 2% 到 7%，信用记录的错误率高达30%。” 这说明企业数据治理(DG) 框架未能满足所需的性能基准。这是一项严肃的业务，因为它会增加监管风险、阻碍决策制定并降低数据安全性。

数据质量如何影响大数据项目？
大数据分析是蓬勃发展的行业中的一项关键活动，因为它可以预测客户期望，通过分析流行口味和参考来帮助产品设计，通过研究购物模式来增强服务设施，提供竞争对手情报，并定制客户可用性以影响决策。

数量、种类和速度大数据对业务数据的“真实性”因素造成巨大压力，尤其是考虑到当今普通企业中存在的多样化数据管道。大数据生命周期需要卓越的数据管理系统，其中包括 DG 和 DQ。

深入分析三个V对大数据管理的影响，数据“量”影响可扩展性，“速度”影响数据传输，“多样性”影响数据管理系统的运行一致性。这三个 V 一起对任何大数据管理平台的整体性能都有很大影响。

大数据质量中最关键的挑战之一是考虑各种数据源，其中许多位于企业防火墙之外，这使得数据的可靠性成为遥不可及的梦想。

此外，在大数据操作中越来越多地使用 Hadoop 等分布式计算环境，大大增加了安全风险，并威胁到数据的平稳可用性和可靠性。因此，仅仅拥有熟练的数据专业人员来管理这些项目是不够的；还必须存在具有数据质量检查和平衡的适当数据治理框架以确保成功。IJKE 报告分析了两者之间的交叉点大数据和数据生命周期.

今天的大数据生命周期包括清晰的 DG 蓝图，它可以保证任何大数据管理项目从数据准备到大规模可操作决策的价值。此外，解释分析结果的“上下文”概念在大数据项目中至关重要。大数据背景：针对适合目的的相关数据 描述高质量数据与大数据“上下文”之间的相关性。

大数据项目的常见数据质量问题
一个起点测量数据质量可以是大数据的质量——数量、速度、多样性、准确性——加上第五个价值标准，构成了基准性能基准。有趣的是，这些基准基准实际上导致了大数据的复杂性：结构化、非结构化或半结构化等多样性增加了不良数据的可能性；具有大容量和高速数据的流设备等数据通道增加了损坏数据的机会，因此没有单一的质量指标可以处理如此大量和多类型的数据。

如今，数据的轻松可用性对企业数据管理来说既是福音，也是障碍。一方面，大数据承诺具有可操作结果的高级分析；另一方面，数据完整性和安全性受到严重威胁。这数据质量计划是实施实用的 DG 框架的重要一步，因为这一单一因素控制着业务分析和决策的结果。

最后，DG 还确保完全合规并降低风险。数据质量管理：您需要知道的解释了强大的数据质量管理计划如何帮助企业内的数据治理框架。

大数据如何挑战数据质量管理
大数据给数据质量管理带来的另一个主要挑战是确保数据的准确性，否则，洞察力将是不准确的。一种数据松后可以作为建立可靠数据质量管理程序的综合指南。

通过有效的 DQM，企业可以设置数据质量测量实践和 QC 技术，以确保只有非常高质量的数据才能进入分析引擎。任何好的 DQM 程序的核心都是一组用于测量数据的“测试用例”，它可以处理最差的数字数据。

大数据的数据治理和数据质量：最后的话
考虑以下行业统计数据：

联合研究TMMData 和数字分析协会报告称，“近 40% 的数据专业人员 (37.5%) 每周花费超过 20 小时访问、混合和准备数据，而不是执行实际分析。”
全球数据管理基准报告益博睿数据质量指出，平均而言，C 级高管报告“他们组织的 33% 的数据不准确”。
以上说明什么？大多数业务数据难以访问和集成。虽然自助式分析平台正在兴起，但可靠的数据治理和数据质量计划必须共同改变当前的事态，并灌输对分析和 BI 等以数据为中心的活动的信心。什么是数据质量管理？  分享 BMC 作者对 DQM 的看法。

更新的技术，其中之一当然是大数据，增加了处理这些技术的大中小型服务提供商的数据安全和隐私问题。

相关帖子DA内容精选 2022年300个以上最佳免费数据科学课 大厂数据分析面试指南！来自亚马逊、谷歌、微软、头条、美团的面试问题！ 机器学习模型方法总结 历史最全机器学习/深度学习/人工智能专业术语表中英对照表 机器学习如何应用于商业场景？三个真实的商业项目 数据工作者的自我修养 | 哪些技能是必不可少的？ 《汗牛充栋：数据分析书籍分享》CDA网校新课上线 文本挖掘常用的107个语料库 一图读懂“东数西算”工程 零基础转行数据分析，看这篇文章就够了

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：数据质量 数据管理 大数据 informatica informat