如此众多的企业在吹捧大数据的好处,因此企业很容易陷入术语的炒作和机遇中。但是,许多企业仍然无法有效地获取可供他们使用的数据的真实价值。Dimensional Research代表Qubole对IT决策者和CIO进行的最新调查显示,尽管几乎所有企业都在运行或计划运行大数据项目,但只有不到10%的企业报告其组织内已经建立了成熟的大数据流程。那么,在运行大数据项目时,数据团队的感知能力与实际绩效之间的脱节在哪里?
以下是公司在实施大数据项目或达到大数据成熟度时报告的五个最重大挑战
确保数据质量
几乎没有人会否认大数据现在在世界各地的组织中所起的重要作用,但是要想了解其好处,就需要维护高质量的数据-这变得越来越难做,并且据报道,这是IT和数据专业人员的最大挑战。在许多情况下,企业收集的数据的关键方面可能会因错误,错误或不完整的值而损坏,所有这些都会导致数据团队得出错误的结论。这称为脏数据,对于希望使用该数据来驱动洞察力和改善业务运营的公司而言,这是一个巨大的障碍。脏数据也不是小问题。根据数据仓库协会(TDWI)的数据,损坏或不完整的数据最终导致美国公司每年 损失约6
现在采取措施清除数据并防止出现问题将大大有助于帮助组织充分利用他们收集的信息。企业可以通过定期更新系统以确保他们可以处理大量数据收集和分析而不会在此过程中遭受损坏的风险,来帮助保持数据清洁。拥有正确技术的企业甚至可能会进入数据清理工作,这是一个彻底的清理过程,其中涉及对数据集进行过滤,解码和转换。
控制成本
对于CIO来说,准确预测大数据项目的成本通常很困难,尤其是当他们缺乏先验经验时。挑战在于考虑与每个项目相关的各种不同成本–从购买新的硬件或软件,向云提供商支付费用,雇用额外的所需人员等。由于大数据项目具有迅速扩展的趋势,因此,如果公司没有做好准备,与这些项目相关的成本很快就会变得不堪重负。对于追求本地项目的企业,重要的是决策者必须考虑培训成本,
由于大数据项目具有迅速扩展的趋势,因此,如果公司没有做好准备,与这些项目相关的成本很快就会变得不堪重负。对于追求本地项目的企业,重要的是决策者必须考虑培训,维护和扩展数据库及人员的成本。另一方面,虽然基于云的大数据部署通常提供比本地部署更低的成本要求和更快的生产时间,但采用云模型的企业还需要评估与提供商的服务水平协议,以确定如何将会收取使用费用,并且可能会产生任何其他费用。
满足业务需求和期望
尽管数据团队对提供自助服务见解以满足不断增长的需求的能力抱有高度信心,但很少有人能够实现其业务设定的高期望。此问题的部分原因是缺乏有效运行大数据操作所需的技术资源。实际上,Dimensional Research最近进行的一项调查中有近三分之一的受访者表示,他们无法获得实施内部大数据项目所需的基础设施或技术,尽管公司可能往往抱有很高的期望开始大数据项目他们没有投资数据团队正确实施这些项目所需的资源。为了避免出现此问题,数据团队负责人应在开始项目之前咨询业务负责人,以根据可用资源设置期望。
尽管公司可能会怀着很高的期望开始一个大数据项目,但是他们常常无法为数据团队正确实施那些项目投入必要的资源。为了避免出现此问题,数据团队负责人应在开始项目之前咨询业务负责人,以根据可用资源设置期望。同时,数据团队必须充当教育者,以向决策者提供有关实现特定目标所需的技术,基础架构和人员的信息。
量化大数据项目的价值
尽管大多数组织会争辩说实施自己的大数据项目的好处,但了解需求并能够量化所需投资的价值并不一定总是齐头并进。例如,决定在本地运行其数据分析的企业将需要购买大量昂贵的服务器,使用适当的软件将其部署在其数据中心中,并进行测试以确保所有功能都能正常运行。仅此过程可能要花费数月甚至数年,而这甚至是在运行第一个查询之前。如果此时要求数据团队提供他们的投资回报率,他们将根本无法回答。
云极大地改变了这种情况。尽管仍有相当多的组织选择在本地大数据基础架构上进行投资,但是越来越多的公司正在意识到基于云的大数据基础架构的好处,即可以减少前期投资并缩短部署时间。
缺乏行业专业知识
最后,组织在实施大数据项目时面临的最大挑战之一就是寻找合格的人员。尽管83%的受访者表示其数据团队正在增长,但超过三分之一的受访者表示,他们很难找到具有处理数据操作所需的专业知识和技能的人员。一个成功的大数据项目无法由单一类型的用户来处理,这使问题进一步复杂化,公司需要雇用开发人员,数据科学家,分析师和其他人员,每个人都有自己的技能和专业领域。一个组织有一个熟练的团队
但是,即使组织拥有一支熟练的团队,当今的许多数据团队也会因维护大数据基础架构而付出的手动努力陷入困境。企业不应该简单地增加人员来处理这些数据管理任务,而应该着重于寻找工具来帮助其数据团队更有效地工作。借助云和机器学习,可以无缝地自动化耗时的任务(例如容量计划和软件更新),使团队腾出精力来专注于高价值工作,以推动运营改善和收入增长。
大数据既困难又复杂,并且给充分利用数据带来了许多障碍。尽管在某种程度上,许多公司似乎意识到与实施大数据项目相关的困难,但在其他方面,他们通常对达到下一个成熟阶段所需的努力和专业知识抱有不切实际的期望。在公司能够执行成功的成熟大数据程序之前,他们首先需要开发基础设施,工具和专家资源,以克服上述每个挑战。通过采用DataOps方法,公司可以构建自助服务数据模型,从而可以在整个组织中提供洞察力驱动的业务决策。
关注 CDA人工智能学院 ,回复“录播”获取更多人工智能精选直播视频!