楼主: 时光永痕
821 0

[数据挖掘新闻] 决策的催化剂和促进剂:数据工程和分析应用 [推广有奖]

  • 0关注
  • 14粉丝

svip3

学术权威

12%

(VIP/贵宾)五级

86%

威望
0
论坛币
26 个
通用积分
57.2086
学术水平
4 点
热心指数
4 点
信用等级
4 点
经验
34190 点
帖子
2733
精华
0
在线时间
321 小时
注册时间
2020-7-21
最后登录
2024-8-1

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
决策的催化剂和促进剂:数据工程和分析应用
我们生活在一个由数据和分析推动的洞察力和决策制定驱动的世界中。信息和技术无处不在,因此任何组织都无需成为数字巨头(例如Amazon或Google)即可在当今的商业环境中竞争。无论大小,公司都认识到有必要利用其企业数据的全部价值来获得必不可少的竞争优势。由于业务竞争可能非常激烈,因此,如今公司比以往任何时候都必须能够熟练地从运营,分析,云和大数据系统中获取适当的数据资产。
数据工程是催化剂,而分析应用程序可以通过帮助用户识别业务问题并制定数据驱动型解决方案,从而助长当今商业界最前沿的决策制定。
仅仅拥有一名数据工程师或一位Analytics(分析)专业人员是不够的,它们必须是将Data Discover,Data Engineering,Data Science和Data Consumption整合在一起的端到端计划的一部分。甚至在迈出第一步之前,有必要“从为什么开始”,以明确定义对特定分析见解的需求来确定企业的痛点。识别出的痛点可指导所需数据的范围界定和专用分析微应用程序的开发,从而为用户提供完整的数据分析模型,该模型提供了数据驱动的解决方案来解决特定问题。
(不要)“去钓鱼!”
从各种数据库中挖掘数据以生成新的信息和见解必须是一项精确,专注且执行良好的工作。不要浪费时间,而去钓鱼。
高效有效的数据工程通过在现代企业数据管理堆栈(数据结构)中提供数据发现和集成层,使数据的使用变得容易。该层为公司提供了一个连接的,面向业务的地图,该地图经过定制以收集企业数据。具有数据或分析需求的企业中的人员可以使用该图来探索,理解,连接数据并将其混合到可用于分析的现成数据集中,该数据集将整个企业中任何系统的任何数据组合在一起。
数据发现
将数据应用程序与数据工程相结合,提供了一种由高级数据集成和准备工具,语义和图形数据模型以及数据科学技术组成的解决方案。第一阶段,数据挖掘,从内部和第三方数据提供者或源的所需源数据的积累开始。专家可以有效地探索和集成数据字典和样本数据,并利用以关键字和用例为中心的搜索和过滤功能。
将外部数据产品带到一个位置时,可增加可观的价值。有了这样的生态系统,就可以从Experian,Equifax,TransUnion和Whitepages等传统资源中探索和访问数据,并从HouseCanary和HazardHub等新兴的数据源(如地理空间和卫星图像)中获取数据。非本地数据流可同时测量对预测,警报和即席查询的准确性的影响。本质上,这是一个沙盒环境,用于发现和管理大量外部数据源,以丰富客户数据分析模型。
数据工程
接下来,将数据工程化为可混合分析的数据集,这个过程称为数据工程。在此框架中,数据工程平台驱动发现和集成过程,使业务用户可以查找,连接企业数据并将其混合到可用于分析的数据集中。数据工程将定制数据集的交付时间从几个月缩短到几天,并允许组织集成所有数据,包括来自RDBMS的结构化数据或平面文件,而非结构化数据则使数据供应链自动化,从而使组织能够执行复杂的数据集成管道并发布分析性数据。可以自动将数据集分发给下游算法,应用程序,数据科学家或业务中的其他数据消费者。流程的自动化通过使其更简单,更快速地实现,从而可以更频繁地将更多分析就绪的数据集交付给企业,从而实现规模扩展。数据工程使准备好分析的数据集可用的广告可以导出为其他文件格式,包括CSV,JSON和XML或适当的图形格式。
数据科学
呈现数据集以生成可重复的分析见解的数据科学应通过流程,业务最佳实践,敏捷方法和创新加以结合,所有这些都是无与伦比的分析驱动结果易于获得和内在可扩展的。   
数据消耗
在最后阶段,即数据消耗,业务用户可以轻松访问信息和见解,以帮助制定战略性,数据驱动型业务决策。当今世界是移动的,Analytics Microapps提供了可在各种设备上运行的解决方案,以使用户可以随时随地安全访问他们所需的见解。通过使用微型应用程序,用户可以访问和利用跨平台和当前数据库的结果。此过程为企业提供了增加收入,降低成本并防止收入损失的机会,同时又保持了对政府和行业标准的遵守。   
结论
分析应用程序和数据工程相结合的解决方案可通过实时数据快速解决业务问题。这些和其他新兴的数字方法和技术加快了决策制定的步伐,并通过使数据分析一次可操作一项业务决策的方法,从光彩照人的地方迈向了大规模工业化。

关注 CDA人工智能学院 ,回复“录播”获取更多人工智能精选直播视频!


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:数据工程 催化剂 促进剂 Data Science consumption

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-9-19 23:13