发帖
雷达卡
所以在理想世界中，数据工程师为数据科学家建立数据仓库、数据框架和数据管道以进行复杂的分析。他们和谐地一起工作，但从不介入彼此的角色。
文章 不断变化的数据科学和数据工程工具环境警告读者注意在组织中互换数据科学和数据工程角色的危险。像所有其他技术领域一样，数据技术领域应该在“专业化”之间保持明显的区别，这就是为什么永远不应该期望拥有纯数据科学技能或经验的专业人士担任数据工程师的角色，反之亦然。本文中的信息很明确：数据科学和数据工程是截然不同的活动，它们需要的技能集只适合一个角色或另一个角色，但不能同时适用。
所以你想成为一名数据工程师？ 指出，虽然数据科学家将重点放在大数据分析上，但数据工程师设置数据架构和数据管道以进行数据分析。
尤其是现在，随着 AI 和 ML 与数据技术的集成，数据工程师负责准备数据管道，而数据科学家则严格执行数据分析以提取见解。因此，数据工程师的角色变得与数据科学家的角色一样重要，甚至更重要。
在很大程度上，未来的自动化工具可能会最大限度地减少对数据工程师的需求，但它们仍将在企业分析团队中发挥重要作用。现代工具供应商的问题在于他们经常提供技术数据科学家的环境，这实际上需要数据工程师在场并执行初始数据设置、清理和准备任务。让我们希望随着时间的推移，这种角色分离对于业务领导者和运营商来说会变得更加清晰。
数据工程师不断演变的角色
随着技术的飞速发展，数据工程作为一个实践领域，正在走向彻底的变革。数据工程的当前发展受到物联网 (IoT)、无服务器计算、混合云、人工智能和机器学习 (ML) 的影响。
数据工程师的出现和未来指出大数据的广泛采用导致了数据工程师的诞生。然而，数据工程的最大变化发生在过去八年中，这要归功于数据科学工具的快速自动化。
现代业务分析平台配备了全自动或半自动化工具，用于收集、准备和清理数据，供数据科学家分析。如今，数据科学家不必像几年前那样依赖数据工程师来提供数据管道。
在这种情况下，一个单数据工程师足以支持由五六名数据科学家/分析师组成的整个团队。数据工程师仍然需要调整数据基础架构并使团队成员能够更有效地工作，但先进的自动化技术正在减少对数据工程师的需求。还是他们？数据工程师的角色正在改变 给人更深刻的理解。
一种专题文章表明全球企业经常“努力”从遗留数据转移到“更灵活的架构”。这就是数据工程师的角色对于企业的数字化准备至关重要的地方。在麦肯锡最近的一项调查中，85% 的受访者表示，他们“在实现企业数据和分析计划目标方面有些成效”。
Clover Health 数据平台工程总监 Jasmine Tsai 分享她作为数据工程师的经验博客文章数据工程的未来是学科的融合。她 反映了“数据工程”。. . 在不远的将来 。. . （将）与其他领域重叠，尤其是软件工程。” Tsai 评论说，很快，数据工程可能会以混合角色的形式重新出现。
在2019 年数据工程趋势 透露“实时分析、流分析、近实时分析、复杂事件处理”是适用于数据工程和软件工程的技术趋势。因此，本质上，软件工程和数据工程之间存在重叠层。
今天的数据工程师不仅精通所有类型的云环境，而且同样熟悉“从物联网 (IoT) 到逻辑数据仓库 (LDW)”的技术。
数据工程的未来
随着从面向批处理的数据移动和处理向实时数据移动和处理的转变，已经发生了向“实时数据管道和实时数据处理系统”的重大转变。
这数据仓库凭借其巨大的灵活性来容纳数据集市、数据湖或基于需要的简单数据集，最近变得非常流行。数据工程的新兴趋势解释了数据库流技术如何为高度可扩展的实时业务分析做准备。
以下四个领域已被指定为未来数据工程的技术转变：
批量到实时：变更数据捕获系统正在迅速取代批量 ETL，使数据库流式传输成为现实。传统的 ETL 功能现在正在实时发生。
增加数据源和数据仓库之间的连接性
通过智能工具进行自助分析，数据工程使之成为可能
数据科学功能的自动化
跨越本地和云环境的混合数据架构
最近数据工程技术的另一个有影响力的转变是看到“数据原样”而不是担心它的存储方式和位置。向实时数据处理的转变使数据访问变得轻松，数据处理更具挑战性。2020年数据管理趋势把聚光灯放在企业数据世界大会，许多杰出的演讲者将出席，讨论他们与数据工程相关的个人经历。
相关帖子DA内容精选
|
京公网安备 11010802022788号
