发帖
雷达卡
数据工程师和业务分析师可能是最佳的数据科学机会
简介： 并非每个人都希望花费时间和金钱来成为数据科学家，如果您是职业中期，障碍会更高。如果您仍然希望深入参与新的数据驱动型经济并获得丰厚报酬，则需要关注作为数据工程师或业务分析师的增长率和机会。
好吧，鉴于数据科学家仍然是美国最性感的工作，如果您不能或不想花费时间和金钱来获得该证书，会发生什么？
很少有人会每周问一次如何从现有职业转变为数据科学的问题。虽然我个人认为您无法在其他任何地方获得更多的乐趣，但想要转换的人面临许多合法障碍。尤其是如果您失学超过5或10年。
我们在“关于将职业过渡到数据科学的一些想法”中对此进行了详尽的介绍。这是我们阅读最多的文章之一，因此显然有很多人试图弄清楚这一点。基本上我们说没有捷径。尽管这将在智力上并最终在经济上带来回报，但如果您的职业生涯已经开始，则很难。
即使您正在接受中等教育，完整的数据科学证书也不适合每个人。而且，随着新的面向数据民主化的公司定位（自助服务的代码字），任何想要了解数据的人都将有很多机会这样做。
在数据驱动越来越多的世界中，好消息是，支持角色的金字塔比数据科学家的角色甚至更快。他们有需求。他们的薪水很高，也许您确实会发现，利用MOOC，新兵训练营甚至OJT，可以更轻松地将您当前的技能运用到这些角色中。
我们谈论的是已经存在一段时间的两个角色，数据工程师和业务分析师。
数据工程师
在过去十年的大部分时间里，当然在过去的五年里，数据科学家给传统的IT组织带来了新的负担。传统的IT也发生了真正的使命变化。
从历史上看，IT一直在以可接受的SLA内的最低成本为内部客户提供服务。降低成本仍然很重要，但是随着数据和数据科学成为收入，利润和战略差异的驱动力，IT部门发现自己肩负着更加紧迫的支持任务。
与大数据相关的独立技能，特别是Hadoop / Hive，Spark，流数据，物联网，数据湖，云平台和ETL，以及结构化和非结构化数据的混合，已被分为一条职业道路，分别称为数据工程师或大数据开发人员。
随着数据科学家变得更加专业化，他们没有掌握这些技能，这对他们来说也不是一件有效的事情。公司越来越多地建立分析团队，数据工程师可能会加入这个新团队，或者继续通过IT进行报告，但与传统的IT组织有所不同。
事实证明，数据工程师之路的名称远比数据科学家的作用快。例如，机器学习工程师（又名数据工程师）的机会比数据科学家的机会增长了50％。
我们还有其他证据证明这是真的吗？Qubole的业务是非常快速地设置和管理云数据平台即服务，该公司刚刚发布了其2018年大数据激活报告。这是对200多家大小不一的客户的统计数据，以及它们如何处理大数据。作为Qubole的客户，我们知道他们在数据生命周期上已经相当先进，并且既追求灵活性又追求经济性。
这是他们报告中的第一个有趣事实。这些公司中的76％积极使用至少三个大数据开源引擎来进行准备，机器学习以及报告和分析工作负载（Apache Hadoop / Hive，Apache Spark或Presto）。这些完全在数据工程师的操盘手。
其次，数据工程师在支持自助访问数据方面的作用正在迅速增长。Qubole报告显示Presto，Spark 171％和Hadoop / Hive的用户同比增长255％。
在数据科学领域，我们认为Spark已经完全取代了Hadoop，实际上Hadoop具有5至8年的主导地位，在成为Spark之前，它已成为首选的大数据平台。因此，数据工程师在Hadoop / Hive中工作的可能性与在Spark中一样。两者显然仍然有作用。
尽管这三个系统的用户数量都急剧增长，但实际计算小时数的逐年增长却说明了一个小小的不同，Spark的增长速度几乎是Hadoop / Hive的三倍（298％比102/102） ％）。请注意，Hadoop / Hive仍然有大部分时间（作为已建立的旧系统），但是增长显然有利于Spark。
数据分析师
数据分析师是新的公民数据科学家。这并不意味着期望他们做数据科学家可以做的一切。这确实意味着，人们越来越希望他们在分析和数据可视化中使用新的自助服务工具，并且比过去更积极地参与所有类型的数据。
随着数据科学的流行并吸引了业务领导者的想象力，传统的BI逐渐退出了人们的视野，但显然从未消失。尽管分析和报告要求访问的数据远远超出传统的RDBMS，但BI仍是大多数运营报告的核心。
当Hadoop / Hive在2007年以NoSQL的更通用名称成为开源时，大概有五年的时间里，分析师在SQL方面的经典实力无法应用到这项新技术上。那很快过去了。
大数据数据库的新提供者迅速发现，SQL在用户社区中是如此占主导地位，以至于没有SQL的增长都是不可能的。很快，NoSQL成为NotOnlySQL，并且类似SQL的工具的数量迅速增加。
如今，用于大数据平台的领先的开源SQL引擎是Presto，并且实现和用户数量的增长以及计算时间远远超过Hadoop / Hive或Spark（请参见上文）。这讲述了自助服务分析以及结构化和非结构化数据的融合已变得多么迅速的故事。
如今的数据分析师拥有的工具是他们早先梦un以求的，从完全的混合和分析平台（如Alteryx）到出色的数据可视平台（如Tableau和Qlik），不一而足。对于开放源代码用户，Presto允许将您已经成为专家的SQL的所有功能应用于全部非结构化和半结构化数据。
新的职业道路
数据工程师和业务分析师都是进入数据科学的职业道路。两者都利用数据科学和基于SQL的分析方面的现有技能，而无需满足成熟的数据科学家所要求的严格要求。
题库
京公网安备 11010802022788号
