哪些情况会让数据科学家抓狂？-经管之家官网！

扫码加入金融交流群

哪些情况会让数据科学家抓狂？

作者 Ganes Kesari

编译Mika

本文为 CDA 数据分析师原创作品，转载需授权

如今，人们对数据科学的热情高涨。只要在产品介绍中加入”由人工智能驱动”，就能极大地促进产品的销量。

但是，问题也接踵而至。

数据科学在营销时常常会夸大其词。从而，客户也大大提高了期望值。归根结底，数据科学需要去尽力去实现客户的高期望。

在本文中，我们将讨论机器学习项目中八个会让数据科学家抓狂的常见问题，以及为什么这些问题让数据科学家苦恼不已。

如果你也处于数据科学领域，或者考虑进入该领域，那么明确这些问题能帮助你更好做出判断，以及进行处理。

# 1. 我们想要一个AI 模型来解决问题

行业中80％的问题都可以通过简单的探索性数据分析解决。如果在解决某些问题时用机器学习都有些大材小用，那么根本不用在考虑利用AI了。

是的，高级分析很酷。企业都喜欢通过对这方面的投资在行业中处于领先地位。哪家公司不想宣传一下AI项目呢？但是，需要对客户进行基本的说明，采用适当的行业用例。

“到目前为止，人工智能的最大危险在于人们过早得认为他们已经充分理解它了。”

—— Eliezer Yudkowsky

# 2. 通过一些数据得出变革性的分析见解

通常，客户认为他们只需要提交数据就可以了。有些客户甚至不会提供相关问题的定义，具体可以看到第四点。他们要求数据分析师获取数据，并得出变革性的商业见解，从而能够在一夜之间改变企业的发展方向。

不幸的是，人们无法单独得出可操作的商业建议。这需要与客户进行持续有效的交流，从而聊着整个企业的情况。在整个项目期间，定期与业务人员进行规划是很重要的。

“如果你不知道如何提出正确的问题，那么你将一无所获。“

—— W. Edward Deming

# 3. 构建模型，并跳过通不必要的分析来节省时间

许多数据分析师忽略了数据整理和探索性分析的重要性。

数据分析是机器学习和其他更高层次分析的必要步骤。如果不了解数据，不去发现异常值或潜在模式，那么模型将一无是处。因此必须为分析预留时间，并与客户分享有价值的发现。

”炼金术士在寻找黄金时会发现其他许多更有价值的东西。“

—— Arthur Schopenhauer

# 4. 根据上周的数据，你能预测未来6个月的数据吗？

这数据科学家们最讨厌的情况。客户在电子表格中提供了几行数据，并希望AI能够预测未来。有时更奇怪，在没有任何数据时，客户想知道机器学习是否能填补这些数据的空白。

数据质量和数量至关重要，“垃圾进，垃圾出”适用于数据分析。有用的统计技术有助于处理数据问题，并能在你提供的少量数据中得出更多的结论。例如，估算缺失点，生成数据或使用较小的简单模型。但这需要降低客户对结果的预期。

分析技术与数据量的关系，来源：吴恩达

# 5. 你能在两周内完成建模项目吗？

在许多项目会规定在昨天前完成，即使是今天才开始安排计划。这种高强度的项目安排，常常会给模型工程阶段带来影响。随着模型API和GPU计算的出现，客户想知道到底时什么减慢了缓数据科学家的速度。

尽管自动化机器学习取得了进步，但在建模过程中手动操作也是必不可少的。数据科学家必须在痛苦的迭代中检查统计结果，比较模型和检查解释。这些是不能自动化的，起码现在还不能。这方面最好通过案例跟客户说明。

# 6. 你能替换输出变量并刷新吗？

在数据科学家解决了商业行为的建模问题之后，新的请求即将出现，也就是最后的小变化。通常是替换输出变量，然后重新运行模型。客户意识不到这些变化不仅会改变目标，而且会改变整个模型。

虽然机器学习是高度迭代的，但关键挑战是为给定的输出变量选择正确的影响因素，并映射它们间的关系。客户必须想了解这背后的基本工作原理，以及明确他们可以调控的范围。

# 7. 模型的准确度可以达到100％吗？

人们经常会误解错误率。而且容易盲目追求测试等级，有些客户甚至希望准确度达到100％。当准确度超过其他因素成为唯一的关注点时，这就很令人担忧了。建立一个过于复杂却无法实现的高准确度模型有什么意思呢？

以高准确度赢得Netflix奖的模型从未正式上线，因为高度的复杂性会带来巨大的工程成本。而准确度较低的模型则会被采用。因此在考虑准确度时，要权衡简单性、稳定性和业务可解释性。

模型工程：权衡各方面的因素

# 8. 训练好的模型能一直不出问题吗？

在艰辛地完成建模和测试之后，客户想知道机器是否已经掌握了所有内容。常见的问题是模型是否能一直不出问题，并且适应未来业务的变化？

不幸的是，机器不能终身学习。需要进行不断地训练，通常需要每隔几周或几个月进行复习和训练，就像寒窗苦读的学子一样。如今的分析行业在迅速发展，瞬息万变，因此模型也需要不断进行维护和更新。

# 结语

在机器学习项目中，以上八大误区会让数据科学家头疼不已，在机器学习建模生命周期的六个阶段也会出现类似问题，如下图所示。

机器学习项目生命周期

导致上述误区的原因在于缺乏对项目的了解，以及没有正确把握主次。了解背后这些原因的数据科学家需要对客户进行更好的说明。从而双方能够更好得解决难题，而不是一味的妥协。

原文链接：

https://towardsdatascience.com/what-frustrates-data-scientists-in-machine-learning-projects-3398919a7c79

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP