3878 40

[水煮经管] 避免五大误区丨新手数据科学家进阶之路   [推广有奖]

运营管理员

泰斗

56%

还不是VIP/贵宾

-

威望
4
论坛币
775178 个
学术水平
758 点
热心指数
819 点
信用等级
708 点
经验
300297 点
帖子
9779
精华
40
在线时间
5387 小时
注册时间
2014-8-19
最后登录
2018-11-16

widen我的世界 学生认证  发表于 2018-9-3 15:55:06 |显示全部楼层

避免五大

数据科学家进阶之路

39.png

作者 Jan Zawadzki

编译  Mika

本文为 CDA 数据分析师原创作品,转载需授权


你为成为数据科学家做了充分的准备,但实际的工作将于你的预期大不相同。

你为成为数据科学家做好了充分的准备。你参加Kaggle比赛,看了大量的Coursera课程。你感觉已经准备好了,但数据科学家的实际工作将与你的预期大不相同。

本文探讨了数据科学家新手的5个常见错误。这是由我在Sébastien Foucaud博士的帮助下一起总结的,他在学术界和行业领域有指导年轻数据科学家有超过20年的经验。本文旨在帮助你更好地为数据科学家的实际工作做好准备。


# 误区1 热衷参加Kaggle比赛


3.png


你通过参与Kaggle比赛练习了数据科学技能。如果你掌握决策树和神经网络那就再好不过了。但其实作为数据科学家,你不需要完成这么多的模型融合。记住,一般来说你将花80%的时间进行数据预处理,剩下20%的时间用于构建模型。


4.jpeg


参加Kaggle比赛的好处在于,给出的数据都很从而你有更多的时间调整模型。但是在实际工作中则很少出现这种情况,你需要使用不同的格式和命名方式来汇总不同来源的数据。


你需要做的是,熟练掌握你大部分时间将要做的事,即数据预处理。例如抓取图像或从API收集图像;从Genius收集歌词数据等。为解决特定问题准备所需的数据,然后将其输入到计算机中开始机器学习生命周期。精通数据预处理无疑将大大帮助你成为一名出色的数据科学家,从而让你在公司制定决策中起到关键作用。


# 误区2 神经网络能搞定一切


深度学习模型在计算机视觉和自然语言处理领域优于其他机器学习模型。但也有明显的缺点。


5.png


神经网络需要大量数据。如果样本较少,那么使用决策树或逻辑回归模型效果会更好。众所周知,神经网络难以说明和解释,因此被称为”黑匣子“。当产品负责人或主管对模型输出产生质疑时,你必须进行解释,而传统的模型更容易解释。


6.jpeg


有很多出色的统计学习模型,你需要了解其优缺点,并根据具体任务应该相关模型。除非是用于计算机视觉或自然语音识别等专业领域,否则传统的机器学习算法的成功率会更高。你很快就会发现,像逻辑回归等简单的模型是最好的模型。


7.jpeg


来源:来自scikit-learn.org的算法表。


# 误区3 机器学习是产品


在过去十年机器学习大受吹捧,许多创业公司都认为机器学习能解决任何存在的问题。


8.png

来源:过去5年的机器学习的谷歌指数趋势


机器学习永远不应该是产品。机器学习是强大的工具,用于生产满足客户需求的产品的。机器学习可以用于让客户收到精准的商品推荐;准确识别图像中的对象;帮助企业向用户展示有价值的广告。


作为数据科学家,你必须以客户为目标制定计划,从而你才能充分利用机器学习。


# 误区4 混淆因果关系和相关性


大约90%的数据是在过去几年中产生的。随着大数据的出现,机器学习从业者可以获得大量数据。由于有大量的数据需要分析评估,学习模型也更容易发现随机的相关性。


9.png


来源:http://www.tylervigen.com/spurious-correlations


上图显示了美国小姐的年龄与蒸汽、热蒸汽和发热物体导致的谋杀总数。根据这些数据,算法会学习美国小姐的年龄与某些物体导致谋杀的模式。然而,这些数据点实际上是无关的,并且这两个变量对其他变量没有任何预测作用。


当在数据中发现模式时,要应用你的专业知识。当中是相关性还是因果关系?回答这些问题是从数据中得出分析见解的关键。


# 误区5 优化错误的指标


开发机器学习模型遵循敏捷的生命周期。首先,你定义概念和关键指标。然后,将结果原型化。接着,不断进行改进直到指标令你满意。


10.png


在你构建机器学习模型时,记得要进行手动错误分析。虽然这个过程繁琐且费时费力,但可以帮助你在迭代中有效地改进模型。


# 结语


年轻的数据科学家能为公司提供巨大价值。他们通常是自学成才,因为很少有大学提供数据科学学位。同时他们具有强烈的好奇心,并且对自己选择的领域充满热情,并渴望了解更多的知识。因此对于刚入行的数据科学家来说,一定要注意以上提到的误区。


注意以下几点:


· 练习数据管理

· 研究不同模型的优缺点

· 让模型尽可能简单

· 检查结论中的因果性和相关性

· 优化最有希望的指标

原文链接:

https://towardsdatascience.com/top-5-mistakes-of-greenhorn-data-scientists-90fa26201d51



已有 2 人评分经验 收起 理由
我的素质低 + 100 精彩帖子
arthistory4 + 10 精彩帖子

总评分: 经验 + 110   查看全部评分


http://www.cda.cn/
高薪就业·数据分析人才·牛人聚集圈
stata SPSS
jc0100 发表于 2018-9-3 17:49:48 来自手机 |显示全部楼层
学习一下好帖子
回复

使用道具 举报

hifinecon 发表于 2018-9-3 17:50:18 来自手机 |显示全部楼层
widen我的世界 发表于 2018-9-3 15:55
避免五大误区丨新手数据科学家进阶之路作者 Jan Zawadzki编译  Mika本文为 CDA 数据分析师原创作品,转载需 ...
Xie Xie
回复

使用道具 举报

钱学森64 发表于 2018-9-3 18:00:09 |显示全部楼层
谢谢分享
回复

使用道具 举报

xujingjun 发表于 2018-9-4 07:28:08 |显示全部楼层
回复

使用道具 举报

晏几道 发表于 2018-9-4 07:39:39 |显示全部楼层
感谢楼主分享
回复

使用道具 举报

peyzf 发表于 2018-9-4 13:25:35 |显示全部楼层
感谢分享
回复

使用道具 举报

Jinen21 发表于 2018-9-4 20:52:12 |显示全部楼层
走在自学的路上,感觉成才还太遥远.
回复

使用道具 举报

王二狗983505647 发表于 2018-9-5 06:19:19 来自手机 |显示全部楼层
widen我的世界 发表于 2018-9-3 15:55
避免五大误区丨新手数据科学家进阶之路作者 Jan Zawadzki编译  Mika本文为 CDA 数据分析师原创作品,转载需 ...
谢谢分享
回复

使用道具 举报

重读柏格森 发表于 2018-9-5 09:22:04 |显示全部楼层
有点意思  追踪科学前沿  了解更多的发展状态很有必要
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 我要注册

GMT+8, 2018-11-16 22:31