CDA直播-使用Pandas高效提升数据质量

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

“数据科学家们80%的精力消耗在查找、数据清理、数据组织上，只剩于20%时间用于数据分析等。”——IBM数据分析     

现实使用的数据常常是含有噪声的、遗漏的和不一致的。无论是进行统计分析、机器学习还是深度学习，都要求数据真实可靠，数据格式统一。

你可能要问，数据清洗处于数据分析的什么位置？

按照IBM SPSS跨产业的数据挖掘标准处理流程，将数据挖掘工作流程分为以下六个阶段：商业理解-数据理解-数据预处理-建模分析-模型评估-模型应用。当然从上图可以看出，整个流程不是单一的，而是循环往复的过程。
“”

“有高质量的数据，才会有高质量的数据挖掘结果”。在数据挖掘的整个运行过程中，数据处理是最重要的一个步骤，数据处理的得当，对后续的数据挖掘过程是否有效和质量的好坏有着重要的影响。
同时数据前处理在整个数据挖掘的过程中，其重要性和所花费的时间，均居其他步骤的首位。

所以，数据清洗到底是在清洗些什么？

通常来说，你所获取到的原始数据不能直接用来分析，因为它们会有各种各样的问题，如包含无效信息，列名不规范、格式不一致，存在重复值，缺失值，异常值等.....

工欲善其事，必先利其器。应该如何选择数据清洗的工具？

这里就不得不提到Pandas。Pandas通常是用于数据挖掘和清理阶段，也就是在数据采集和存储和数据建模和预测之间的中间工具，它在数据科学中起到了关键作用。

对于一个典型的数据科学家来说，Pandas将在数据通过管道时扮演最重要的角色。量化这一点的一个指标是Stack Overflow APP上的趋势。

可以看出，Pandas在Stack Overflow的活动超过其他任何Python数据科学库，并占据整个站点上提交的所有新问题的1％。
本次公开课，我们邀请到了数据挖掘工程师刘静老师，和你一起分享使用Pandas高效提升数据质量的话题。

在线报名预约直播：
（报名流程：点击我要报名-提交订单-等待直播开始-进入直播）

http://www.peixun.net/view/1418.html

扫码加入交流群领取资料：

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享1 收藏3 回帖

有高质量的数据，才会有高质量的数据挖掘结果

pandas很强大，值得学习！

已经报名参加直播！

终于等到这个课程了，今晚必须看，上次课程错过了

thanks for sharing

学习学习！

终于等到这个课程了，今晚必须看

学习学习！