Python数据分析基础入门(一):获取数据源——AIU人工智能学院-经管之家官网!

人大经济论坛-经管之家 收藏本站
您当前的位置> 数据>>

数据分析

>>

Python数据分析基础入门(一):获取数据源——AIU人工智能学院

Python数据分析基础入门(一):获取数据源——AIU人工智能学院

发布:AIU人工智能学院 | 分类:数据分析

关于本站

人大经济论坛-经管之家:分享大学、考研、论文、会计、留学、数据、经济学、金融学、管理学、统计学、博弈论、统计年鉴、行业分析包括等相关资源。
经管之家是国内活跃的在线教育咨询平台!

经管之家新媒体交易平台

提供"微信号、微博、抖音、快手、头条、小红书、百家号、企鹅号、UC号、一点资讯"等虚拟账号交易,真正实现买卖双方的共赢。【请点击这里访问】

提供微信号、微博、抖音、快手、头条、小红书、百家号、企鹅号、UC号、一点资讯等虚拟账号交易,真正实现买卖双方的共赢。【请点击这里访问】

AIU人工智能学院:数据科学、人工智能从业者的在线大学。数据科学(Python/R/Julia)数据分析、机器学习、深度学习导入数据主要用到的是Pandas里的read_x()方法,x表示待导入文件的格式。1、导入.xlsx文件在Excel中导 ...
扫码加入数据分析学习群


AIU人工智能学院:数据科学、人工智能从业者的在线大学。

数据科学(Python/R/Julia)数据分析、机器学习、深度学习


导入数据主要用到的是Pandas里的read_x()方法,x表示待导入文件的格式。

1、导入.xlsx文件

在Excel中导入.xlsx格式的文件时很简单的,双击打开就可以了。在Python中导入.xlsx文件的是read_excel()这种方法。

(1)基本导入

在导入文件的时候首先要指定文件的路径,也就是这个文件在电脑中的哪个文件夹下存放着。

https://p3.pstatp.com/large/pgc-image/324e17f0fa4541de97c110e3a20bd7b1

电脑中的文件路径默认是使用\的,这个时候需要在路径前面加一个r(转义符)避免路径里面的\被转义。也可以不加转义符r,但是需要把路径里面所有的\转换成/,这个规则在导入其他格式文件的时候也是一样的,我们一般会选择在路径前面加转义符r。

https://p3.pstatp.com/large/pgc-image/50bc103c5775452a9cebd1b54c8a68f8
https://p1.pstatp.com/large/pgc-image/949d1f69d96040618f805cd1e467d2c1

(2)指定导入哪个Sheet

.xlsx格式的文件可以有很多个Sheet,你可以通过设定sheet_name参数来指定要导入哪个Sheet的文件。

https://p1.pstatp.com/large/pgc-image/6cbea87383a04abbb02b059436fc2604

除了可以指定具体Sheet的名字,还可以传入Sheet的顺序,从0开始计数。

https://p1.pstatp.com/large/pgc-image/f4fbf8b63faf46d3899cc4bece6ca27c

如果不指定sheet_name参数的时候,那么默认导入的都是第一个sheet的文件。

(3)指定行索引

将本地文件导入DataFrame的时候,行索引使用的是从0 开始的默认索引,可以通过设置index_col参数来设置。

https://p1.pstatp.com/large/pgc-image/e1466b0a9cee466ba9ef2b861854e421

index_col表示用.xlsx文件中的第几列做行索引,从0 开始计数。

(4)指定列索引

将本地文件导入DataFrame的时候,默认使用的是源数据表的第一行作为列索引,也可以通过设置header参数来设置列索引。header参数值默认为0,即用第一行作为列索引;也可以是其他行,只需要传入具体的那一行即可;也可以使用默认从0开始的数作为列索引。

https://p9.pstatp.com/large/pgc-image/2a5b14ba117145679c187bf10329c0f9

(5)指定导入列

有的时候本地文件的列数太多,而我们又不需要那么多列的时候,我们就可以通过设定usecols参数来指定要导入的列。

https://p3.pstatp.com/large/pgc-image/33669e505d994330a4ff66f542cde81a

可以给usecols 参数具体的某个值,表示要导入第几列,同样是从0开始计数,也可以以列表的形式传入多个值,表示要传入哪些列。

https://p9.pstatp.com/large/pgc-image/28f299e898614c63899ad6d7ac352d55

2、导入.csv文件

在Excel中导入.csv格式的文件和打开.xlsx格式的问价是一样的,双击即可。而在Python中导入.csv问价用的方法是read_csv()。

(1)直接导入

只需要指明文件路径即可。

https://p1.pstatp.com/large/pgc-image/263ed105e43d4e70991327d9ebb9806a

(2)指明分隔符号

在Excel和DataFrame中的数据都是很规整的排列的,这都是工具在后台根据某条规则进行切分的。read_csv()默认文件中的数据都是以逗号分开的,但是有的文件不是用逗号分开的,这个时候就需要人为指定分隔符号,否则就会报错。

新建一个以空格作为分隔符号的文件,如下图所示:

https://p3.pstatp.com/large/pgc-image/e1b72f407d1048b3b1302ca28c055ecc

如果用默认的逗号作为分隔符号,看看导入的数是什么样的。

https://p1.pstatp.com/large/pgc-image/eeeccd1bba6d4156967e9bb7bc2deb2d
https://p1.pstatp.com/large/pgc-image/a42db1f1d5ba45f9b80847d43682aa96

我们看到所有的数据还是一个整体,并没有被分开,把分隔符号换成空格以后再看看效果:

https://p1.pstatp.com/large/pgc-image/8595068c51b046d79d4e5b2722c98353

使用正确的分隔符号以后,数据被规整的分好了。常见的分隔符号除了逗号、空格,还有制表符(\t)。

(3)指明读取行数

假设现在有一个几百兆的文件,你想了解一下这个文件里有哪些数据,那么这个时候你就没必要把全部数据都导入,你只要看到前面几行即可,因此只要设置nrows参数即可。

https://p3.pstatp.com/large/pgc-image/5f14b37ccf594596881c7a42c471422f

(4)指定编码格式

Python用得比较多的两种编码格式是UTF-8和gbk,默认编码格式是UTF-8。我们要根据导入文件本身的编码格式进行设置,通过设置参数encoding来设置导入的编码格式。有的时候两个文件看起来一样,它们的文件名一样,格式一样,但是如果它们的编码格式不一样,也是不一样的文件

比如当你把一个Excel文件另存为时会出现两个选项,虽然都是.csv文件,但是这两种格式代表两种不同的文件,如下图所示:

https://p3.pstatp.com/large/pgc-image/57f3359f53fc4de4a5a24356ee467c81

如果CSV UTF-8(逗号分隔)(*.csv)格式的文件,那么导入的时候就需要加encoding参数。

https://p1.pstatp.com/large/pgc-image/9e4429d4e8ee4d8f8685895c1042adbc

你也可以不加encoding参数,因为Python默认的编码格式就是UTF-8。

https://p1.pstatp.com/large/pgc-image/e52dc23675c646169baa35b85033ee6a

如果CSV(逗号分隔)(*.csv)格式的文件,那么在导入的时候就需要把编码格式更改为gbk,如果使用UTF-8就会报错。

https://p1.pstatp.com/large/pgc-image/7c4af0cbd5e94a1585df2b4804a09138

(5)engine指定

当文件路径或者文件名中包含中文时,如果还用上面的导入方式就会报错。

https://p3.pstatp.com/large/pgc-image/70fac8c5fd3f44aca991c33a2bf09667

这个时候我们就可以通过设置engine参数来消除这个错误。这个错误产生的原因是当调用read_csv()方法时,默认使用C语言作为解析语言,我们只需要把默认值C更改为Python就可以了,如果文件格式是CSV UTF-8(逗号分隔)(*.csv),那么编码格式也需要跟着变为utf-8-sig,如果文件格式是CSV(逗号分隔)(*.csv)格式,对应的编码格式则为gbk。

https://p1.pstatp.com/large/pgc-image/11b240b2e25542c0b10ab730537792e2

(6)其他

.csv文件也涉及行、列索引设置及指定导入某列或者某几行,设定方法与导入.xlsx文件一致。

3、导入.txt文件

(1)Excel实现

在Excel中导入.txt文件时,我们需要通过依次单击菜单栏中的数据>获取外部数据>自文本,然后选择要导入的.txt文件所在的路径,如下图所示:

https://p3.pstatp.com/large/pgc-image/1b479f341df2490a83d3785824311d47

选完路径以后会出现如下图所示的界面,预览文件就是我们要导入的文件,确认无误后按下一步按钮即可。

https://p9.pstatp.com/large/pgc-image/cb05366257814fc3bd220758a080a03e

因为我们举例.txt 文件用空格分开的,所以在分隔符号项勾选空格复选框,如果待导入的.txt 文件是用其他分隔符号分隔的,那么选择对应的分隔符号,然后直接按完成按钮即可,如下图所示:

https://p1.pstatp.com/large/pgc-image/deb6788dca3c4d0eb8636c719c51293a

(2)Python实现

在Python中导入.txt文件用的方法是read_table()是将利用分隔符号分开的文件导入DataFrame的通用函数。它不仅可以导入.txt文件,还可以导入.csv文件。

https://p1.pstatp.com/large/pgc-image/ca65a0adbf82492a9146d742d29ce600

从上面的代码可以看出,函数在导入.csv文件时,与read_csv()函数不同的是,即使是逗号分隔开的问价也是需要用sep指明分隔符号的,而不是像read_csv()函数那样,如果文件是逗号分隔的,则可以不用写。

read_table()函数其他参数的用法与read_csv()函数的基本一致。

4、导入sql文件

(1)Excel实现

Excel可以直接连接数据库,通过依次单击菜单栏中的数据>自其他来源导入sql文件。如果你的数据库是SQL Server,那么直接选择来自SQL Server即可;如果是MySQL数据库,那么你需要选择来自数据连接向导,然后通过建立数据向导来与MySQL连接,如下图所示:

https://p1.pstatp.com/large/pgc-image/0438e646b4ac47289a85c78773e4829f

(2)Python实现

Python导入SQL文件主要分为两步,第一步将Python与数据库进行连接,第二步是利用Python执行SQL查询语句。

将python与数据库连接时利用的是python模块,这个模块Anaconda没有,需要我们手动安装的,打开Anaconda Promt,然后输入pip install pymysql进行安装即可,安装完成以后直接用import导入就可以使用了,具体连接方法如下:

https://p1.pstatp.com/large/pgc-image/a64197f3cc334e4ba8d1796bbf59810b

连接好数据库以后,我们就可以执行SQL查询语句了,利用的是read_sql()方法。

https://p9.pstatp.com/large/pgc-image/4299470401634fba801b7b42176d833d
https://p3.pstatp.com/large/pgc-image/c881866d33ef45b5a565c0cf0226fc92

除了sql和con这两个关键参数,read_table()函数也有用来设置行索引的参数index_col,设置列索引的columns,实例如下:

https://p1.pstatp.com/large/pgc-image/b89aff67df404192a78041b2125a7164
二、新建数据

这里的新建数据主要指新建DataFrame数据,我们在之前谈到过,利用pd.Dataframe()方法进行新建。

三、熟悉数据

当我们有了数据源以后,先别急着分析,应该先熟悉数据,只有对数据充分熟悉了,才能更好的进行分析。

1、利用head预览前几行

当数据表中包含数据行数过多时,而我们又想看一下每一列数据都是什么样的数据时,就可以只把数据表中前几行数据显示出来进行查看。

(1)Excel实现

Excel其实没有严格意义的显示前几行,当你打开一个数据表时,所有的数据就全部都展示出来了,如果数据的行数过多,则可以通过滚动条来控制。

(2)Python实现

在Python中,当一个文件导入后,可以用head()方法来控制要显示哪些行。只需要在head后面的括号中输入要展示的行数即可,默认展示前5行。

https://p1.pstatp.com/large/pgc-image/9d1e07b64f5c43d4be3b622141408163

2、利用shape获取数据表的大小

熟悉数据的第一点就是先看一下数据表的大小,即数据表有多少行、多少列。

(1)Excel实现

在Excel中查看数据表有多少行,一般都是选中某一列,右下角就会出现该表的行数,如下图所示:

https://p9.pstatp.com/large/pgc-image/730c1000ba8f4dfbaf3131bc631e79b6

在Excel中选中某一行,右下角就会出现该表的列数,如下图所示:

https://p1.pstatp.com/large/pgc-image/c87d8585711d4e1e9665f9a061eba586

(2)Python实现

在Python中获取数据表的行、列数利用的是shape方法。

https://p3.pstatp.com/large/pgc-image/97d28c1449984ec6aa9a087550ae0a34

Shape方法会以元组的形式返回行、列数,上面代码中的(4,4)表示df表有4行4列数据。这里需要注意的是,Python中利用shape方法获取行数和列数时不会把行索引和列索引计算在内,而Excel中是把行索引和列索引计算在内的。

3、利用info获取数据类型

熟悉数据的第二点就是看一下数据类型,不同的数据类型的分析思路是不一样的,比如数值类型的数据可以求均值,但是字符串类型的数据就没法求均值了。

(1)Excel实现

在Excel中若想看某一列数据具体是什么类型的,只要把这一列选中,然后再菜单栏中的数字那一栏就可以看到这一列的数据类型。

年龄为数值类型,如下图所示:

https://p1.pstatp.com/large/pgc-image/b01933b8802c4cecb3c4384f7570f7da

性别为文本类型,如下图所示:

https://p9.pstatp.com/large/pgc-image/b05af5b8a5fb4f8fb81bcba7e60191ba

(2)Python实现

在Python中我们可以利用info()方法查看数据表中的数据类型,而且不需要一列一列查看,在调用info()方法以后就会输出整个表中所有列的数据类型。

https://p1.pstatp.com/large/pgc-image/68f2b727fccf40b1b33d26e6769af9da

通过info()方法可以看出表df的行索引index是0到3,总共4columns,分别是编号、年龄、性别以及注册时间,且4columns中只有年龄是int类型,其他columns都是object类型,共占用内存208bytes。

4、利用describe获取数值分布情况

熟悉数据的第三点就是掌握数值的分布情况,即均值是多少,最值是多少,方差及分位数分别又是多少。

(1)Excel实现

在Excel中如果想看某列的数值分布情况,那么手动选中这一列,在Excel的右下角就会显示出这一列的平均值、计数及求和,且只显示这三个指标,如下图所示。

https://p3.pstatp.com/large/pgc-image/5540f8f1a361419bae15bd4f77a82149

(2)Python实现

在Python中只需要利用describe()方法就可以获取所有数值类型字段的分布值。

https://p3.pstatp.com/large/pgc-image/378a5ee4a5c94ecca366e97aff22df5e
https://p1.pstatp.com/large/pgc-image/76fb5f1f126a41e787a486b0b200d190

表df中只有年龄这一列是数值类型,所以调用describe()方法时,只计算了年龄这一列的相关数值分布情况。我们可以新建一个含有多列数值类型字段的DataFrame。

https://p9.pstatp.com/large/pgc-image/a54be320eba14a76a1ab6be7ba35b504

上面的表df中年龄、收入、家属数都是数值类型,所以在调用describe()方法的时候,会同时计算这三列的数值分布情况。

关注“AIU人工智能实验室”,回复“录播”获取更多人工智能精选直播视频!

完 谢谢观看

「经管之家」APP:经管人学习、答疑、交友,就上经管之家!
免流量费下载资料----在经管之家app可以下载论坛上的所有资源,并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库,各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里,你可以找到任何学科方向、有共同话题的朋友。
经管之家(原人大经济论坛),跨越高校的围墙,带你走进经管知识的新世界。
扫描下方二维码下载并注册APP
本文关键词:

本文论坛网址:https://bbs.pinggu.org/thread-8243215-1-1.html

人气文章

1.凡人大经济论坛-经管之家转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。