[网帖精选] Python数据分析基础教程 [推广有奖]

从菜市场买来的菜,总有一些不太好的，所以把菜买回来以后要先做一遍预处理，把那些不太好的部分扔掉。现实中大部分的数据都类似于菜市场的菜品，拿到以后都要先做一次预处理。

常见的不规整的数据主要有缺失数据、重复数据、异常数据几种，在开始正式的数据分许之前，我们需要先把这些不太规整的数据处理掉。

缺失值就是由某些原因导致部分数据为空，对于为空的这部分数据我们一般有两种处理方式，一种是删除，即把含有缺失值的数据删除；另一种是填充，即把缺失的那部分数据用某个值代替。

1、缺失值查看

对缺失值进行处理，首先要把缺失值找出来，也就是查看哪列有缺失值。

（1）Excel实现

在Excel中我们先选中一列没有缺失值的数据，看一下这一列数据共有多少个，然后把其他列的计数与这一列进行对比，小于这一列数据个数的就代表有缺失值，差值就是缺失的个数。

下图中非缺失值列的数据计数为5，性别这一列的计数为4，这就表示性别这一列有1个缺失值。

如果想看整个数据表中每列数据的缺失情况，则要挨个选中每一列去判断该列是否有缺失值。

如果数据不是特别多，你想看具体是哪个单元格缺失，则可以利用定位条件（按快捷键Ctrl+G可弹出定位条件的对话框）查找。在定位条件的对话框中选择空值，单击确定就会把所有的空值选中，如下图所示：

通过定位条件把缺失值选出来的结果，如下图所示：

（2）Python实现

在Python中直接调用info（）方法就会返回每一列值的缺失情况。关于info（）方法我们在前面就用过，但是没有说明这个方法可以判断数据的缺失情况。

Python中缺失值一般用NaN表示，从用info（）方法的结果来看，性别这一列是3non-null object，表示性别这一列有3个非null值，而其他列有4个非null值，说明性别这一列有一个null值。

我们还可以用isnull（）方法来判断那个值是缺失值，如果是缺失值则返回True，如果不是缺失值则返回False。

2、缺失值删除

缺失值分为两种，一种是一行中某个字段是缺失值；另一种是一行中的一个字段全部为缺失值，即为一个空白行。

（1）Excel实现

在Excel中，这两种缺失值都可以通过在定位条件（按快捷键Ctrl+G可弹出定位条件的对话框）对话框中选择空值找到。

这样含有缺失值的部分就会被选中，包括某个具体的单元格及一整行，然后单击鼠标右键在弹出的删除对话框中选择删除整行选项，并单击确定按钮即可实现整行的删除。

(2)Python实现

在Python中,我们利用的是dropna（）的方法，dropna（）的方法默认删除含有缺失值的行，也就是只有某一行有缺失值就把这一行删除。

运行dropna（）方法以后，删除含有NaN的行，返回删除后的数据。如果想删除空白行，只要给dropna（）方法传入一个参数how=all即可，这样就会只删除哪些全为空值的行了，不全为空值的行就不会被删除。

上表第二行中只有性别这个字段是空值，所以在利用dropna（how=“all”）的时候并没有删除第二行，只是把全为NaN值的第三行删除掉了。

3、缺失值填充

上面 介绍了缺失值的删除，但是数据是宝贵的，一般情况下只要数据缺失比例不是过高（不大于30%），尽量别删除，而是选择填充。

（1）Excel实现

在Excel中，缺失值的填充和缺失值的删除一样，利用的也是定位条件，先把缺失值找到，然后在第一个缺失值的单元格中输入要填充的值，最常用的就是用0填充，输入以后按Ctrl+Enter组合键就可以对所有的缺失值进行填充。

缺失值填充前后的对比如下图所示：

年龄用数字填充合适，但是性别用数字填充就不太合适，那么可不可以分开填充呢？答案是可以的，选中要填充的那一列，按照填充全部数据的方式进行填充即可，只不过要填充几列，需要执行几次操作。

上图是填充前后的对比，年龄这一列我们用平均值进行填充，性别这一列我们用众数进行填充。

除了用0填充、平均值填充、众数（大多数）填充，还有向前填充（即用缺失值的前一个非缺失值填充，比如上例中编号A3对应的缺失年龄的前一个非缺失值就是16）、向后填充（与向前填充对应）等方式。

（2）Python实现

在Python中，我们利用的fillna（）方法对数据表中的所有缺失值进行填充，在fillna后面的括号中输入要填充的值即可。

在Python中我们也可以按不同列填充，只要在fillna（）方法的括号中指明列名即可。

上面代码中只针对这一列进行了填充，其他列未进行任何更改。

也可以同时对多列填充不同的值：

重复数据就是同样的记录有多条，对于这样的数据我们一般做删除处理。

假设你是一名数据分析师，你的主要工作是分析公司的销售情况，现有公司2018年8月的销售明细（一直一条明细对应一笔成交记录），你想看一下8月份整体成交量是多少，最简单的方式就是看一下有多少条成交明细。但是这里可能会有重复的成交记录存在，所以要先删除重复项。

（1）Excel实现

在Excel中依次单击菜单栏中的数据>数据工具>删除重复值，就可以删除重复数据了，如下图所示：

删除前后的对比如下图所示：

Excel的删除重复值默认针对所有值进行重复值判断，有订单编号、客户姓名、唯一识别码（类似于身份证号）、成交时间这四个字段，Excel会判断这四个字段是否都相等，只有都相等时才会删除，且保留第一个（行）值。

你知道了公司8月份成交明细以后，你想看一下8月份总共有多少成交客户，且每个客户在8月份首次成交的日期。

查看客户数量只需要按客户的唯一识别码进行去重就可以了。Excel默认是全选，我们可以取消全选，选择唯一识别码进行去重，这样重要唯一识别码重复就会被删除，如下图所示：

因为Excel默认会保留第一条记录，而我们又想要获取每个客户的较早成交日期，所以我们需要先对时间进行升序排列，让较早的时间排在前面，这样在删除的时候就会保留较早的成交日期了。

删除前后的对比如下图所示：

（2）Python实现

在Python中我们利用drop_duplicates()的方法,该方法默认对所有值进行重复值判断，且默认保留第一个（行）值。

上面的代码是针对所有字段进行的重复值判断，我们同样也可以只针对某一列或者某几列进行重复值删除的判断，只需要在drop_duplicates()方法中指明要判断的列名即可。

也可以利用多列去重，只需要把多个列名以列表的形式传给参数subset即可。比如按姓名和唯一识别码去重。

还可以自定义删除重复项时保留哪个，默认保留第一个，也可以设置保留最后一个，或者全部不保留。通过传入参数keep进行设置，参数keep默认值是first，即保留第一个值；也可以是last，保留最后一个值；还可以是False，即把重复值全部删除。

异常值就是相比正常数据而言过高或者过低的数据，比如一个人的年龄是0岁或者300岁都算是一个异常值，因为这和实际情况差距过大。

1、异常值检测

要处理异常值首先要检测，也就是发现异常值，发现异常值的方式主要有以下三种。

●根据业务经验划定不同指标的正常范围，超过该范围的值算作异常值。

●通过绘制箱型图，把大于（小于）箱型图上边缘（下边缘）的点称为异常值

●如果数据服从正态分布，则可以利用3σ原则；如果一个数值与平均值之间的偏差超过三倍标准差，那么我们就认为这个值是异常值。

箱型图如下图所示：

下图为正太分布图，我们把大于μ+3σ的值称为异常值。

2、异常值处理

对于异常值一般有以下几种处理方式：

●最常用的处理方式就是删除。

●把异常值当做缺失值处理。

●把异常值当做特殊情况，研究异常值出现的原因。

（1）Excel实现

在Excel中，删除异常值只要通过筛选把异常值对应的行找出来，然后单击鼠标右键选择删除即可。

对异常值进行填充，其实就是对异常值进行替换，同样通过筛选功能把异常值先找出来，然后把这些异常值替换成要填充的值即可。

（2）Python实现

在Python中，删除异常值用到的方法和Excel中的方法原理类似，在Python中是通过过滤的方法对异常值进行删除。比如df表中有年龄这个指标，要把年龄大于200的值删掉，你可以通过筛选把年龄不大于200的筛选出来，筛出来的部分就是删除大于200的值以后的新表。

对异常值进行填充，就是对异常值进行替换，利用replace（）方法可以对特定的值进行替换。

1、数据类型

（1）Excel实现

在Excel中常用的数据类型就是在菜单栏中数字选项下面的几种，你可以选择其他数据格式，如下图所示：

在Excel中只要选中某一列就可以在菜单栏看到这一列的数据类型。

当选中成交时间这一列的时候，菜单栏中就会显示日期，表示成交时间这一列的数据类型是日期格式，如下图所示：

（2）Python实现

Pandas不像Excel分的那么详细，它主要有6种数据类型，如下图所示：

在Python中，不仅可以用info（）方法获取每一列的数据类型，还可以通过dtype方法来获取某一列的数据类型。

2、类型转换

我们在前面说过，不同数据类型的数据可以做的事情是不一样的，所以我们需要对数据进行类型转化，把数据转换为我们需要的类型。

（1）Excel实现

在Excel中如果想要改变某一列的数据类型，只要选中这一列，然后在数字菜单栏中通过下拉菜单选择你要转换的目标类型即可实现。

下图就是将文本类型的数据转换成数值类型的数据，数值类型的数据默认为两位小数，也可以设置成其他位数。

（2）Python实现

在Python中，我们利用astype（）方法对数据类型进行转换，astype后面的括号里指明要转换的目标类型即可。

索引是查找数据依据，设置索引的目的是便于我们查找数据。举个例子，你逛超市买了很多食材。

回到家以后要把他们放在冰箱里，放的过程其实就是一个建立索引的过程，比如蔬菜放在冷藏室里，肉类放在冷冻室里，这样找的时候就很快就可以找到了。

1、为无索引表添加索引

有的表没有索引，这时要给这类表加一个索引。

（1）Excel实现

在Excel中，一般都有索引的，如果没索引数据看起来会很乱，当然也会有例外，数据表就是没有索引的。这时候插入一行一列就是为表添加索引。

添加索引前后的对比如下图所示，序号列为行索引，字段名称为列索引。

（2）Python实现

在Python中，如果表没有索引，会默认用从0开始的自然数做索引，比如下面这样：

通过给表df的columns参数传入列索引值，index参数传入行索引值达到为无索引表添加索引的目的，具体实现如下：

2、重新设置索引

重新设置索引，一般指行索引的设置。有的表虽然有索引，但不是我们想要的索引,比如现在有一个表是把序号作为行索引，而我们想要吧订单编号作为行索引，该怎么实现呢？

（1）Excel实现

在Excel中重新设置行索引比较简单，你想让哪一列做行索引，直接把这一列拖到第一列的位置即可。

（2）Python实现

在Python中可以利用set_index()方法重新设置索引列，在set_index()里指明要用作行索引的列的名称即可。

在重新设置索引时，还可以给set_index()方法传入两个或者多个列名，我们把这种一个表中用哪个多列来做索引的方式称为层次化索引，层次化索引一般用在某一列中含有多个重复值的情况下。层次化索引的例子，如下所示，其中a、b、c、d分别有多个重复值。

3、重命名索引

重命名索引是针对现有的索引名进行修改的，就是改字段名。

（1）Excel实现

在Excel中重命名索引比较简单，就是直接修改字段名。

（2）Python实现

在Python中重命名索引，我们利用的是rename()方法，在rename后的括号里指明要修改的行索引及列索引名。

4、重置索引

重置索引主要用在层次化索引表中，重置索引是将索引列当做一个columns进行返回。

在下图左侧的表中，Z1，Z2是一个层次化索引，经过重置索引以后，Z1、Z2这两个索引以columns的形式返回，变为常规的两列。

在Excel中，我们要进行这种转换，直接通过复制、粘贴、删除等功能就可以实现，比较简单。我们主要讲一下在Python中怎么实现。

在Python利用的是reset_index()方法，reset_index()方法常用的参数如下：

level参数用来指定要将层次化索引的第几级别转化为columns，第一个索引为0级，第二个索引为1级，默认为全部索引，即默认吧索引全部转化为columns。

drop参数是用来指定是否将原索引删掉，即不作为一个新的columns，默认为False，即不删除原索引。

inplace参数用来指定是否修改原数据表。

reset_index()方法常用于数据分组、数据透视表中。

我正在学习《Python数据清洗可视化入门》，收获巨大哦，一起来学习吧！

Python数据清洗可视化入门

http://edu.cda.cn/course/2295

一、课程背景在数据分析的过程中，不论是什么样的数据，数据清洗绝对是绕不开的步骤，

因为我们在进行数据分...

在数据选择之前是要把所有的菜品都洗好并放在不同的容器里。现在要进行切配了，需要把这些菜品挑选出来，比如做一盘凉拌黄瓜，需要先把黄瓜找出来；要做一盘可乐鸡翅，需要先把鸡翅找出来。

数据分析也是同样的道理，你要分析什么，首先要把对应的数据筛选出来。

常规的数据选择主要有列选择、行选择、行列同时选择三种方式。

1、选择某一列/某几列

（1）Excel实现

在Excel中选择某一列直接用鼠标选中这一列即可；如果要同时选择多列，且待选择的列不是相邻的，这个时候就可以先选中其中一列，然后按住Ctrl键不放，再选择其他列。举个例子，同时选择客户姓名和成交时间这两列，如下图所示：

（2）Python实现

在Python中我们想要获取某列只需要在表df后面的方括号中指明要选择的列名即可。如果是一列，则只需要传入一个列名；如果是同时选择多列，则传入多个列名即可，多个列名用一个list存起来。

在Python中我们把这种通过传入列名选择数据的方法称为普通索引。

除了传入具体的列名，我们还可以传入具体列的位置，即第几列，对数据进行选取，通过传入位置来获取数据时需要用到iloc方法。

在上面的代码中，iloc后的方括号中逗号之前的部分表示要获取行的位置，只输入一个冒号，不输入任何数值表示获取所有的行；逗号之后的方括号表示要获取的列的位置，列德位置同样是也是从0开始计数。

我们把这种通过传入具体位置来选择数据的方式称为位置索引。

2、选择连续的某几列

（1）Excel实现

在Excel中，要选择连续的几列时，直接用鼠标选中这几列即可操作。当然了，你也可以先选择一列，然后按住Ctrl键再去选择其他列，由于要选取的列时连续的，因此没有必要这么麻烦。

（2）Python实现

在Python中可以通过前面介绍的普通索引个位置索引获取某一列或多列的数据。当你要获取的是连续的某几列，用普通索引和位置索引也是可以做到的，但是因为你要获取的列是连续的，所以只要传入这些连续列的位置区间即可，同样需要用到iloc方法。

在上面的代码中，iloc后的方括号中逗号之前的表示选择的行，当只传入一个冒号时，表示选择所有行；逗号后面表示要选择列的位置区间，0:3表示选择第1列到第4列之间的值（包含第1列单不包含第4列），我们把这种通过传入一个位置区间来获取数据的方式称为切片索引。

1、选择某一行/某几行

（1）Excel实现

在Excel中选择行与选择列的方式是一样的，先选择一行，按住Ctrl键再选择其他行。

（2）Python实现

在Python中，获取行的方式主要有两种，一种是普通索引，即传入具体行索引的名称，需要用到loc方法；另一种是位置索引，即传入具体的行数，需要用到iloc方法。

为了看的更清楚，我们对行索引进行自定义。

2、选择连续的某几行

（1）Excel实现

在Excel中选择连续的某几行与选择连续的某几列的方法一致，不在赘述。

（2）Python实现

在Python中，选择连续的某几行时，你同样可以把要选择的每一个行索引名字或者行索引的位置输进去。很显然这是没有必要的，只要把连续行的位置用一个区间表示，然后传给iloc即可。

3、选择满足条件的行

前面说到获取某一列时，获取的是这一列的所有行，我们还可只筛选出这一列中满足条件的值。

比如年龄这一列，需要把非异常值（大于200的属于异常值），即小于200岁的年龄筛选出来，该怎么实现呢？

（1）Excel实现

在Excel中我们直接使用筛选功能，将满足条件的值筛选出来，筛选方法如下图所示：

筛选年龄小于200的数据前后的对比如下图所示：。

（2）Python实现

在Python中，我们直接在表名后面指明哪列要满足什么条件，就可以把满足条件的数据筛选出来。

我们把上面这种通过传入一个判断条件来选择数据的方式称为布尔索引。

传入的条件也可以是多个，如下为选择的年龄小于200且唯一识别码小于102的数据。

上面的数据选择都是针对单一的行或者列进行选择，实际业务中我们也会用到行、列同时选择，所谓的行、列同时选择就是选择出行和列的相交部分。

例如，我们要选择第二、三行和第二、三列相交部分的数据，下图中的阴影部分就是最终的选择结果。

行列同时选择在Excel中主要是通过鼠标拖拽实现的，与前面的单一行/列选择方法一致，此处不再赘述，接下来主要讲讲在Python中是如何实现的。

1、普通索引+普通索引选择指定的行和列

位置索引+位置索引是通过同时传入行、列索引的位置来获取数据，需要用到iloc方法。

loc方法中的第一对方括号表示行索引的选择，传入行索引的名称；loc方法中的第二对方括号表示列索引的选择，传入列索引的名称。

2、位置索引+位置索引选择指定行和列

位置索引+位置索引是通过同事传入行、列索引的位置来获取数据，需要用到iloc方法。

在iloc方法中的第一对方括号表示行索引的选择，传入要选择行索引的位置；第二对方括号表示列索引的选择，传入要选择列索引的位置。行和列索引的位置都是从0开始计数的。

3、布尔索引+普通索引选择指定的行和列

布尔索引+普通索引是先对表进行布尔索引选择行，然后通过普通索引选择列。

上面的代码表示选择年龄小于200的订单编号和年龄，先通过布尔索引选择出年龄小于200的所有行，然后通过普通索引选择订单编号和年龄这两列。

4、切片索引+切片索引选择指定的行和列

切片索引+切片索引是通过同时传入行、列索引的位置区间进行数据选择。

5、切片索引+普通索引选择指定的行和列

前面我们说过，如果是普通索引，就直接传入行或者列名，用loc方法即可；如果是切片索引，也就是传入行或者列的位置区间，要用iloc方法。如果是切片索引+普通索引，也就是行（列）用切片索引，列（行）用普通索引，这种交叉索引要用ix方法。