数据分析实践入门（三）：数值操作——AIU人工智能学院-经管之家官网！

扫码加入数据分析学习群

AIU人工智能学院：数据科学、人工智能从业者的在线大学。

数据科学（Python/R/Julia）数据分析、机器学习、深度学习

作者 | CDA数据分析师

我们把菜品挑选出来以后，就可以开始切菜了。比如要做凉拌黄瓜丝，吧黄瓜找出来以后，你就可以把黄瓜切成丝了。

一、数值替换

数值替换就是将数值A替换成B，可以用在异常值替换处理、缺失值填充处理中。主要有一对一替换、多对一替换、多对多替换三种替换方法。

1、一对一替换

一对一替换是将某一块区域中的一个值全部替换成另一个值。已知现在有一个年龄值是240，很明显这是一个异常值，我们要把它替换成一个正常范围内的年龄值（用正常年龄的均值33），怎么实现呢？

（1）Excel实现

在Excel中对某个值进行替换，首先要把待替换的区域选中，如果只是替换某一列中的值，只需要选中这一列即可；如果要在一片区域中进行替换，那么拖动鼠标选中这一片区域。然后依次单击编辑菜单栏中的查找和选择>替换选项（如下图所示）即可调出替换界面。使用快捷键Ctrl+H也可以调出替换界面。

https://p1.pstatp.com/large/pgc-image/441b60ba793b4286aee98f3c4e76cd57

下图为替换界面，分别输入查找内容和替换内容，然后根据需要单击全部替换或者替换即可。

https://p1.pstatp.com/large/pgc-image/be1206a7f53f46faa2b23f9c6ecfa849

（2）Python实现

在Python中对某个值进行替换利用的是replace ( ) 方法，replace ( A,B )表示将A替换成B。

https://p9.pstatp.com/large/pgc-image/ebd4cf1395964f68ac84cf1184b7d99b

上面的代码是对年龄这一列进行替换，所以把年龄这一列选中，然后调用replace ( ) 方法。有时候要对整个表进行替换，比如对全表中的缺失值进行替换，这个时候replace ( ) 方法就相当于fillna ( ) 方法了。

https://p1.pstatp.com/large/pgc-image/7929818c3ed7489b99d3c2641950a49d
https://p3.pstatp.com/large/pgc-image/264d72e398784b7ca00aca144e29a1fa

np.NaN是Python中对缺失值的一种表示方法。

https://p3.pstatp.com/large/pgc-image/58a6d57b15e147908629ed3b5c27cfff

2、多对一替换

多对一替换就是把一块区域中的多个值替换成某一个值，已知现在有三个异常年龄（240、260、280），需要把这三个年龄都替换成正常范围年龄的平均值33，该怎么实现呢？

（1）Excel实现

在Excel中需要借助if函数来实现多对一替换。已知年龄这一列是D列，要想对多个异常值进行替换，可以通过如下函数实现。

https://p3.pstatp.com/large/pgc-image/138abb7f43764ed8908595d997385ea2

上面的公式借助了Excel中的 OR ( ) 函数，表示如果D列等于240、260或者280时，该单元格的值为33，否则为D列的值。替换后的结果如下图所示。

https://p1.pstatp.com/large/pgc-image/5016085af36b463fb2585a44b8c859eb

（2）Python实现

在Python 中实现多对一的替换比较简单，同样也是利用 replace ( ) 方法， replace ( [A,B],C )表示将A、B替换成C。

https://p3.pstatp.com/large/pgc-image/334ad4729b4b44ffb2c197b99595a4a3

3、多对多替换

多对多替换其实就是某个区域中多个一对一的替换。比如将年龄异常值240替换成平均值减一，260替换成平均值，280替换成平均值加一，该怎么实现呢？

（1）Excel实现

若想在Excel中实现，需要借助函数，且需要多个if嵌套语句来实现，同样已知年龄列为D列，具体函数如下：

https://p3.pstatp.com/large/pgc-image/ba255b664c8d448786abb9c42b25d0a8

下图为该函数执行的流程。

https://p3.pstatp.com/large/pgc-image/dd4b4e15f5f6403fb5e6a01ff9e59768

替换后的结果如下图所示。

https://p3.pstatp.com/large/pgc-image/eb5816715390498f92d8127d8b78115f

（2）Python实现

在Python中若想实现多对多的替换，同样是借助replace ( ) 方法，将替换值与待替换值用字典的形式表示，replace({"A":"a","B":"b"}表示用a替换A，用b替换B。

https://p1.pstatp.com/large/pgc-image/5daae5b41758448aa0aa890686b2f077
https://p3.pstatp.com/large/pgc-image/9762603e07764ece92db9ea1c053f8b8

二、数值排序

数值排序是按照具体数值的大小进行排序，有升序和降序两种，升序就是数值由小到大排列，降序是数值由大到小排列。

1、按照一列数值进行排序

按照一列数值进行排序就是整个数据表都以某一列为准，进行升序或降序排列。

（1）Excel实现

在Excel中想要按照某列进行数值排序，只要选中这一列的字段名，然后单击编辑菜单栏下的排序和筛选按钮，在下拉菜单中选择升序或降序选项即可，操作流程如下图所示。

https://p1.pstatp.com/large/pgc-image/47e92dd1d4504e2ca33c3b353ecf744a

按照销售ID进行升序排列前后的结果如下图所示。

https://p1.pstatp.com/large/pgc-image/0d99df93c88e4258bffad723ea068495

（2）Python实现

在 Python 中我们若想按照某列进行排序，需要用到 sort_values ( ) 方法，在sort_values ( )后的括号中指明要排序的列名，以及升序还是降序排列。

https://p1.pstatp.com/large/pgc-image/40896a96a51d4bf384b32f8564893c1b

上面代码表示df表按照col1列进行排序，ascending = False表示按照col1列进行降序排列。ascending 参数默认值为 True，表示升序排列。所以，如果是要根据 col1列进行升序排序，则可以只指明列名，不需要额外声明排序方式。

https://p1.pstatp.com/large/pgc-image/a1c1457848ce4475b76c45009897f5fe
https://p1.pstatp.com/large/pgc-image/c78adf7fb034439eaea22ba9731bede6

2、按照有缺失值的列进行排序

（1）Python实现

在Python中，当待排序的列中有缺失值时，可以通过设置na_position参数对缺失值的显示位置进行设置，默认参数值为last，可以不写，表示将缺失值显示在最后。

https://p1.pstatp.com/large/pgc-image/93f08badb3534d9785e8051402341a84

通过设置na_position参数将缺失值显示在最前面。

https://p9.pstatp.com/large/pgc-image/ba00ef73cfa64de385fb98e83695ce4e
https://p3.pstatp.com/large/pgc-image/ea59d44e1a4c47c4b0faae65faf1cc54

3、按照多列数值进行排序

按照多列数值排序是指同时依据多列数据进行升序、降序排列，当第一列出现重复值时按照第二列进行排序，当第二列出现重复值时按照第三列进行排序，以此类推。

（1）Excel实现

在Excel中实现按照多列排序，选中待排序的所有数据，单击编辑菜单栏下的排序和筛选按钮，在下拉菜单中选择自定义排序选项就会出现如下图所示界面。添加条件就是添加按照排序的列，在次序里面可以单独定义每一列的升序或者降序。

https://p1.pstatp.com/large/pgc-image/dc7ee135bcbf49b79a126e127be03b46

举个例子，对下图左侧的Before表先按照销售ID升序排列，当遇到重复的销售ID时，再按成交时间降序排列，得出下图右侧的After表。

https://p3.pstatp.com/large/pgc-image/1465eb0c2ce342f4b1842bfbde74255c

（2）Python实现

在 Python 中实现按照多列进行排序，用到的方法同样是 sort_values ( )，只要在sort-values后的括号中以列表的形式指明要排序的多列列名及每列的排序方式即可。

https://p1.pstatp.com/large/pgc-image/4d4eeab12ed24efc9dbb96b6fe52d509

上面代码表示df表先按照col1列进行升序排列，当col1列遇到重复时，再按照col2列进行降序排列。对于表df我们依旧先按照销售ID升序排列，当遇到重复的销售ID时，再按成交时间降序排列，代码如下所示。

https://p1.pstatp.com/large/pgc-image/7e8d75aa27f34a9c83e956899735ead2

三、数值排名

数值排名和数值排序是相对应的，排名会新增一列，这一列用来存放数据的排名情况，排名是从1开始的。

1、Excel实现

在Excel中用于排名的函数有RANK.AVG()和RANK.EQ()两个。

当待排名的数值没有重复值时，这两个函数的效果是完全一样的，两个函数的不同在于处理重复值方式的不同。

RANK.AVG(number,ref,order)

number表示待排名的数值，ref表示一整列数值的范围，order用来指明降序还是升序排名。当待排名的数值有重复值时，返回重复值的平均排名。

对销售ID进行平均排名以后的结果如下图所示。图中销售ID为1的值有两个，假设一个排名是1，另一个排名是2，那么二者的均值就是1.5，所以平均排名就是1.5；销售ID为2的值同样有两个，同样假设一个排名为3，另一个排名是4，那么二者的均值是3.5，所以平均排名就是3.5；销售ID为3的值没有重复值，所以排名就是5。

https://p9.pstatp.com/large/pgc-image/608043b63a8546c197b2ada543e558ec

RANK.EQ( number,ref,order )

RANK.EQ 的参数值与 RANK.AVG 的意思一样。当待排名的数值有重复值时， RANK.EQ返回重复值的最佳排名。

对销售ID进行最佳排名以后的结果如下图所示。图中销售ID为1的值有两个，第一个重复值的排名为1，所以两个值的最佳排名均为1；销售ID为2的值也有两个，第一个重复值的排名为3，所以两个值的最佳排名均为3；销售ID为3的值没有重复值，最佳排名为5。

https://p1.pstatp.com/large/pgc-image/0eac5701c9934f61883cee863cf03c91

2、Python实现

在Python中对数值进行排名，需要用到rank ( ) 方法。Rank ( ) 方法主要有两个参数，一个是ascending，用来指明升序排列还是降序排列，默认为升序排列，和Excel中order的意思一致；另一个是method，用来指明待排列值有重复值时的处理情况。下表是参数method可取的不同参数值及说明。

https://p3.pstatp.com/large/pgc-image/805e93e5e00f4f5aad10a61579b36a17

method取值为average时的排名情况，与Excel中RANK.AVG函数的一致。

https://p9.pstatp.com/large/pgc-image/11a1782684b24abbafc82203d46b3849

method取值为first时的排名情况，销售ID为1的值有两个，第一个出现的排名为1，第二个出现的排名为2；销售ID为2的以此类推。

https://p1.pstatp.com/large/pgc-image/7e7f812830e844a4aeb9d1f1dc7ccaad

method取值为min时的排名情况，与Excel中RANK.EQ函数的一致。

https://p3.pstatp.com/large/pgc-image/2ac33dc3ae5244008ffc0479425cd7dc

method取值为max时的排名情况，与method取值min时相反，销售ID为1的值有两个，第二个重复值的排名为2，所以两个值的排名均为2；销售ID为2 的值有两个，第二个重复值的排名为4，所以两个值的排名均为4。

https://p3.pstatp.com/large/pgc-image/18a82b2d8be84a50a893aae3981a8e58
https://p1.pstatp.com/large/pgc-image/05ad4d8b551a43bdb8f24eea44cfa8ea

四、数值删除

数值删除是对数据表中一些无用的数据进行删除操作。

1、删除列

（1）Excel实现

在Excel中，要删除某一列或某几列，只需要选中这些列，然后单击鼠标右键，在弹出的菜单中选择删除选项即可（或者单击鼠标右键以后按D键），如下图所示。

https://p3.pstatp.com/large/pgc-image/e7e5187c3c77480aaf0e4cf412a1c3d7

（2）Python实现

在Python中，要删除某列，用到的是drop ( ) 方法，即在drop方法后的括号中指明要删除的列名或者列的位置，即第几列。

在drop方法后的括号中直接传入待删除列的列名，需要加一个参数axis，并让其参数值等于1，表示删除列。

https://p1.pstatp.com/large/pgc-image/1b491798c63b4b269aa3248299f7e931
https://p9.pstatp.com/large/pgc-image/6deb0dee9747494992154790c69e6456

还可以在drop方法后的括号中直接传入待删除列的位置，但也需要用axis参数。

https://p3.pstatp.com/large/pgc-image/fd0998a2635643139f38bb7de134af49

也可以将列名以列表的形式传给columns参数，这个时候就不需要axis参数了。

https://p1.pstatp.com/large/pgc-image/df8e37d793eb46a0a412a4885b81bbc4

2、删除行

（1）Excel实现

在 Excel 中，要删除某些行使用的方法与删除列是一致的，先选中要删除的行，然后单击鼠标右键，在弹出的下拉菜单中选择删除选项就可以删除行了。

（2）Python实现

在Python中，要删除某些行用到的方法依然是drop ( ) ，与删除列类似的是，删除行也要指明行相关的信息。

在drop方法后的括号中直接传入待删除行的行名，并让axis参数值等于0，表示删除行。

https://p1.pstatp.com/large/pgc-image/12bea4670bec4b7a92b9ec365c2a3882

除了传入行索引名称，还可以在drop方法后的括号中直接传入待删除行的行号，也需要用axis参数，并让其参数值等于0。

https://p1.pstatp.com/large/pgc-image/ac701a440b664783887a2cd18f70b660

也可以将待删除行的行名传给index参数，这个时候就不需要axis参数了。

https://p3.pstatp.com/large/pgc-image/704f5af682d14f78ad0ae585617c7f00

3、删除特定行

删除特定行一般指删除满足某个条件的行，我们前面的异常值删除算是删除特定的行。

（1）Excel实现

在Excel中删除特定行分为两步，第一步先将符合条件的行筛选出来，第二步选中这些筛选出来的行然后单击鼠标右键，在弹出的下拉菜单中选择删除选项。

（2）Python实现

在Python中删除特定行使用的方法有些特殊，我们不直接删除满足条件的值，而是把不满足条件的值筛选出来作为新的数据源，这样就把要删除的行过滤掉了。

在如下例子中，要删除年龄值大于等于40对应的行，我们并不直接删除这一部分，而是把它的相反部分取出来，即把年龄小于40的行筛选出来作为新的数据源。

https://p1.pstatp.com/large/pgc-image/7296be1004eb44919ff4a86078e01e80
https://p9.pstatp.com/large/pgc-image/60d88ffc3b7649828428ee241005ac1a

五、数值计数

数值计数就是计算某个值在一系列数值中出现的次数。

1、Excel实现

在Excel中实现数值计数，我们使用的是COUNTIF ( ) 函数，COUNTIF ( ) 函数用来计算某个区域中满足给定条件的单元格数目。

https://p9.pstatp.com/large/pgc-image/a1dc93ef438a4f6eacfea7e14e666619

range表示一系列值的范围，criteria表示某一个值或者某一个条件。

销售ID的值的计数结果如下图所示。销售ID为1的值在F2:F6这个范围内出现了两次；销售ID为2的值在该范围内也出现了两次；销售ID为3的值出现了1次。

https://p3.pstatp.com/large/pgc-image/8021568797e844fb8029ba580e7feb33

2、Python实现

在Python中，要对某些值的出现次数进行计数，我们用到的方法是value_counts ( ) 。

https://p9.pstatp.com/large/pgc-image/b6baa250f21b455bb2fa3d6dfd057b60
https://p1.pstatp.com/large/pgc-image/19e5b91674e1443eb2450442ac5ee0a1

上面代码运行的结果表示销售ID为2的值出现了两次，销售ID为1的值出现了两次，销售ID为3的值出现了1次。这些是值出现的绝对次数，还可以看一下不同值出现的占比， 只需要给 value_ counts ( )方法传入参数normalize = True即可。

https://p3.pstatp.com/large/pgc-image/79829f1be9ce4593b3c1ace35d8f7cde

上面代码的运行结果表示销售ID为2的值的占比为0.4，销售ID为1的值的占比为0.4，销售ID为3的值的占比为0.2。上面销售ID的排序是2、1、3，这是按照计数值降序排列的（0.4、0.4、0.2），通过设置sort = False可以实现不按计数值降序排列。

https://p9.pstatp.com/large/pgc-image/1b3732f2e8394135bb7e17ada6658e51

六、唯一值获取

唯一值获取就是把某一系列值删除重复项以后的结果，一般可以将表中某一列认为是一系列值。

1、Excel实现

在Excel中，我们若想查看某一列数值中的唯一值，可以把这一列数值复制粘贴出来，然后删除重复项，剩下的就是唯一值了。

2、Python实现

在Python中，我们要获取一列值的唯一值，整体思路与Excel的是一致的，先把某一列的值复制粘贴出来，然后用删除重复项的方法实现，关于删除重复项在前面讲过了，本节用另一种获取唯一值的方法unique ( ) 实现。

举个例子，对表df中的销售ID取唯一值，先把销售ID取出来，然后利用unique ( ) 方法获取唯一值，代码如下所示。

https://p1.pstatp.com/large/pgc-image/673b29a1dec64617a7082b5b7df5083c
https://p3.pstatp.com/large/pgc-image/9aba34c1f1fa4dee840728f5a3a7780c

七、数值查找

数值查找就是查看数据表中的数据是否包含某个值或者某些值。

1、Excel实现

在Excel中我们要想查看数据表中是否包含某个值可以直接利用查找功能。首先要把待查找区域选中，可以选择一列或者多列，如果不选，则默认在全表中查询，然后单击编辑菜单栏的查找和选择按钮，在下拉菜单中选择查找选项，如下图所示。

https://p9.pstatp.com/large/pgc-image/e05d4d60ef8d4197aa499ff8d63013b4

下图为选择查找选项后弹出的查找和替换对话框（也可以使用快捷键Ctrl + F打开查找和替换对话框），在查找内容框输入要查找的内容即可，可以选择查找全部，这样就会把所有查找到的内容显示出来；也可以选择查找下一个，这样会把查找结果一个一个显示出来。

https://p1.pstatp.com/large/pgc-image/a311120ec814404e903482558ea4a551

2、Python实现

在Python中查看数据表中是否包含某个值用到的是 isin ( )方法，而且可以同时查找多个值，只需要在isin ( ) 方法后的括号中指明即可。

可以将某列数据取出来，然后在这一列上调用 isin ( )方法，看这一列中是否包含某个/些值，如果包含则返回True，否则返回False。

https://p3.pstatp.com/large/pgc-image/06ff693fab714ef2a02c838d0844258d

也可以针对全表查找是否包含某个值。

https://p3.pstatp.com/large/pgc-image/3d784b5cfdc4470982057ddf859f08f9

八、区间切分

区间切分就是将一系列数值分成若干份，比如现在有10个人，你要根据这10个人的年龄将他们分为三组，这个切分过程就称为区间切分。

1、Excel实现

在Excel中实现区间切分我们借助的是if函数，具体公式如下：

https://p9.pstatp.com/large/pgc-image/e52870d02b0842ab9c7d0433e51baf52

if函数的实现流程如下图所示。

https://p3.pstatp.com/large/pgc-image/2298b5a4587e42e1b6b0c30bfbfa4148

下图为利用if嵌套函数实现的结果。

https://p9.pstatp.com/large/pgc-image/3df58571c5734bf39fb5d2dc01212666

2、Python实现

在Python中对区间切分利用的是cut ( ) 方法，cut ( )方法有一个参数bins用来指明切分区间。

https://p1.pstatp.com/large/pgc-image/90c1db398bbe479fbd28b05962c0d25d

cut ( ) 方法的切分结果是几个左开右闭的区间，(0,3]就表示大于0小于等于3,(3,6]表示大于3小于等于6,(6,10]表示大于6小于等于10。

与cut ( ) 方法类似的还有qcut ( ) 方法，qcut ( ) 方法不需要事先指明切分区间，只需要指明切分个数，即你要把待切分数据切成几份，然后它就会根据待切分数据的情况，将数据切分成事先指定的份数，依据的原则就是每个组里面的数据个数尽可能相等。

https://p1.pstatp.com/large/pgc-image/ff02416e412d4feaabe6467b07290707
https://p3.pstatp.com/large/pgc-image/061ccbdeed3e493f850a7e95ed05a7d2

在数据分布比较均匀的情况下，cut ( ) 方法和 qcut ( ) 方法得到的区间基本一致，当数据分布不均匀，即方差比较大时，两者得到的区间的偏差就会比较大。

https://p1.pstatp.com/large/pgc-image/7aab1809e51844f3a95b3d898225fead

九、插入新的行或列

在特定的位置插入行或者列也是比较常用的操作。具体的插入操作有两个关键要素，一个是在哪插入，另一个是插入什么。

1、Excel实现

在Excel中要插入行或列首先要确定在哪一行或哪一列前面插入，然后选中这一列或这一行单击鼠标右键，在弹出的下拉菜单中选择插入选项即可。

要在唯一识别码列前面插入一列，选中唯一识别码这一列然后单击鼠标右键，在弹出的下拉菜单中选择插入选项即可，如下图所示。

https://p3.pstatp.com/large/pgc-image/cb3b095e7b294c0a8d829468844cc16e

完成上面的操作后，就会有一个新的空行或空列，在空行或空列里面输入要插入的数据即可。

2、Python实现

在Python中没有专门用来插入行的方法，可以把待插入的行当作一个新的表，然后将两个表在纵轴方向上进行拼接。关于表拼接在后面的章节会讲。

在Python中插入一个新的列用到的方法是insert ( )，在insert方法后的括号中指明要插入的位置、插入后新列的列名，以及要插入的数据。

https://p1.pstatp.com/large/pgc-image/81375dc5e6ad4053bcb7056c08e90088
https://p3.pstatp.com/large/pgc-image/df3dec95e7f44ed99437567a8e0b3950

还可以直接以索引的方式进行列的插入，直接让新的一列等于某列值即可。

https://p9.pstatp.com/large/pgc-image/d307615edcd541d3a667bd4eff4f4f91

上面的代码表示新插入一列名为商品类别的值，这一列的值就是后面列表中的值。

十、行列互换

所谓的行列互换（又称转置）就是将行数据转换到列方向上，将列数据转换到行方向上。

1、Excel实现

在Excel中行列互换（转置）需要先把待转置的内容复制，然后粘贴在新的区域中，粘贴选项选择转置即可，转置选项如下图所示。

https://p1.pstatp.com/large/pgc-image/c4bf1990b0b546878b7c34157810739f

转置前后的效果对比如下图所示。

https://p3.pstatp.com/large/pgc-image/e5fd888351d44b5e8df582f0e3e98241

2、Python实现

在 Python 中，我们直接在源数据表的基础上调用.T 方法即可得到源数据表转置后的结果。对转置后的结果再次转置就会回到原来的结果。

对表df进行转置，代码如下所示。

https://p1.pstatp.com/large/pgc-image/6fdd447ccdec4fd8a7545be5d13f1317

对转后的表再次进行转置，代码如下所示。

https://p1.pstatp.com/large/pgc-image/d1214ffaf0d444219c269e5ac43a1151

十一、索引重塑

所谓的索引重塑就是将原来的索引进行重新构造。典型的DataFrame结构的表如下表所示。

https://p1.pstatp.com/large/pgc-image/6ada87f043024305a14c1a330811bba4

上面这种表是典型的DataFrame结构，它用一个行索引和一个列索引来确定一个唯一值，比如S1-C1唯一值为1,S2-C3唯一值为6。这种通过两个位置确定一个唯一值的方法不仅可以用上述这种表格型结构表示，而且可以用一种树形结构来表示，如下图所示。

https://p3.pstatp.com/large/pgc-image/238651d4238d4039a9aeb9183ecd23df

树形结构其实就是在维持表格型行索引不变的前提下，把列索引也变成行索引，其实就是给表格型数据建立层次化索引。

我们把数据从表格型数据转换到树形数据的过程叫重塑，这种操作在Excel中没有，在Python用到的方法是stack ( ) ，示例代码如下所示。

<

关注“AIU人工智能实验室”，回复“录播”获取更多人工智能精选直播视频！

完 谢谢观看

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP