25个案例强化Pandas groupby 操作！

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

来源丨DeepHub IMBA

groupby是Pandas在数据分析中最常用的函数之一。它用于根据给定列中的不同值对数据点(即行)进行分组，分组后的数据可以计算生成组的聚合值。
如果我们有一个包含汽车品牌和价格信息的数据集，那么可以使用groupby功能来计算每个品牌的平均价格。

在本文中，我们将使用25个示例来详细介绍groupby函数的用法。这25个示例中还包含了一些不太常用但在各种任务中都能派上用场的操作。
这里使用的数据集是随机生成的，我们把它当作一个销售的数据集。

1. import pandas as pd
   
2. sales = pd.read_csv("sales_data.csv")
   
3. sales.head()

复制代码

1、单列聚合
我们可以计算出每个店铺的平均库存数量如下:

1. sales.groupby("store")["stock_qty"].mean()
   
2. 
   
3. #输出
   
4. store
   
5. Daisy     1811.861702
   
6. Rose       1677.680000
   
7. Violet   14622.406061
   
8. Name: stock_qty, dtype: float64

复制代码

2、多列聚合
在一个操作中进行多个聚合。以下是我们如何计算每个商店的平均库存数量和价格。

1. sales.groupby("store")[["stock_qty","price"]].mean()

复制代码

3、多列多个聚合
我们还可以使用agg函数来计算多个聚合值。

1. sales.groupby("store")["stock_qty"].agg(["mean", "max"])

复制代码

4、对聚合结果进行命名
在前面的两个示例中，聚合列表示什么还不清楚。例如，“mean”并没有告诉我们它是什么的均值。在这种情况下，我们可以对聚合的结果进行命名。

1. sales.groupby("store").agg(  
   
2.     avg_stock_qty = ("stock_qty", "mean"),
   
3.     max_stock_qty = ("stock_qty", "max")
   
4.     )

复制代码

要聚合的列和函数名需要写在元组中。
5、多个聚合和多个函数

1. sales.groupby("store")[["stock_qty","price"]].agg(["mean", "max"])

复制代码

6、对不同列的聚合进行命名

1. sales.groupby("store").agg(
   
2.     avg_stock_qty = ("stock_qty", "mean"),
   
3.     avg_price = ("price", "mean")
   
4.     )

复制代码

7、as_index参数
如果groupby操作的输出是DataFrame，可以使用as_index参数使它们成为DataFrame中的一列。

1. sales.groupby("store", as_index=False).agg(
   
2.      
   
3.     avg_stock_qty = ("stock_qty", "mean"),
   
4.     avg_price = ("price", "mean")
   
5.     )

复制代码

1. sales.groupby(["store","product_group"], as_index=False).agg(
   
2.    
   
3.     avg_sales = ("last_week_sales", "mean")
   
4.      
   
5. ).head()

复制代码

8、用于分组的多列
就像我们可以聚合多个列一样，我们也可以使用多个列进行分组。

1. sales.groupby(["store","product_group"], as_index=False).agg(
   
2.    
   
3.     avg_sales = ("last_week_sales", "mean")
   
4.      
   
5. ).head()

复制代码

每个商店和产品的组合都会生成一个组。
9、排序输出
可以使用sort_values函数根据聚合列对输出进行排序。

1. sales.groupby(["store","product_group"], as_index=False).agg(   avg_sales = ("last_week_sales", "mean")
   
2.      
   
3. ).sort_values(by="avg_sales", ascending=False).head()

复制代码

这些行根据平均销售值按降序排序。
10、最大的Top N
max函数返回每个组的最大值。如果我们需要n个最大的值，可以用下面的方法：

1. sales.groupby("store")["last_week_sales"].nlargest(2)
   
2. 
   
3. store      
   
4. Daisy   413   1883
   
5.         231     947
   
6. Rose   948     883
   
7.         263     623
   
8. Violet 991   3222
   
9.         339   2690
   
10. Name: last_week_sales, dtype: int64

复制代码

11、最小的Top N
与最大值相似，也可以求最小值

1. sales.groupby("store")["last_week_sales"].nsmallest(2)

复制代码

12、第n个值
除上面2个以外，还可以找到一组中的第n个值。

1. sales_sorted = sales.sort_values(by=["store","last_month_sales"], ascending=False, ignore_index=True)

复制代码

找到每个店铺上个月销售排名第五的产品如下:

1. sales_sorted.groupby("store").nth(4)

复制代码

输出包含每个组的第5行。由于行是根据上个月的销售值排序的，所以我们将获得上个月销售额排名第五的行。
13、第n个值，倒排序
也可以用负的第n项。例如，" nth(-2) "返回从末尾开始的第二行。

1. sales_sorted.groupby("store").nth(-2)

复制代码

14、唯一值
unique函数可用于查找每组中唯一的值。例如，可以找到每个组中唯一的产品代码如下:

1. sales.groupby("store", as_index=False).agg(
   
2. unique_values = ("product_code","unique")
   
3. )

复制代码

15、唯一值的数量
还可以使用nunique函数找到每组中唯一值的数量。

1. sales.groupby("store", as_index=False).agg(
   
2. number_of_unique_values = ("product_code","nunique")
   
3. )

复制代码

16、Lambda表达式
可以在agg函数中使用lambda表达式作为自定义聚合操作。

1. sales.groupby("store").agg(
   
2.     total_sales_in_thousands = (
   
3.         "last_month_sales",
   
4.         lambda x: round(x.sum() / 1000, 1)
   
5.     )
   
6. )

复制代码

17、apply函数
使用apply函数将Lambda表达式应用到每个组。例如，我们可以计算每家店上周销售额与上个月四分之一销售额的差值的平均值，如下:

1. sales.groupby("store").apply(
   
2. lambda x: (x.last_week_sales - x.last_month_sales / 4).mean()
   
3. )
   
4. 
   
5. store
   
6. Daisy     5.094149
   
7. Rose     5.326250
   
8. Violet   8.965152
   
9. dtype: float64

复制代码

18、dropna
缺省情况下，groupby函数忽略缺失值。如果用于分组的列中缺少一个值，那么它将不包含在任何组中，也不会单独显示。所以可以使用dropna参数来改变这个行为。
让我们首先添加一个缺少存储值的新行。

1. sales.loc[1000] = [None, "PG2", 10000, 120, 64, 96, 15, 53]

复制代码

然后计算带有dropna参数和不带有dropna参数的每个商店的平均价格，以查看差异。

1. sales.groupby("store")["price"].mean()
   
2. 
   
3. store
   
4. Daisy     69.327426
   
5. Rose     60.513700
   
6. Violet   67.808727
   
7. Name: price, dtype: float64

复制代码

看看设置了缺失值参数的结果：

1. sales.groupby("store", dropna=False)["price"].mean()
   
2. 
   
3. store
   
4. Daisy     69.327426
   
5. Rose     60.513700
   
6. Violet   67.808727
   
7. NaN       96.000000
   
8. Name: price, dtype: float64

复制代码

groupby函数的dropna参数，使用pandas版本1.1.0或更高版本。
19、求组的个数
有时需要知道生成了多少组，这可以使用ngroups。

1. sales.groupby(["store", "product_group"]).ngroups
   
2. 
   
3. 18

复制代码

在商店和产品组列中有18种不同值的不同组合。
20、获得一个特定分组
get_group函数可获取特定组并且返回DataFrame。
例如，我们可以获得属于存储“Daisy”和产品组“PG1”的行如下:

1. aisy_pg1 = sales.groupby(
   
2. ["store", "product_group"]).get_group(("Daisy","PG1")
   
3. )
   
4. daisy_pg1.head()

复制代码

21、rank函数
rank函数用于根据给定列中的值为行分配秩。我们可以使用rank和groupby函数分别对每个组中的行进行排序。

1. sales["rank"] = sales.groupby("store"["price"].rank(
   
2. ascending=False, method="dense"
   
3. )
   
4. 
   
5. sales.head()

复制代码

22、累计操作
们可以计算出每组的累计总和。

1. import numpy as npdf = pd.DataFrame(
   
2.     {
   
3.       "date": pd.date_range(start="2022-08-01", periods=8, freq="D"),
   
4.       "category": list("AAAABBBB"),
   
5.       "value": np.random.randint(10, 30, size=8)
   
6.     }
   
7. )

复制代码

我们可以单独创建一个列，包含值列的累计总和，如下所示:

1. df["cum_sum"] = df.groupby("category")["value"].cumsum()

复制代码

23、expanding函数
expanding函数提供展开转换。但是对于展开以后的操作还是需要一个累计函数来堆区操作。例如它与cumsum 函数一起使用，结果将与与sum函数相同。

1. df["cum_sum_2"] = df.groupby(
   
2.     "category"
   
3. )["value"].expanding().sum().values

复制代码

24、累积平均
利用展开函数和均值函数计算累积平均。

1. df["cum_mean"] = df.groupby(
   
2.     "category"
   
3. )["value"].expanding().mean().values

复制代码

25、展开后的最大值
可以使用expand和max函数记录组当前最大值。

1. df["current_highest"] = df.groupby(
   
2.     "category"
   
3. )["value"].expanding().max().values

复制代码

在Pandas中groupby函数与aggregate函数共同构成了高效的数据分析工具。在本文中所做的示例涵盖了groupby功能的大多数用例，希望对你有所帮助。

相关帖子DA内容精选 精益业务数据分析试读 CDA认证官网 草根数据分析师的深造之路 | CDA 持证人分享 材料专业硕士工作3年，如何转型数据分析师 | CDA 持证人分享 数据科学和企业的数据能力建设 数据分析最常用的excel函数公式大全 零基础转行数据分析，看这篇文章就够了

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏3 回帖

关键词：时间序列数据 python 时间序列 序列数据 correlation

点个赞感谢分享