识别 Dataframe 中的异常值

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

以下内容转自 数析学院，只节选了部分，有需要的同学可以直接查看原文

1. import pandas as pd
   
2. import sys

复制代码

1. # 创建一个 dataframe 并以日期作为索引
   
2. States = ['NY', 'NY', 'NY', 'NY', 'FL', 'FL', 'GA', 'GA', 'FL', 'FL']
   
3. data = [1.0, 2, 3, 4, 5, 6, 7, 8, 9, 10]
   
4. idx = pd.date_range('1/1/2012', periods=10, freq='MS')
   
5. df1 = pd.DataFrame(data, index=idx, columns=['Revenue'])
   
6. df1['State'] = States
   
7. 
   
8. # 创建第二个 dataframe
   
9. data2 = [10.0, 10.0, 9, 9, 8, 8, 7, 7, 6, 6]
   
10. idx2 = pd.date_range('1/1/2013', periods=10, freq='MS')
    
11. df2 = pd.DataFrame(data2, index=idx2, columns=['Revenue'])
    
12. df2['State'] = States

复制代码

1. # 连接两个 dataframe
   
2. df = pd.concat([df1,df2])
   
3. df

复制代码

识别异常值的方法

1. # 方法1
   
2. 
   
3. # 新建一个 df 副本
   
4. newdf = df.copy()
   
5. 
   
6. newdf['x-Mean'] = abs(newdf['Revenue'] - newdf['Revenue'].mean())
   
7. newdf['1.96*std'] = 1.96*newdf['Revenue'].std()  
   
8. newdf['Outlier'] = abs(newdf['Revenue'] - newdf['Revenue'].mean()) > 1.96*newdf['Revenue'].std()
   
9. newdf

复制代码

1. # 方法 2
   
2. # 按照 item 分组
   
3. 
   
4. # 新建一个 df 的副本
   
5. newdf = df.copy()
   
6. 
   
7. State = newdf.groupby('State')
   
8. 
   
9. newdf['Outlier'] = State.transform( lambda x: abs(x-x.mean()) > 1.96*x.std() )
   
10. newdf['x-Mean'] = State.transform( lambda x: abs(x-x.mean()) )
    
11. newdf['1.96*std'] = State.transform( lambda x: 1.96*x.std() )
    
12. newdf

复制代码

以上内容节选自 数析学院，原文后续还有多种识别方法，有需要的同学可以先直接到 数析学院 查看原文

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Dataframe Frame Fram Data RAM