求助 批量数据合并

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

如何将多个关联数据文件合并

合并后

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

关键词：数据合并 数据文件 文件合并

ID是固定     日期有N+1日        “A B C D ......"有49个

1. import glob
   
2. import pandas as pd
   
3. 
   
4. files=glob.glob(r'D:\test\*.txt')
   
5. 
   
6. df=pd.read_table(files[0])
   
7. for file in files[1:]:
   
8.     df=pd.merge(left=df,right=pd.read_table(file),on=['ID','日期'])
   
9. print(df)

复制代码

gjinwei 发表于 2018-1-12 15:02

OK！ 及时雨

运行出错了。
txt文件太了，我将txt文件转成excel文件，代码 ”*.txt“是不是改成”.xlsx“

A.xlsx (2.09 MB)

2018-1-12 16:27:08 上传

B.xlsx (1.9 MB)

2018-1-12 16:27:27 上传

我将其中两个txt文件转成excel文件上传

这个问题的核心是解决编码问题，你转化出来的excel文件不能直接用pandas解析，需要手动打开后再保存才能正常打开，然后注意每次把结果文件剪切出去或者把结果文件指定到其他文件夹
代码如下：

1. import glob
   
2. import pandas as pd
   
3. 
   
4. files=glob.glob(r'D:\test\*.xlsx')
   
5. 
   
6. df=pd.read_excel(files[0])
   
7. for file in files[1:]:
   
8.     df=pd.merge(left=df,right=pd.read_excel(file),on=['ID','日期'])
   
9. df.to_excel(r'D:\test\result.xlsx')

复制代码

附上转化结果：
result.xlsx (2.24 MB)

2018-1-12 20:39:17 上传

要解决编码问题，首先要清楚你的文件的编码格式是什么。pd.read_excel是不带encoding参数（默认以utf8解析），因此必须采取变通的方法。你给出的这两个文件是cp936的编码，参考如下可以不手动打开excel：

1. import glob
   
2. import pandas as pd
   
3. 
   
4. files=glob.glob(r'D:\test\*.xlsx')
   
5. with open(files[0],encoding='cp936') as f:
   
6.     df=pd.read_excel(f)
   
7.    
   
8. for file in files[1:]:
   
9.     with open(file,encoding='cp936') as f:
   
10.         df=pd.merge(left=df,right=pd.read_excel(f),on=['ID','日期'])
    
11. df.to_excel(r'D:\test\result.xlsx',index=False)

复制代码

gjinwei 发表于 2018-1-12 22:58
要解决编码问题，首先要清楚你的文件的编码格式是什么。pd.read_excel是不带encoding参数（默认以utf8解析） ...

谢谢!大神

fccy309 发表于 2018-1-12 23:46
谢谢!大神

代码太不简洁了！继续查资料，惊奇地发现可以这样：

1. import glob
   
2. import pandas as pd
   
3. 
   
4. files=glob.glob(r'D:\test\*.xlsx')
   
5. 
   
6. df=pd.read_excel(files[0],engine='xlrd')
   
7.    
   
8. for file in files[1:]:
   
9.     df=pd.merge(left=df,right=pd.read_excel(file,engine='xlrd'),on=['ID','日期'])
   
10. df.to_excel(r'D:\test\result.xlsx',index=False)

复制代码

xlrd竟然自动解决了编码的问题