pandas怎么追加写入文件

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

输入文件比较大，所以采取了分块处理df = pd.read_csv(args.input,sep=',',iterator=True)
loop = True
chunkSize = 900000
while loop:
    try:
        chunk = df.get_chunk(chunkSize)
        chunk = chunk[ ~ chunk['Chr'].str.contains('_')]
        chunk_1 = sample_threshold(chunk,SampleThreshold)
        chunk_2 = depth_caculate(chunk_1,DepThreshold)
        chunk_3 = wilcoxon_test(chunk_2,SampleNum)
        print('already handled one chunk!')
        print('============================')
    except StopIteration:
        loop = False
        print("Iteration is stopped.")


请问一下我怎么才能在每一块处理好之后就写入文件，并且不会覆盖前面的？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：分块处理 块处理 处理好

df.to_csv(date+'.csv',index = False,header=0,mode='a')
关键是 mode参数

楼上正解