高效率去除重复行

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

现有txt文件，格式如下：
aaa 111 222
aaa 222 111
bbb 111 333
aaa 111 222
ccc 222 222
bbb 111 444

希望去除重复项，最后得到：
aaa 111 222
aaa 222 111
bbb 111 333
ccc 222 222
bbb 111 444


数据很大，好几十个G，我写的脚本感觉运行效率很低：

1. #!~/miniconda2/bin/python
   
2. outfile = open('remove_duplicate.txt', 'w')
   
3. list_1=[]
   
4. for line in open('header_and_position_1.txt'):
   
5.     tmp = line.strip()
   
6.     if tmp not in list_1:
   
7.         list_1.append(tmp)
   
8.         outfile.write(line)
   
9. outfile.close()

复制代码

请问有没有什么高效率的方法啊？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：高效率 results append python Result

试试pandas的DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)

楼上正解