python转码 UnicodeDecodeError: 'gbk' codec can't decode byte

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

环境：win10  python3.6
做词性标注时，出现如下错误


源代码如下：

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import sys
   
4. import os
   
5. class StanfordCoreNLP():
   
6.     def __init__(self,jarpath):
   
7.         self.root=jarpath
   
8.         self.tempsrcpath="tempsrc"
   
9.         self.jarlist=["ejml-0.23.jar","javax.json.jar","jollyday.jar","joda-time.jar","protobuf.jar","slf4j-api.jar",
   
10.                       "slf4j-simple.jar","stanford-corenlp-3.8.0.jar","xom.jar"]
    
11.         self.jarpath=""
    
12.         self.buildjars()
    
13.         
    
14.     def buildjars(self):
    
15.         for jar in self.jarlist:
    
16.             self.jarpath += self.root+jar+";"
    
17.             
    
18.     def savefile(self,path,sent):
    
19.         fp=open(path,"wb")
    
20.         fp.write(sent)
    
21.         fp.close()
    
22.         
    
23.     def delfile(self,path):
    
24.         os.remove(path)
    
25.         
    
26. class StanfordPOSTagger(StanfordCoreNLP):
    
27.     def __init__(self,jarpath,modelpath):
    
28.         StanfordCoreNLP.__init__(self,jarpath)
    
29.         self.modelpath=modelpath
    
30.         self.classfier="edu.stanford.nlp.tagger.maxent.MaxentTagger"
    
31.         self.delimiter="\\"
    
32.         self.__buildcmd()
    
33.         print(jarpath)
    
34.         print(modelpath)
    
35.         
    
36.     def __buildcmd(self):
    
37.         self.cmdline = 'java -mx1g -cp "'+self.jarpath+'" ' + self.classfier+' -model "'+self.modelpath+'" -tagSeparator ' + self.delimiter
    
38.         print(self.cmdline)
    
39.         
    
40.     def tag(self,sent):
    
41.         self.savefile(self.tempsrcpath,sent)
    
42.         tagtxt=os.popen(self.cmdline+" -textFile "+self.tempsrcpath,'r').read()
    
43.         self.delfile(self.tempsrcpath)
    
44.         type(tagtxt)
    
45.         #print(tagtxt)
    
46.         return tagtxt
    
47.    
    
48.     def tagfile(self,inputpath,outpath):
    
49.         os.system(self.cmdline+' -textFile '+inputpath+' > '+outpath)

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：unicode decode python Error coded

请大神指教，谢谢

encoding改为gbk后的输出结果变为了：
锟 斤 拷 \ N N   锟 斤 拷 锟 斤 拷 \ N N   锟 斤 拷 锟 斤 拷 \ N N   锟 斤 拷 \ N N   锟 斤 拷 锟 斤 拷 \ N N   锟 斤 拷 \ N N   锟 斤 拷 \ N N   锟 斤 拷 占 锟 斤 拷 锟 絓 N N   锟 斤 拷 \ N N   锟 斤 拷 \ N N   锟 斤 拷 锟 斤 拷 \ N N   锟 斤 拷 锟 斤 拷 锟 斤 拷 锟 絓 N N   锟 斤 拷 锟 斤 拷 \ N N   锟 斤 拷 \ N N   锟 斤 拷 锟 斤 拷 \ N N   锟 斤 拷 \ N N   锟 斤 拷 \ N N   锟 斤 拷 锟 节 碉 拷 \ N N   锟 斤 拷 锟 斤 拷 \ N N   锟 斤 拷 锟 絓 N N   探 锟 斤 拷 \ N N   锟 斤 拷 占 锟 斤 拷 锟 斤 拷 锟 絓 N N