/*文件合并工具*/ # -*- coding: cp936 -*- import glob files=glob.glob('*_*')#这个改文件格式 w=open('comb.txt','w')#这个改输出结果 #w.write('推广员编号,姓名,申请ip,地址,玩家id,服务器id,昵称,等级,激活ip,地址,激活时间,消费\n') for wenjian in files: f=open(wenjian) for i in f: #if '推广员编号' in i: #continue w.write('%s%s'%(wenjian,i)) f.close() w.close() /**********取文件中首个字符为日期时间型的数据******/ #coding:gb2312 import time filename="system_ogoss.log_20131126.log" def is_valid_date(str): try: time.strptime(str, "%Y-%m-%d %X") return True except: return False f=open(filename) r=open(filename+"_.result", "w") for s in f: if not s.strip():continue if is_valid_date(s ): r.write(s) r.close() raw_input("Done") /*******取某个字段后面的数据************/ #coding:gb2312 file_name="lj.instance.2013-12-31.log" span="log=" r=open(file_name+"_result.txt", "w") f=open(file_name) for s in f: if not s.strip():continue r.write(s.split(span) ) r.close() /**********去掉非日期格式的数据行**********/ #coding:gb2312 import time,re regx=re.compile(r'\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}') filename="2013-11-10-chat.log" f=open(filename, "rb").read().replace("\r","").split("\n") r=open(filename+"_.result", "w") for s in f: if not s.strip():continue if regx.search(s ): r.write(s+"\n") r.close() raw_input("Done") /************匹配字段的脚本**********/ # -*- coding: cp936 -*- import glob,gzip,sys,datetime,time ty=sys.getfilesystemencoding() s={} logs=glob.glob('*.log') for z in logs: print z for r in open(z): try: sr=r.decode('utf-8').encode(ty).split(',',15) except: sr=r.split(',',15) fn=sr .split(':') .strip(),sr .split(':') .strip() if "@" not in sr : urs=sr .split(':') .strip()+"@163.com" else: urs=sr .split(':') .strip() if s.has_key(fn)==False: s =urs w=open('再流失样本流通记录(加帐号).txt','w+') for ii in open('11.1-11.30道具消费.txt'): #for ii in open(i0): try: i=ii.decode('utf-8').encode(ty) except: i=ii si=i.split(',') if len(si)==23: fwq=si .strip() yjs=si .strip() fy=fwq,yjs mjs=si .strip() fm=fwq,mjs yurs='未匹配' murs='未匹配' if s.has_key(fy): yurs=s if s.has_key(fm): murs=s w.write('%s,%s,%s\n'%(yurs,murs,i.strip())) w.close() /**********自动下载数据的脚本**********/ #---coding:cp936---# import urllib,urllib2,cookielib,socket,time,os,re,datetime,random,sys,base64 import module if '__main__'==__name__: self_module=module.self_module date='2014-01-23' log_out_reqh=self_module().down_out(date) out_lines=urllib2.urlopen(log_out_reqh) w=open('%s_out.log'%date,'w') for line in out_lines: w.write(line.strip()+'\n') w.close() log_in_reqh=self_module().down_in(date) in_lines=urllib2.urlopen(log_in_reqh) w=open('%s_in.log'%date,'w') for line in in_lines: w.write(line.strip()+'\n') w.close()