Python利器: 利用 pdfminer 把pdf 年报数据转成 txt 文本

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

PDFMiner其特征有：
1、完全使用python编写。（适用于2.4或更新版本）
2、解析，分析，并转换成PDF文档。
3、PDF-1.7规范的支持。（几乎）
4、中日韩CJK语言和垂直书写脚本支持。
5、各种字体类型（Type1、TrueType、Type3，和CID）的支持。
6、基本加密（RC4）的支持。
7、PDF与HTML转换。
8、纲要（TOC）的提取。
9、标签内容提取。
10、通过分组文本块重建原始的布局。
如果你的Python有安装pip模块，就可以通过pip命令自动安装pdfminer。(不支持中文)

#python pip install pdfminer

由于我们大部分处理的文档都是中文的 所以不能直接pip 安装 使用中日韩CJK文字须先编译再安装


首先下载 安装包

使用的是pdfminer-20140328.tar.gz

https://pypi.python.org/packages/57/4f/e1df0437858188d2d36466a7bb89aa024d252bd0b7e3ba90cbc567c6c0b8/pdfminer-20140328.tar.gz

然后在Windows cmd下输入命令:

1. mkdir pdfminer\cmap
   
2. python tools\conv_cmap.py -c B5=cp950 -c UniCNS-UTF8=utf-8 pdfminer\cmap Adobe-CNS1 cmaprsrc\cid2code_Adobe_CNS1.txt
   
3. python tools\conv_cmap.py -c GBK-EUC=cp936 -c UniGB-UTF8=utf-8 pdfminer\cmap Adobe-GB1 cmaprsrc\cid2code_Adobe_GB1.txt
   
4. python tools\conv_cmap.py -c RKSJ=cp932 -c EUC=euc-jp -c UniJIS-UTF8=utf-8 pdfminer\cmap Adobe-Japan1 cmaprsrc\cid2code_Adobe_Japan1.txt
   
5. python tools\conv_cmap.py -c KSC-EUC=euc-kr -c KSC-Johab=johab -c KSCms-UHC=cp949 -c UniKS-UTF8=utf-8 pdfminer\cmap Adobe-Korea1 cmaprsrc\cid2code_Adobe_Korea1.txt
   
6. python setup.py install

复制代码

下面附上将pdf 转成 txt 的python代码

1. #!/usr/bin/env python
   
2. # -*- coding: utf-8 -*-
   
3. # @Time    : 2017/7/6 21:02
   
4. # @Author  : chen# @Site    :
   
5. # @File    : simplePDF.py
   
6. # @Software: PyCharm
   
7. import os
   
8. from cStringIO import StringIO
   
9. import sys
   
10. from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
    
11. from pdfminer.converter import TextConverter
    
12. from pdfminer.layout import LAParams
    
13. from pdfminer.pdfpage import PDFPage
    
14. def convert_pdf_2_text(path):   
    
15.     rsrcmgr = PDFResourceManager()   
    
16.     retstr = StringIO()
    
17.     device = TextConverter(rsrcmgr, retstr, codec='utf-8', laparams=LAParams())
    
18.     interpreter = PDFPageInterpreter(rsrcmgr, device)
    
19.     with open(path, 'rb') as fp:
    
20.         for page in PDFPage.get_pages(fp, set()):
    
21.             interpreter.process_page(page)
    
22.         text = retstr.getvalue()
    
23.    device.close()
    
24.    retstr.close()
    
25.    return text

复制代码

如果嫌麻烦的话，可以联系我帮你转(Free).

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏28 回帖

关键词：python Miner MINE 年报数据 PDF

转成txt似乎不是什么难事，难的是转成表格。

lowbrow 发表于 2018-3-16 09:05
转成txt似乎不是什么难事，难的是转成表格。

你用的是什么转？用python 是因为可以批量处理

MRchesian 发表于 2018-3-19 19:23
你用的是什么转？用python 是因为可以批量处理

我没办法

这个是python2的吧 python3里是什么模块?

曾经遇到过年报加密的情况，总之年报的批量转TXT很容易遇到坑

wpoven 发表于 2018-9-14 22:24
曾经遇到过年报加密的情况，总之年报的批量转TXT很容易遇到坑

加密也是有办法的， 关键是有些PDF的字符编码不统一才是坑，我处理的是90-16年的年报数据 3w+份

招股说明书也可以转么

Suun柿子 发表于 2018-9-24 10:47
招股说明书也可以转么

可以的

我在安装的过程中遇到了问题，能否麻烦指导下，有偿。我qq529604532