巨潮资讯网搜索工具

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

自己用Python写的一个批量下载巨潮资讯网报告的小程序，然后用pyinstaller封装了一下
可以根据特定的搜索词批量爬取和下载对应的公司报告PDF，和在巨潮资讯首页搜索框搜索的效果是一样的
优点：爬取结果会先生成一个Excel表格文件，上面列出了报告名称以及下载链接，链接可以直接在Excel里打开访问单个PDF文件；如果需要后续进行文本分析等，才需要用到自动下载全部报告的功能。
不过缺点有：1、软件略大（300M），后期应该会想办法优化；2、如果网络环境太差报告下载可能会中断------------------------------------------------
5.13更新内容：修复爬取记录过多被网站拦截；爬取进度可视化；修复部分报告缺失股票代码或公司名称导致爬取报错的问题；延长网络不佳的等待时间----------------------------------------
5.19更新内容：进一步修复可能在某些情况下股票简称爬取不到导致程序报错中断的情况-----------------------
5.24更新内容：修复爬取量过多被网站一劝退就崩溃的问题
本帖暂停更新啦，关键是不知道怎么删除附件，改一次就得加一个附件好无语啊，目前最新版已经修复了目前已发现的问题

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：installer excel表格 install Excel表 python

能不能加强一下，能够选择时间段，另外下载一多就闪退，而且闪退的时间没规律，有时候400条就闪退，有时候几千条，这样没法用啊。而且没有短点续传，比如下20000条 每次都只能1-20000，没办法下 如果能选择1000-2000这样也可以慢慢全部下完。另外内容检索的原理是什么？

111111

chiokchi1 发表于 2021-5-19 10:37
Traceback (most recent call last):
  File "513.py", line 124, in
  File "pandas\core\frame.py",  ...

收到，抱歉，我来看看哈

chiokchi1 发表于 2021-5-18 23:02
能不能加强一下，能够选择时间段，另外下载一多就闪退，而且闪退的时间没规律，有时候400条就闪退，有时候 ...

内容检索是因为网站本身提供这个选项，并不是我额外设计的。闪退那个可能是因为爬取次数多了被网站识别到了，我看能不能调成随机的IP地址好了，然后选择性下载这个我可以试试，因为我也是根据一些自身需要学的爬虫哈，可能会有一些问题，多多包涵

求删帖，待我进一步完善再上传吧