请选择 进入手机版 | 继续访问电脑版
楼主: quandongping
11457 69

【免费】爬虫暖男冬日里为您免费爬取心仪数据(只能帮你到这里了,写论文还得靠自己)   [推广有奖]

quandongping 发表于 2017-12-23 00:15
您好,这不是还在测试当中的么,如果适用性差,我就放弃了。没有临床实验过的药,可不能乱吃啊
好的,祝你早日试验成功,我想爬取的是拍拍贷的网贷数据,但从页面进去看不到逾期记录,似乎需要进入个人账户才能看到,不知有无办法爬取,这是个人投资统计,https://invest.ppdai.com/account/UserStatisticsV2,点击进入散标和债转标,就能看到每日逾期的标的,将不同逾期时间段的数据爬取下来,并且点击进入列表编号,能看到借款人个人信息,将借款人信息也爬取下来,对分析网贷很有价值
逾期2.jpg


逾期.jpg




使用道具

runnerzyt 发表于 2018-4-13 08:29:07 来自手机 |显示全部楼层 |坛友微信交流群
quandongping 发表于 2017-12-21 14:27
爬虫君身在金融圈,身边的同事朋友都有各种各样或大或小的数据需求,毕竟现在进入大数据时代了 ...
您真是太好了,请问可以爬注册会计师公开数据吗?我可以提供需要的名单。写论文需要这个数据,非常感谢╰(*

使用道具

qicaih 发表于 2018-4-13 09:06:41 |显示全部楼层 |坛友微信交流群
谢谢楼主,中国市场化指数不用爬,能帮忙爬下美国传统基金会发布的中国对外投资追踪数据 China-Global-Investment-Tracker!感谢!

使用道具

runnerzyt 发表于 2018-4-13 10:12:23 来自手机 |显示全部楼层 |坛友微信交流群
quandongping 发表于 2017-12-21 14:27
爬虫君身在金融圈,身边的同事朋友都有各种各样或大或小的数据需求,毕竟现在进入大数据时代了 ...
http://cmispub.cicpa.org.cn/cicpa2_web/public/query0/2/00.shtml
注会信息在这个网页可以查到,只需要输入姓名即可,需要用ie打开网页才看的到搜索框

使用道具

ycai 在职认证  发表于 2018-4-17 09:24:05 |显示全部楼层 |坛友微信交流群
楼主很厉害,我也在编网页抓取数据,请问下分页数据如何模拟点击页面实现数据更新抓取,就是下面这个地址http://stockdata.stock.hexun.com/zrbg/Plate.aspx?date=2017-12-31
我已经分析出页码的html代码是li,也能获取,但模拟click事件页面数据不会更新,还请楼主指教,多谢!

使用道具

ycai 在职认证  发表于 2018-4-17 12:37:26 |显示全部楼层 |坛友微信交流群
问题已解决,原来li里面还有一层a,对这个节点做click就可以了。

使用道具

ycai 在职认证  发表于 2018-4-18 13:43:11 |显示全部楼层 |坛友微信交流群
runnerzyt 发表于 2018-4-13 10:12
http://cmispub.cicpa.org.cn/cicpa2_web/public/query0/2/00.shtml
注会信息在这个网页可以查到,只需要 ...
你可以把名单发我,我抓抓看

使用道具

回忆与我 学生认证  发表于 2018-5-1 22:17:17 |显示全部楼层 |坛友微信交流群
哇,好棒的楼主。自己在自学python,但离爬虫还有很长一段距离,向楼主看齐

使用道具

回忆与我 学生认证  发表于 2018-5-2 00:14:22 |显示全部楼层 |坛友微信交流群
您好,非常感谢您的热心分享。刚开始学python,但是好像离爬虫还有很长的距离,现在写论文需要数据,想请您帮忙。

一、目标网址
巨潮网历史公告查询:http://www.cninfo.com.cn/cninfo-new/announcement/show#
关键字中输入:罚、违规、警告、整改、整顿、改进;时间选择2008.01.01-2017.12.31
需要的内容是:代码、简称、标题和时间,如果可以下载公告的PDF文件就更好了。
比较繁琐的事,页面只能显示几十条内容,必须点显示更多,而且没点一次只是多了几十条,需要不断点击。
非常感谢!

使用道具

674758501 学生认证  发表于 2018-5-22 14:28:18 |显示全部楼层 |坛友微信交流群
楼主你好,请问你还能帮忙爬取一下和讯企业社会责任2017年的排名数据吗?万分感谢ORZ
http://stockdata.stock.hexun.com/zrbg/Plate.aspx?date=2017-12-31

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加JingGuanBbs
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-3-28 19:08