请选择 进入手机版 | 继续访问电脑版
楼主: quandongping
2341 13

[求助成功] 【免费爬虫】爬虫君免费为您爬取数据!!! [推广有奖]

学科带头人

23%

还不是VIP/贵宾

-

威望
1
论坛币
75780 个
通用积分
32.1403
学术水平
67 点
热心指数
51 点
信用等级
47 点
经验
40368 点
帖子
725
精华
0
在线时间
2769 小时
注册时间
2016-4-30
最后登录
2024-3-22

quandongping 在职认证  发表于 2017-12-21 15:13:06 |显示全部楼层 |坛友微信交流群
相似文件 换一批

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
      







       爬虫君身在金融圈,身边的同事朋友都有各种各样或大或小的数据需求,毕竟现在进入大数据时代了嘛,很多时候都需要用数据来支撑说明自己的观点和看法。以前很多时候都是依靠编程来实现数据爬虫,不断地分析网页规则,不断地编程测试,一开始需求的人较少,还可以满足,到后面需求的人越来越多,慢慢就忙不过来了。转头一想,授人以鱼不如授人以渔,让他们学会爬虫不就行了么。


       很多金融经管童鞋由于学校课程的设置,编程基础相对较弱,而且还要了解互联网前端的知识,走传统的编程爬虫路子耗费的精力比较大,遇到挫折容易产生挫败感,特别是在获取数据迫切的情况下,走传统路子显得不合时宜。


       终于还是找到了一个不需要编程几分钟上手、半天可以弄透的爬虫方法,还有一点就是不需要像八爪鱼、火车头等采集器软件那样付费和复杂的规则,不过还是在测试当中,目前已经测试过了在知乎、微博、58、财经论坛等网站。个人觉得该方法应该是可以适合绝大部分网站的,数据可见即可得,无奈何互联网太大,网页以数十亿计,自己见过和采集过的网页太少,不能穷举。


       因此,如果您有小批量的数据需求(正常1万条以内),可以提供相关信息给我,告诉我从那个网页开始爬(公开合法的网页皆可),要爬取什么数据,我免费为您获取这些数据,我也顺便测试这个方法是不是如自己期望中的那样。你我都能“得利”,您获得了你想要的数据,我也检验和增强了技能。


     如果您有数据需求,请按以下例子提供信息。


例子1:爬取论坛经管类求职与招聘帖子数据
爬取链接:https://bbs.pinggu.org/forum-75-1.html
需求字段:前20页帖子的标题、发帖时间、最后评论时间、阅读数、评论数
=========================================================
我的回复(点击下载): jglt_zhoapin.rar (99.29 KB) 本附件包括:
  • jg_zhoapin.xlsx










例子2:爬取58同城广州地区二手房数据
爬取链接:http://gz.58.com/ershoufang/
需求字段:前10页帖子的标题、房屋布局、面积、地址、总价、平方均价
================================================================
我的回复(点击下载) 58ershoufang.rar (50.46 KB) 本附件包括:
  • ershoufang.xlsx





例子3:爬取天天基金网所有开放式基金的排名数据(2017年12月20日)
爬取链接:http://fund.eastmoney.com/data/fundranking.html#tall;c0;r;szzf;pn50;ddesc;qsd20161220;qed20171220;qdii;zq;gg;gzbd;gzfs;bbzt;sfbb
需求字段:排名表中的所有信息字段(从序号、基金代码到自定义、手续费)
================================================================
我的回复(点击下载) tiantianfund_nv.rar (539.34 KB) 本附件包括:
  • fund_nv.xlsx
















二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:爬虫 采集 数据 免费

已有 1 人评分学术水平 热心指数 信用等级 收起 理由
Fanos + 3 + 3 + 3 精彩帖子

总评分: 学术水平 + 3  热心指数 + 3  信用等级 + 3   查看全部评分

券商投行内训课https://bbs.pinggu.org/thread-5962409-1-1.html
quandongping 在职认证  发表于 2017-12-21 15:13:22 |显示全部楼层 |坛友微信交流群

使用道具

quandongping 在职认证  发表于 2017-12-21 15:13:48 |显示全部楼层 |坛友微信交流群

使用道具

likechao 学生认证  发表于 2018-1-14 09:43:47 |显示全部楼层 |坛友微信交流群
新三板挂牌企业市值管理绩效评价各指标数据http://www.neeq.com.cn/

使用道具

quandongping 在职认证  发表于 2018-1-14 21:46:48 |显示全部楼层 |坛友微信交流群
likechao 发表于 2018-1-14 09:43
新三板挂牌企业市值管理绩效评价各指标数据http://www.neeq.com.cn/
您好,您需要爬取哪些字段的数据呢?
可以参考下面的例子:
QQ截图20180114214503.png




券商投行内训课https://bbs.pinggu.org/thread-5962409-1-1.html

使用道具

likechao 学生认证  发表于 2018-1-15 17:51:30 |显示全部楼层 |坛友微信交流群
不是社会责任报告。是新三板软件和信息技术服务业2014年之前挂牌企业的一些指标:经济增加值、经济增加值增长率、资本效率资本效率增长率、托宾Q值、市值回归残差、市值波动率

使用道具

likechao 学生认证  发表于 2018-1-15 17:52:09 |显示全部楼层 |坛友微信交流群
quandongping 发表于 2018-1-14 21:46
您好,您需要爬取哪些字段的数据呢?
可以参考下面的例子:
不是社会责任报告。是新三板软件和信息技术服务业2014年之前挂牌企业的一些指标:经济增加值、经济增加值增长率、资本效率资本效率增长率、托宾Q值、市值回归残差、市值波动率

使用道具

quandongping 在职认证  发表于 2018-1-15 18:29:38 |显示全部楼层 |坛友微信交流群
likechao 发表于 2018-1-15 17:52
不是社会责任报告。是新三板软件和信息技术服务业2014年之前挂牌企业的一些指标:经济增加值、经济增加值 ...
您好,您能像上面的那个例子给我一个截图么?

使用道具

likechao 学生认证  发表于 2018-1-15 21:00:00 |显示全部楼层 |坛友微信交流群
quandongping 发表于 2018-1-15 18:29
您好,您能像上面的那个例子给我一个截图么?
新三板企业的经济增加值这些我也不知道在哪儿找,全国中小企业股份转让系统上面也没有找到

使用道具

quandongping 在职认证  发表于 2018-1-15 22:45:59 |显示全部楼层 |坛友微信交流群
likechao 发表于 2018-1-15 21:00
新三板企业的经济增加值这些我也不知道在哪儿找,全国中小企业股份转让系统上面也没有找到
您好,网页上显示的数据一般可见即可得,如果找不到的话,是无法爬取的哦

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加JingGuanBbs
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-3-29 23:17