[数据挖掘工具] 【数据福利】爬虫君供您驱使，免费为您爬取数据！！！ [推广有奖]

1关注
131
粉丝

学科带头人

23%

还不是VIP/贵宾

威望: 1 级
论坛币: 76202 个
通用积分: 33.6853
学术水平: 67 点
热心指数: 51 点
信用等级: 47 点
经验: 40368 点
帖子: 725
精华: 0
在线时间: 2770 小时
注册时间: 2016-4-30
最后登录: 2024-4-18

楼主

quandongping

发表于 2017-12-21 14:47:57 |只看作者 |坛友微信交流群|倒序 |AI写论文

相似文件

换一批

是否 +2 论坛币

k人参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

   爬虫君身在金融圈，身边的同事朋友都有各种各样或大或小的数据需求，毕竟现在进入大数据时代了嘛，很多时候都需要用数据来支撑说明自己的观点和看法。以前很多时候都是依靠编程来实现数据爬虫，不断地分析网页规则，不断地编程测试，一开始需求的人较少，还可以满足，到后面需求的人越来越多，慢慢就忙不过来了。转头一想，授人以鱼不如授人以渔，让他们学会爬虫不就行了么。

   很多金融经管童鞋由于学校课程的设置，编程基础相对较弱，而且还要了解互联网前端的知识，走传统的编程爬虫路子耗费的精力比较大，遇到挫折容易产生挫败感，特别是在获取数据迫切的情况下，走传统路子显得不合时宜。

   终于还是找到了一个不需要编程几分钟上手、半天可以弄透的爬虫方法，还有一点就是不需要像八爪鱼、火车头等采集器软件那样付费和复杂的规则，不过还是在测试当中，目前已经测试过了在知乎、微博、58、财经论坛等网站。个人觉得该方法应该是可以适合绝大部分网站的，数据可见即可得，无奈何互联网太大，网页以数十亿计，自己见过和采集过的网页太少，不能穷举。

   因此，如果您有小批量的数据需求（正常1万条以内），可以提供相关信息给我，告诉我从那个网页开始爬（公开合法的网页皆可），要爬取什么数据，我免费为您获取这些数据，我也顺便测试这个方法是不是如自己期望中的那样。你我都能“得利”，您获得了你想要的数据，我也检验和增强了技能。

   如果您有数据需求，请按以下例子提供信息。

例子1：爬取论坛经管类求职与招聘帖子数据
爬取链接：https://bbs.pinggu.org/forum-75-1.html
需求字段：前20页帖子的标题、发帖时间、最后评论时间、阅读数、评论数
=========================================================
我的回复(点击下载)：

jg_zhoapin.rar (99.17 KB) 本附件包括：
jg_zhoapin.xlsx

例子2：爬取58同城广州地区二手房数据
爬取链接：http://gz.58.com/ershoufang/
需求字段：前10页帖子的标题、房屋布局、面积、地址、总价、平方均价
================================================================
我的回复(点击下载)：

ershoufang.rar (50.35 KB) 本附件包括：
ershoufang.xlsx

例子3：爬取天天基金网所有开放式基金的排名数据(2017年12月20日)
爬取链接：http://fund.eastmoney.com/data/fundranking.html#tall;c0;r;szzf;pn50;ddesc;qsd20161220;qed20171220;qdii;zq;gg;gzbd;gzfs;bbzt;sfbb
需求字段：排名表中的所有信息字段（从序号、基金代码到自定义、手续费）
================================================================
我的回复(点击下载)：