1585 6

[找数据和资料] 网页数据自动爬取收集 [推广有奖]

  • 1关注
  • 0粉丝

高中生

67%

还不是VIP/贵宾

-

威望
0
论坛币
9183 个
通用积分
4.6179
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
425 点
帖子
14
精华
0
在线时间
31 小时
注册时间
2016-11-16
最后登录
2019-9-24

100论坛币
本人做课题收集数据过程中,需要爬取网站数据,具体为:


酒店数量众多,需要将网页上酒店当天价格数据自动爬取下来,手工记录较为复杂
有没有相应的程序和代码能自动爬取网页上的价格数据呢?
请诸位大神一起想想办法,小的定当重谢



WX20180810-203105.png

关键词:价格数据 网站数据 酒店数量 数据过程 过程中
沙发
Christy201709 发表于 2018-8-10 20:43:33 |只看作者 |坛友微信交流群
可以用火车头采集器。。是使用源代码进行采集,软件有基础教学视频,稍微会难一点,但是采集速度和准确度还比较高,并且采集的内容也比较干净。你可以下载试试

使用道具

藤椅
Christy201709 发表于 2018-8-10 20:44:05 |只看作者 |坛友微信交流群
你是学酒店管理的吗

使用道具

板凳
Wu_Deyuan 在职认证  发表于 2018-8-11 17:17:51 |只看作者 |坛友微信交流群
python爬下来是挺好爬的,但是你的意思未来的每一天都自动爬一次?

使用道具

报纸
select- 发表于 2018-8-13 15:07:03 |只看作者 |坛友微信交流群
还需要爬吗

使用道具

地板
liuchao1013 发表于 2018-8-15 10:45:08 |只看作者 |坛友微信交流群
用stata软件编辑一段代码就可以爬虫

使用道具

7
2016310846 发表于 2018-8-15 11:47:28 |只看作者 |坛友微信交流群
r语言也可以爬虫
举个例子
library(rvest)
url <- 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=北京&kw=阿里巴巴'
web <- read_html(url)
job_title_nodes <- html_nodes(web, xpath = '//td[@class="zwmc"]/div/a')
job_title <- html_text(job_title_nodes)
job_title[1:2]
## [1] "阿里妈妈-java研发专家-北京" "大文娱-APP推广-PP助手&豌豆荚"

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加JingGuanBbs
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-26 18:57