Excel应用系列之用Excel Power Query爬取网页数据-经管之家官网!

人大经济论坛-经管之家 收藏本站
您当前的位置> 考研考博>>

考研

>>

Excel应用系列之用Excel Power Query爬取网页数据

Excel应用系列之用Excel Power Query爬取网页数据

发布:Data-零一 | 分类:考研

关于本站

人大经济论坛-经管之家:分享大学、考研、论文、会计、留学、数据、经济学、金融学、管理学、统计学、博弈论、统计年鉴、行业分析包括等相关资源。
经管之家是国内活跃的在线教育咨询平台!

经管之家新媒体交易平台

提供"微信号、微博、抖音、快手、头条、小红书、百家号、企鹅号、UC号、一点资讯"等虚拟账号交易,真正实现买卖双方的共赢。【请点击这里访问】

提供微信号、微博、抖音、快手、头条、小红书、百家号、企鹅号、UC号、一点资讯等虚拟账号交易,真正实现买卖双方的共赢。【请点击这里访问】

一、简介:大家好,我是一言,只做实操分享。师从零一老师,用师傅的一句话与大家共勉:"时间是不会辜负你的"。二、说明:1.ExcelPowerQuery爬取网页数据的强大之处不仅操作简单,而且后期只需要一键刷新即可实时 ...
坛友互助群


扫码加入各岗位、行业、专业交流群


一、简介:

大家好,我是一言,只做实操分享。师从零一老师,用师傅的一句话与大家共勉:"时间是不会辜负你的"。

二、说明:

1.Excel Power Query爬取网页数据的强大之处不仅操作简单,而且后期只需要一键刷新即可实时更新

2.中间获取数据的时候,我是根据自己的需求来勾选数据

3.由于贝贝网的特卖宝贝每天都更新,所以会造成您做案例的时候和我做案例中的宝贝会不一样,忽略就好,只要过程没错,案例中的宝贝不影响最终的数据效果

4.按照此方法,可以获取贝贝网其他类目的销售情况,以及其他同类网站的数据

三、具体步骤如下:

(友情提示:操作步骤很详细,看起来有点繁琐,但只要你动手做,其实很简单)


1.打开贝贝官网:http://www.beibei.com/https://pic.bbs.jg.com.cn/album/201706/30/120443zr0d8nhrhq80jk4y.png

2.对着网页鼠标右键,点击"检查"

https://pic.bbs.jg.com.cn/album/201706/30/1204451kij00u0ajxjfu0f.png

3.点击"手机标志"

https://pic.bbs.jg.com.cn/album/201706/30/120446mujciq1jtqnqen7s.png


4.按F5刷新网页,右边列表区点击"Network",再点击"clear"

https://pic.bbs.jg.com.cn/album/201706/30/1204469dp1popzl39kjfid.png

5.左边网页点击女装,左边网页往下拉直到底部,右边列表区点击 "JS" 出现数据
https://pic.bbs.jg.com.cn/album/201706/30/12044911gvsnmrczy0chjy.png


6.点击"1-15","preview","martshows"

https://pic.bbs.jg.com.cn/album/201706/30/120450ob7beboan23388e2.png

7.右边列表区中的"1-15"、"2-15"..."17-15"中的数据均为左边网页女装类目中的内容

https://pic.bbs.jg.com.cn/album/201706/30/120452r6iktik15y5ts6zs.png


8.点击"Headers",复制"1-15"、"2-15"..."17-15"所有的Request URL发现,链接中只有页码在变化,其他都不变,所以页码就可以作为一个变量

https://pic.bbs.jg.com.cn/album/201706/30/1204537ipuu2uqcqp490cv.png

9.桌面新建Excel,"数据","从表格",勾选"表包含标题"

https://pic.bbs.jg.com.cn/album/201706/30/120453bawj3349oydwydjw.png

10.页码列的格式换成文本

https://pic.bbs.jg.com.cn/album/201706/30/1204544cirnno99hc9n48v.png

11.添加列,添加自定义列,复制"1-15"Request URL,点击确定

Json.Document(Web.Contents("http://sapi.beibei.com/martshow/search/"&[页码]&"-15-woman_dress--.html"))
https://pic.bbs.jg.com.cn/album/201706/30/120454mi64ui35qluqbjiv.png

12.点击"继续","公共"

https://pic.bbs.jg.com.cn/album/201706/30/1204551pp1w0avpuup4puf.png

13.展开自定义列,勾"martshows",点击确定 (取消勾选使用原始列名作为前缀)

https://pic.bbs.jg.com.cn/album/201706/30/120455mtqbgoog82i0e886.png

14.接着展在"martshows",勾选"brand(品牌)","buying_info(正在购买人数)","mid(店铺id)",点击确定

https://pic.bbs.jg.com.cn/album/201706/30/1204566jzuwdhjdsw20nhd.png
扫码或添加微信号:坛友素质互助


「经管之家」APP:经管人学习、答疑、交友,就上经管之家!
免流量费下载资料----在经管之家app可以下载论坛上的所有资源,并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库,各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里,你可以找到任何学科方向、有共同话题的朋友。
经管之家(原人大经济论坛),跨越高校的围墙,带你走进经管知识的新世界。
扫描下方二维码下载并注册APP
本文关键词:

本文论坛网址:https://bbs.pinggu.org/thread-5796958-1-1.html

人气文章

1.凡人大经济论坛-经管之家转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。