Excel应用系列之用Excel Power Query爬取网页数据

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

一、简介：

大家好，我是一言，只做实操分享。师从零一老师，用师傅的一句话与大家共勉："时间是不会辜负你的"。

二、说明：

1.Excel Power Query爬取网页数据的强大之处不仅操作简单，而且后期只需要一键刷新即可实时更新

2.中间获取数据的时候，我是根据自己的需求来勾选数据

3.由于贝贝网的特卖宝贝每天都更新，所以会造成您做案例的时候和我做案例中的宝贝会不一样，忽略就好，只要过程没错，案例中的宝贝不影响最终的数据效果

4.按照此方法，可以获取贝贝网其他类目的销售情况，以及其他同类网站的数据

三、具体步骤如下：

(友情提示：操作步骤很详细，看起来有点繁琐，但只要你动手做，其实很简单)

1.打开贝贝官网：http://www.beibei.com/

2.对着网页鼠标右键，点击"检查"

3.点击"手机标志"

4.按F5刷新网页，右边列表区点击"Network"，再点击"clear"

5.左边网页点击女装，左边网页往下拉直到底部，右边列表区点击 "JS" 出现数据

6.点击"1-15"，"preview"，"martshows"

7.右边列表区中的"1-15"、"2-15"..."17-15"中的数据均为左边网页女装类目中的内容

8.点击"Headers"，复制"1-15"、"2-15"..."17-15"所有的Request URL发现，链接中只有页码在变化，其他都不变，所以页码就可以作为一个变量

9.桌面新建Excel，"数据"，"从表格"，勾选"表包含标题"

10.页码列的格式换成文本

11.添加列，添加自定义列，复制"1-15"Request URL，点击确定

Json.Document(Web.Contents("http://sapi.beibei.com/martshow/search/"&[页码]&"-15-woman_dress--.html"))

12.点击"继续"，"公共"

13.展开自定义列，勾"martshows"，点击确定 (取消勾选使用原始列名作为前缀)

14.接着展在"martshows"，勾选"brand(品牌)"，"buying_info(正在购买人数)"，"mid(店铺id)"，点击确定

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏29 回帖

关键词：Excel Power Excel应用 用excel EXCEL Query

15.把"mid(店铺id)"的格式改成文本

16.切换到网页，点击第一个宝贝


17.左边网页往下拉直到底部，右边列表区点击 "JS" 出现数据


18.点击"263710-1-20..."，"preview"，"martshow_items"


19.列表区中"1-20"..."17-20"的数据均为左边网页中的内容

(左边网页里的内容，能在右边列表区中找到，此URL就是我们要找的URL)


20.点击Header，复制Request URL


21.切换到excel，把复制好的URL复制到"自定义添加列"中去

Json.Document(Web.Contents("http://sapi.beibei.com/martshow/item/v3/"&[mid]&"-1-20-hot-0--0-0--0.html"))

用"mid(店铺id)"替换"263710"


22.展开"自定义列"，勾选"martshow_items"，点击确定

(取消勾选使用原始列名作为前缀)


23.接着展开"martshow_items"，勾选"iid(商品id)"，"price(折扣价)"，"price_ori(原价)"，"sale_tip(折扣)"，点击确定


24.把"iid(商品id)"的格式改成文本


25.切换到网页，点击第一个宝贝


26.左边网页往下拉直到底部，右边列表区"JS"出现数据


27.点击"183682..."，"preview"，列表区的数据均为左边网页中的内容

(左边网页里的内容，能在右边列表区中找到，此URL就是我们要找的URL)


28.点击Header，复制Request URL


29.切换到excel，把复制好的URL复制到"自定义添加列"中

Json.Document(Web.Contents("http://sapi.beibei.com/item/detail/new/"&[iid]&".html"))

用"iid(商品id)"替换"18368838"


30.展开"自定义列"，勾选"sold_num(销量)"，点击确定

(取消勾选使用原始列名作为前缀)


31.点击"开始"，"关闭并上载至..."


32.加载到"表"，点击确定


33.至此，贝贝网女装销售数据获取成功！

如上所述~

Data-零一 发表于 2017-6-29 18:53
一、简介：大家好，我是一言，只做实操分享。师从零一老师，用师傅的一句话与大家共勉："时间是不会辜负你的 ...

还不错呀

hjtoh 发表于 2017-6-29 21:01
还不错呀

谢谢关注

留下脚步

怎么看不到图片呢。对内容非常感兴趣

无边际 发表于 2017-6-30 10:31
怎么看不到图片呢。对内容非常感兴趣

在更改，稍后会有的

厉害了我的歌

快速问答——

问：零一工具箱的下载地址在哪？
答：https://pan.baidu.com/s/1c1HlyLi

问：零一工具箱是否收费？
答：零一工具箱是一款提供给电商运营轻量级的免费工具。

问：零一会是一个什么样的机构？
答：零一会是一个专业数据人才培养基地。

问：零一会有哪些业务？
答：培训孵化 ——通过系统的培训，一对一小班指导培养数据化运营人才，毕业后就业仍然会享受信息和知识的互通。

人才认证与输送——学习期满颁发权威机构专业证书，为企业输送数据分析师和数据运营人才。

电商运营——为企业提供代运营服务，提高店铺业绩。


End.
作者：零一会一言
联系方式微信号：muyou1990一言