※分析仪需在Excel2016平台执行。
分析仪展示界面:
分析仪使用方法:
在分析仪中的以下表格处输入想要查找的3个城市及3个搜索关键词,并点击分析仪中的“执行”按钮,分析仪便会在拉勾网中获取到基于输入条件的相关职位信息数据,这些数据存储在分析仪的“处理后数据”工作表中。同时,分析仪还会基于这些数据在“城市维度分析仪”工作表中生成数据图表及“最高薪资公司Top15”的数据表格供大家参考。
文件获取方法:…..
读到这里如果你对Excel神奇的爬数功能感到好奇,那么请继续将文章看到最后。
再继续以下内容之前,请确认您已经了解了一些关于Excel Power Query的基本知识。如果不了解,请自行百度Power BI。
不用编程只需简简单单写几个公式就能用Excel批量获取求职网站上的海量信息,如果有这么一种高能方法就在下边介绍的内容中,你是否会花些时间将文章读到底呢?!
用Excel获取拉勾网数据时用到了Excel Power Query中的Json.Document函数,在很多情况下我们需要的网站信息是通过JS动态传递的,这种情况下就可以使用Json.Document函数来获取信息了。
网站请求过程:
在进入正文前,我们先来简单了解一下网站的请求过程。比如我们在搜索拉勾网中的求职信息时,其实是向对方服务器发出相应请求后,再由对方服务器动态的响应请求,再将我们所需要的信息发给浏览器,通过浏览器解析后呈现在显示器中的。
拉勾网的情况,每当对某个关键词进行搜索时,信息会由XHR动态传递,通过在谷歌浏览器中点击F12对网站进行观测后,发现以GET的方式会获得search.json,这个search.json就是我们搜索的招聘信息。
作者不是爬虫专家,对网站相关知识也就了解这么多了,能够爬取成功全凭不断尝试,踩着石头过河。如果某个任务,目标明确,那么坚持尝试后总会有一些收获的。
Json.Document函数说明:
Json.Document函数:返回JSON文档的内容
表达式:function(jsonText as any, optional encoding as nullable TextEncoding.Type) as any
注释:当付给Json.Document函数的参数是json相关信息时,Json.Document会返回JSON文档内的相关内容
爬取拉勾网求职数据步骤:
1. 先要注册网站
2. 通过浏览器中的开发者监控界面(按F12启动)找到拉勾网搜索关键词后获取的JS地址(此步骤内容省略,地址如下)
https://m.lagou.com/search.json?city=城市名&positionName=关键词&pageNo=页码&pageSize=一页中的显示条数
3. 通过对上述地址的特点进行分析后了解到,确定展示内容的变量有城市名、关键词、页码及一页中显示的条数这四个变量,一页中显示的条数固定为15,所以我们只需要自定义城市名、关键词、页码这三个变量就可以了
4. 打开一个空的Excel,在表格界面输入城市名、关键词、页码对应的相关信息,比如我想查找城市为“北京”,关键词为职位描述信息的“数据分析”的前“5”页的招聘信息时就需要输入一份如下表的数据:
5. 将上边数据加载到Power Query
6. 按照如下方式添加自定义列
公式内容如下:
=Json.Document(Web.Contents("https://m.lagou.com/search.json?city="&[城市]&"&positionName="&[职位]&"&pageNo="&[页码]&"&pageSize=15"))
7. 对新添加的列进行逐层展开,直到得到所需信息为止,删除不需要的列,加载完成
展开路径:数据->content->data->page->result->扩展到新行->最后选中所需列展开
最终执行结果如下:
~ by李奇
是不是很炫酷?上述以一则小案例展示了使用Power Query进行网络数据爬取的知识。实际上,Power Query是一款神器。大多数的数据分析师80%的时间都在做基础的数据处理工作,而用不到20%的时间做数据分析工作。而借助强大的Power Query工具,可以解决这个工作时间分配失衡的问题,打造一个工作新常态:用20%的时间做数据处理的工作,用80%的时间做数据分析工作。而以上只是Excel PowerBI的功能之一。如何全面学习Excel进阶黑科技Power BI,站在巨人的肩膀上?
CDA数据分析员课程,全面涵盖EXCEL商业智能的知识,并且教授行业最前沿的BI插件Power piviot,Power query,Power view和Power map的使用。微软MVP李奇老师带你玩转EXCEL Power BI数据分析!
一、那么,这门课程讲什么?
第一阶段:EXCEL基础与数据处理方法介绍
培养目标:零基础入门EXCEL,学会常用的Excel功能和数据处理方法。
1.数据分析概述
2.分析工具Excel概述
3.Excel基本数据类型操作
4.Excel公式功能与条件格式
5.Excel数据透视与图表功能
6.常用函数介绍
7.Excel数据处理(错误值、异常值、重复)
8.数据提取与数据分组
9.数据转换与数据标准化
第二阶段:EXCEL商业智能分析工具精讲
培养目标:进阶Excel技术和能力,学习微软为强化自身产品商业智能功能而开发的工具集Power BI,掌握多维数据集搭建方法。
1.Power Map介绍
2.Power View介绍
3.Power Query介绍
4.导入数据与数据横向、纵向合并
5.基本功能介绍与M函数
6.Power Pivot介绍
7.导入外部数据与搭建多维数据集
8.KPI多层次结构介绍
9.DAX表达式与高级数据透视分析
第三阶段:高级数据可视化方法精讲
培养目标:掌握高级数据可视化方法,让你的商业报告达到麦肯锡标准。
1.基本可视化分析方法
2.应用切片器及透视表制作动态图表
3.应用控件及名称定义制作动态图表
4.制作单元格图表
5.制作嵌套图表
6.基本图表再创新
第四阶段:Excel商业智能分析案例精讲、浅谈VBA与统计
培养目标:应用升华,掌握基于业务的分析仪制作方法,同时介绍基本的统计分析方法。
1.财务杜邦分析仪介绍
2.餐饮行业数据分析仪介绍
3.销售管理分析仪介绍
4.浅谈ExcelVBA
5.浅谈描述性统计分析
6.浅谈回归分析方法
二、这门课程谁来讲?
李奇
微软Excel MVP(Excel最有价值专家)/经管之家签约讲师/中国电子表格应用大会主席。曾在IBM中国担任销售管理团队数据分析项目组长及德勤北京所的数据分析高级咨询顾问。专精于企业数据分析、设计及实施商业智能业务解决方案、软件开发及SQL、Excel相关数据分析课程培训等。
三、课程如何安排?
时间:2018年5月05日至5-13(4天集训)+全套视频
地点:北京,CDA数据分析研究院
费用:现场班1500元,远程班900元(限时优惠见详情页)
授课安排:
(1) 授课方式:周末培训,视频赠送,中文多媒体互动式授课方式
(2) 授课时间:上午9:00-12:00,下午13:30-16:30,16:30-17:00(答疑)
(3) 学习期限:现场与视频结合,长期学习加练习答疑。
四、我该如何报名?
如果您是电脑端,请点击以下链接:
http://www.cda.cn/kecheng/29.html
如果您是微信端,请扫描二维码:
我有疑问,该如何咨询?
课程顾问:陈老师
18010006628(微信)
邮箱:chenwenjing@pinggu.org
欢迎来撩,回复分析员,免费获得文中招聘数据分析仪文件。