我们想要做的事情:自动读取博客文章,记录标题,把心仪的文章保存到个人电脑硬盘里供以后学习参考。
过程大体分为以下几步:
1.找到爬取的目标网址;
2.分析网页,找到自已想要保存的信息,这里我们主要保存是博客的文章内容;
3.清洗整理爬取下来的信息,保存在本地磁盘。
打开csdn的网页,作为一个示例,我们随机打开一个网页:
http://blog.csdn.net/u013088062/article/list/1。
可以看到,博主对《C++卷积神经网络》和其它有关机计算机方面的文章都写得不错。
爬虫代码按思路分为三个类(class),下面3个带“#”的分别给出了每一个类的开头(具体代码附后,供大家实际运行实现):
采用“类(class)”的方式属于Python的面向对象编程,在某些时候比我们通常使用的面向过程的编程方便,在大型工程中经常使用面向对象编程。对于初学者来说,面向对象编程不易掌握,但是经过学习习惯之后,会逐步慢慢从面向过程到面向对象编程过渡。
特别注意的是,RePage类主要用正则表达式处理从网页中获取的信息,正则表达式设置字符串样式如下:
用正则表达式去匹配所要爬取的内容,用Python和其它软件工具都可以实现。正则表达式有许多规则,各个软件使用起来大同小异。用好正则表达式是爬虫和文本挖掘的一个重要内容。
SaveText类则是把信息保存在本地,效果如下:
用python编写爬虫代码,简洁高效。这篇文章仅从爬虫最基本的用法做了讲解,有兴趣的朋友可以下载代码看看,希望大家从中有收获。
附相关Python代码如图所示:
根据上期学员的反馈和优化,接下来覃老师主讲Python数据挖掘课程变成4天,跟着覃老师一起领悟数据挖掘算法在行业应用。强化的培训,应该让你可以学完后很自信,学以致用,快速上手解决工作中的问题。
4天课程内容足够丰富,想学习的朋友报名从速,点击立即报名,查看课程详情,缴费后获得预习视频和资料。
在线咨询:
(深圳现场班)
(远程直播班)
张老师
座机:010-68456523
QQ:2881989712
扫码添加微信