楼主: wuchm
2451 8

[其他] 用Python scrapy爬虫框架编写程序。 [推广有奖]

  • 6关注
  • 1粉丝

已卖:1417份资源

博士生

53%

还不是VIP/贵宾

-

威望
0
论坛币
2397 个
通用积分
4.5700
学术水平
1 点
热心指数
1 点
信用等级
0 点
经验
5181 点
帖子
230
精华
0
在线时间
236 小时
注册时间
2007-4-24
最后登录
2024-9-18

楼主
wuchm 发表于 2015-11-7 18:57:22 |AI写论文
200论坛币
用Python scrapy爬虫框架编写程序。
1、scrapy爬虫框架怎么搭建?
2、搭建成功后,爬取网站:
     a、网站:搜房网(深圳):http://esf.sz.fang.com/housing/__0_3_0_0_1_0_0/
     b、需要抓取的结果:如下表所示,字段全部抓取出来。
     c、最好对每一步解释下,本人初学者,底子弱,谢谢!   


本月均价:38495元/㎡环比上月 ;↓0.06%
同比去年; ↑44.07%
二手房;2639套
出 租 房;209套
周边短租房;65套
装修案例; 8套
所在区域; 南山 科技园
小区地址 ;南山深南大道深圳大学旁物业
电话 :26966292
物业地点 ; 汇景豪苑停车场
物业费 :2.80元/平米·月
物业公司 : 深圳新港物业管理有限公司
建筑年代 : 2000-04-15
开发商  :大中华国际实业(深圳)有限公司


最佳答案

trans 查看完整内容

1.创建一个Scrapy项目 2.定义提取的Item 3.编写爬取网站的 spider 并提取 Item 4.编写 Item Pipeline 来存储提取到的Item(即数据) 举例: import scrapy from myproject.items import MyItem class MySpider(scrapy.Spider): name = 'example.com' allowed_domains = ['example.com'] start_urls = [ 'http://www.example.com/1.html', 'http://www.example.com/2.html', ...
关键词:python scrapy 编写程序 CRAP CRA Python 爬虫

沙发
trans 发表于 2015-11-7 18:57:23
1.创建一个Scrapy项目
2.定义提取的Item
3.编写爬取网站的 spider 并提取 Item
4.编写 Item Pipeline 来存储提取到的Item(即数据)


举例:
import scrapy
from myproject.items import MyItem

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        'http://www.example.com/1.html',
        'http://www.example.com/2.html',
        'http://www.example.com/3.html',
    ]

    def parse(self, response):
        sel = scrapy.Selector(response)
        for h3 in response.xpath('//h3').extract():
            yield MyItem(title=h3)

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)
已有 1 人评分论坛币 学术水平 收起 理由
admin_kefu + 25 + 2 热心帮助其他会员

总评分: 论坛币 + 25  学术水平 + 2   查看全部评分

藤椅
1fsfsa 发表于 2015-11-7 21:41:07
楼主会吗? 可以教我吗

板凳
ftdfeiyang 在职认证  学生认证  发表于 2015-11-7 22:01:29
目前还在学python,有些学习资料可以提供分享。

报纸
wuchm 发表于 2015-11-8 16:01:03
ftdfeiyang 发表于 2015-11-7 22:01
目前还在学python,有些学习资料可以提供分享。
有爬虫方面的吗,简单易懂的?

地板
ftdfeiyang 在职认证  学生认证  发表于 2015-11-8 19:10:25
我整理整理书,还有些视频估计网站上不好放。

7
ftdfeiyang 在职认证  学生认证  发表于 2015-11-9 01:36:40
wuchm 发表于 2015-11-8 16:01
有爬虫方面的吗,简单易懂的?
爬虫学习网站http://blog.csdn.net/column/details/why-bug.html

8
mack-j 发表于 2015-11-22 10:57:04
楼主,求共享代码,及制作全国程

9
jared2010 发表于 2016-8-6 21:34:30
感谢分享

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
jg-xs1
拉您进交流群
GMT+8, 2025-12-9 09:07