正则表达式求助

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

http://jinganghuating.fang.com/

上述url的正则表达式不会写，求助大侠帮忙，万分感谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：正则表达式 表达式 Gang Fang 万分感谢 表达式

你要取什么值?还是说只是匹配url即可?

开心1101 发表于 2015-12-1 17:27
你要取什么值?还是说只是匹配url即可?

是匹配url，就是访问搜房网首页到具体某个小区链接，用于scrapy爬虫所有小区信息，正则表达式写rules。

http://esf.sz.fang.com/housing/（起始链接，不用写）

http://esf.sz.fang.com/housing/__0_0_0_0_2_0_0/（下一页，要写正则表达式）

http://yicuishanzhuangzh.fang.com/（具体某个小区，要写正则表达式）

先谢谢了！！

(?<=title>【)[^,]+

sel=Selector(response)
next page:  next_page_link=sel.xpath(//a[@id="PageControl1_hlk_next"]/@href)
某个小区:    res_link=sel.xpath('//dt/a[contains(@href,"fang.com/")]/text()')

然后自己把next_page_link add to request的队列中去

开心1101 发表于 2015-12-6 21:14
sel=Selector(response)
next page:  next_page_link=sel.xpath(//a[@id="PageControl1_hlk_next"]/@href) ...

谢谢你的解答，是这么写吗？还要安装哪些安装包？

start_urls.append("http://esf.sz.fang.com/housing/")

sel=Selector(response)
next_page_link=sel.xpath(//a[@id="PageControl1_hlk_next"]/@href)
sel.xpath('//dt/a[contains(@href,"fang.com/")]/text()')

def parse_item(self, response):   

soufangspiderItem['name'] = response.xpath('//div[@class="itemTitle"]/h2/span[1]/text()').extract()[0]

scrapy 是一个框架，只要这个框架可以正常运行，你又没有其他额外的需求的话，就不用安装其他的包了

开心1101 发表于 2015-12-9 21:47
scrapy 是一个框架，只要这个框架可以正常运行，你又没有其他额外的需求的话，就不用安装其他的包了

谢谢你的耐心解答，可以帮我看看京东的url吗？

首页  http://list.jd.com/list.html?cat=9987,653,655

展开链接：http://item.jd.com/1124332.html
                http://item.jd.com/1124332.html#comment
首页和展开链接的前面路径好像不一样啊，不知道怎么写，帮忙看看，谢谢！