为什么抓取的网页数据为乱码

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我试着从搜房网上抓点东西，怎么都是乱码呢，请大家帮忙看看，谢谢

filename web_loc url "http://gelingelinjd.soufun.com/" debug;

data source;
     format webpage $1000.;
     infile web_loc lrecl=32767 delimiter=">";
     input webpage $ @@;
                                                                                      run;

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：delimiter filename delimit Source format source 网页 网上

试了一下，没成功
用headers=选项导出http get 信息为

1. X-Powered-By:PHP/5.3.10
   
2. Date:Tue, 18 Jun 2013 14:31:26 GMT
   
3. Content-Type:text/html
   
4. Cache-Control:max-age=86400
   
5. Content-Encoding:gzip
   
6. Connection:keep-alive
   
7. Expires:Wed, 19 Jun 2013 14:31:26 GMT
   
8. X-UA-Compatible:IE=EmulateIE7
   
9. X-UA-Compatible:IE=EmulateIE7
   
10. X-Cache:from syq-wns-05.light.soufun.com
    
11. Server:nginx
    
12. Transfer-Encoding:chunked
    
13. HTTP/1.1 200 OK
    
14. Vary:Accept-Encoding

复制代码

抓包得到的header为

1. Accept: text/html, application/xhtml+xml, */*
   
2. Accept-Language: zh-CN
   
3. User-Agent: Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)
   
4. Accept-Encoding: gzip, deflate
   
5. Host: gelingelinjd.soufun.com
   
6. DNT: 1
   
7. Proxy-Connection: Keep-Alive
   
8. Pragma: no-cache

复制代码

使用抓包的这个文件 d:\HEADERS_true.txt(去除host属性)

1. filename H_true "d:\HEADERS_true.txt";
   
2. filename out_true "d:\test_true.txt";
   
3. proc http  HEADERin=H_true out=out_true url="http://gelingelinjd.soufun.com/";run;

复制代码

结果还是乱码。网页的编码是GB2312，修改Accept-Encoding：GB2312依然是乱码。
期待高手

moyunzheng 发表于 2013-6-18 23:01
试了一下，没成功
用headers=选项导出http get 信息为抓包得到的header为使用抓包的这个文件 d:\HEADERS_t ...

谢谢你

我试着去抓取www.sina.com，是可以的，不知道为什么搜房网的不可以，不懂ing

楼主，问题解决了么？我也需要从搜房网抓数据，同样乱码，跪求解决方案啊

爬取网页数据要懂一点点网页知识，在infile后面再加一句encoding="utf-8"即可

不好意思，我之前遇到问题是如我上诉方法解决的，我刚才试试了你的网站，调试了几次不成功，应该是网页的原因。本人QQ707931339, 学爬虫时间也不长，可以多多交流

学习

楼主问题解决了么？我怎么觉得要么是gzip网页压缩了，要么就是JS加密了吧？

你还抓网页信息呢~~~真牛

是编码问题，联系我QQ1453724998,我帮你解决下