SAS:读取网页数据

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

方法1：
出处：http://elek.me/read-contents-from-websites-using-sas.html

1. 
   
2. 
   
3. filename readweb url %nrstr("http://detail.zol.com.cn/cell_phone_index/subcate57_list_s528_1.html") lrecl=60000;
   
4.   
   
5. data tmp;
   
6.     infile readweb lrecl=60000 dlm="><";
   
7.     retain flag 0;
   
8.     length title1 $ 20;
   
9.     if flag=0 then do;
   
10.         title="手机名称";
    
11.         input @'id="proName_' @'>' content :$50. @@;
    
12.         flag=1;
    
13.         num+1;
    
14.         if title="手机名称" then title1="name";
    
15.         output;
    
16.     end;
    
17.     input @'<dd class="tit_new">' title :$50. @;
    
18.     if title="上市日期" then do;
    
19.         flag=0;
    
20.     end;
    
21.     input @'<dd class="con_new">' content :$50. @@;
    
22.     if scan(content,1,"=")="a href" then input content :$50. @@;
    
23.     if title="所属系列" then title1="series";
    
24.     if title="操作系统" then title1="os";
    
25.     if title="手机类型" then title1="type";
    
26.     if title="网络模式" then title1="net";
    
27.     if title="主屏尺寸" then title1="screen_size";
    
28.     if title="主屏色彩" then title1="screen_color";
    
29.     if title="触摸屏：" then title1="screen_type";
    
30.     if title="摄像头像" then title1="camera";
    
31.     if title="蓝牙功能" then title1="bluetooth";
    
32.     if title="上市日期" then title1="date";
    
33.     output;
    
34.     drop flag;
    
35. run;
    
36.   
    
37. proc transpose data=tmp out=want(drop=_name_);
    
38.     var content;
    
39.     by num;
    
40.     id title1;
    
41. run;

复制代码

 

此学习笔记针对主题：用sas下载网页数据

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏5 回帖

关键词：Transpose Bluetooth contents Websites filename 数据 SAS 网页

Hi,

I have never work experience on fetch http or ftp files into SAS using SAS sysytem, but Hope the following sample helpful to you,

filename foo URL
'http://www.sas.com:80/service/techsup/intro.html';
data _null_;
infile foo length=len;
input record $varying200. len;
put record $varying200. len;
if _n_=15 then stop;
run;

这是一个用SAS直接获取SAS抓网页数据代码，而我也是在别人的基础上进行修改的，其实就是多了一个数据清洗。

这个是原始代码：
filename etf url 'http://www.sse.com.cn/sseportal/webapp/datapresent/ETF50downlad?SEQ_ID=12889'  RECFM=v lrecl=1000;
data _tmp;
    file _webout;
    infile etf length=len;
    length content $32766. ;
    input content $varying32766. len;
run;

这个代码把所有信息读入到一个变量中，没有根据字段分开，也没有去掉头部、尾部的非数据信息。

于是根据实际的需求，将代码进行了优化，得到的是整理后的信息。
具体用的的数据步的指令有do until……end;
并且用一个a作为信号指标，对当时所处的状态进行记录，do until对状态进行判断，这样做到对数据的清洗整理，使获得我们真正需要的数据。


代码：
filename etf url 'http://www.sse.com.cn/sseportal/webapp/datapresent/ETF50downlad?SEQ_ID=12889'  RECFM=v lrecl=1000;         /*将网络数据保存到etf中*/
data _tmp;
    file _webout;
    infile etf length=len dlm='|';   /*分割符为 | */
   
do until (a=1);            /*a的原始值为缺失，当a被赋值1时，说明数据指针已经达到需要数据的头部*/
  input id $ ;
  if id="TAGTAG" THEN a=1;       /*当发现头部标志时赋值a为1*/
  end;

do until (a=2);
     input id $ name $ d e f g;
  if id ne "ENDEND" then output;
   else a=2; /*当发现尾部标志时赋值a为2*/
  end;
drop a;    /*丢弃信号变量a*/
run;

/*-------END----------*/

第十一行是不是有问题啊,程序运行的始终出错啊,十一行中的@'id="proName_' @'>' content :$50. 啥意思?