求用SAS爬虫的方法

现在有一些网址，想爬出来网页的标题，内容不需要，就浏览器上显示的网页中文标题就可以。在论坛找到的都是爬内容的，没有爬标题的code。

求大神解答！

1. data test;
   
2. input wangzhi : $200.;
   
3. cards;
   
4. https://bbs.pinggu.org/thread-5644000-1-1.html
   
5. http://www.163.com/
   
6. http://www.autohome.com.cn/ningbo/
   
7. http://map.baidu.com/
   
8. http://www.ifeng.com/
   
9. http://www.qq.com/
   
10. ;
    
11. run;
    
12. 
    
13. /*宏变量n，表示网址个数，用于宏程序循环判断*/
    
14. proc sql noprint;
    
15. select count(wangzhi) into : n  from test;
    
16. run;
    
17. quit;
    
18. 
    
19. 
    
20. %macro titles;
    
21. %do i=1 %to &n;
    
22. /************************************/
    
23. /*把每个具体网址存入宏变量wangzhi*/
    
24. data _null_;
    
25. set test;
    
26. if _n_=&i then call symput('wangzhi',wangzhi);
    
27. run;
    
28. /************************************/
    
29. /*默认编码方式导入网页，当网页utf8编码时，中文乱码！*/
    
30. FILENAME SOURCE URL "&wangzhi";
    
31. DATA test1;
    
32. retain charset;
    
33. INFILE SOURCE obs=500 truncover;/*每个网页读入前500条*/
    
34. INPUT line $500.;
    
35. pattern1=prxparse('/^\s*<meta.*charset.*=.*([Uu][Tt][Ff]-[8]).*$/o');
    
36. pattern2=prxparse('/^\s*<title>(.*)<\/title>\s*$/o');
    
37. if prxmatch(pattern1,line) then charset=prxposn(pattern1,1,line);/*网页是否utf8编码*/
    
38. if prxmatch(pattern2,line) then do;
    
39.         title=prxposn(pattern2,1,line);
    
40.         output;
    
41.         end;
    
42. if prxmatch(pattern2,line);
    
43. RUN;
    
44. /*utf8编码方式导入网页，当网页非utf8编码时，中文乱码！*/
    
45. FILENAME SOURCE URL "&wangzhi" encoding=utf8;
    
46. DATA test2;
    
47. retain charset;
    
48. INFILE SOURCE obs=500 truncover;
    
49. INPUT line $500.;
    
50. pattern3=prxparse('/^\s*<title>(.*)<\/title>\s*$/o');
    
51. if prxmatch(pattern3,line) then title_utf8=prxposn(pattern3,1,line);
    
52. if prxmatch(pattern3,line);
    
53. RUN;
    
54. /*根据网页是否utf8编码，纠正乱码*/
    
55. data test3;
    
56. merge test1 test2;
    
57. if lowcase(charset)='utf-8' then title=title_utf8;
    
58. keep title;
    
59. run;
    
60. /*test3只完成了对一个网址的题目提取，通过循环追加到test4中*/
    
61. proc append base=test4 data=test3;
    
62. run;
    
63. /*为方便查看，加入网址变量*/
    
64. data want;
    
65. merge test test4;
    
66. run;
    
67. /************************************/
    
68. %end;
    
69. %mend titles;
    
70. %titles

复制代码