完整程序教你怎样利用SAS抓取网页内容

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

背景：
搜索引擎对网站的收录，会影响到网站SEO，而目前没找到什么好的工具来统计被收录的情况，也不会其他程序来写爬出，将就着用sas来写（实在大材小用了）。

提取的主要字段：
-URL---页面Title---收录更新时间---排列顺序---URL分类-

下面是代码（后面一部分可直接忽略）：

*========================================================================
百度收录情况统计：
1.根据百度搜索结果源代码，提取其中搜索结果；
2.再统计相关页面的收录情况，及新增和删除页面情况；
3.再以文本文件形式发邮件。

-创建时间---创建人--------------
2011-08-25  ****

-更新时间---更新人---说明-----
2011-09-14  ****    页面类型处理上使用正则表达式函数处理
2011-09-28  ****    解决头一天未提取收录，比较新增和丢弃的页面比较日期至最近一次提取的数据

-说明---
本程序用于提取百度对网站的收录情况统计，为SEO提供参考，如果网站主要页面（如产品页）未被收录，
需要寻找原因（例如页面相似度太高）以改进。

========================================================================;

options mprint mlogic symbolgen;
%let basicn=100;

%macro _shoulu(website=,dslib=,dsout=);
%*--------------------------------
宏变量：website 格式yoursite.com，百度查询参数为"site:yoursite.com"
       dsout   格式&dslib..yoursite_yymmdd，yymmdd为每次抓取百度搜索结果的日期
说明： pn，rn为百度查询参数，与SAS宏变量无关
*--------------------------------;
filename baidu url "http://www.mysas.net";

%*抓取收录的总数量，用于控制读取的页面数;
data _null_;
    infile baidu length=len lrecl=5000;
    input _t1 $varying5000. len;
    if substr(_t1,1,13)='<p id="page">';
    total=compress(scan(scan(_t1,-3,">"),-2,"<"),"找到相关结果个约,");
    call symput("total",total);
run;
%put total number searched=&total;
%let n=%eval(&total/&basicn+1);
%put n=&n;

%*利用循环读取百度查询结果的下一页;
%do i=1 %to &n;
%if &i=1 %then %let pnum=0;
%else %let pnum=%eval(%eval(&i-1)*&basicn);
%put pn=&pnum;
%*每次查询结果设为100（参数rn=100）;
filename baidu url "http://www.mysas.net";
......

剩余源程序如下：

本帖隐藏的内容

http://www.mysas.net/sns/index.php?app=blog&mod=Index&act=show&id=1875&mid=43

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享4 收藏55 回帖

关键词：filename compress website varying options 网页

好帖子！顶一个先！

看看

楼主敢换个名字吧。 还好您补了出处。。

学习ing

take a look

That is a good one

最近从网页上抓数据的程序逐渐多起来了哈，不错

谢谢