关于处理SAS的Log文件的宏-经管之家官网!

人大经济论坛-经管之家 收藏本站
您当前的位置> 软件培训>>

SAS软件培训

>>

关于处理SAS的Log文件的宏

关于处理SAS的Log文件的宏

发布:playmore | 分类:SAS软件培训

关于本站

人大经济论坛-经管之家:分享大学、考研、论文、会计、留学、数据、经济学、金融学、管理学、统计学、博弈论、统计年鉴、行业分析包括等相关资源。
经管之家是国内活跃的在线教育咨询平台!

获取电子版《CDA一级教材》

完整电子版已上线CDA网校,累计已有10万+在读~ 教材严格按考试大纲编写,适合CDA考生备考,也适合业务及数据分析岗位的从业者提升自我。

完整电子版已上线CDA网校,累计已有10万+在读~ 教材严格按考试大纲编写,适合CDA考生备考,也适合业务及数据分析岗位的从业者提升自我。

我经常遇到的问题是想找出成百上千个DATA步和过程步中花费时间最长的步骤但SAS输出的Log文件可读性不强,也不能从里面方便的找到我要的信息我写的这个宏是把Log文件里每一个步骤的名称、所在Log文件的行号、所花的实 ...
免费学术公开课,扫码加入


我经常遇到的问题是想找出成百上千个DATA步和过程步中花费时间最长的步骤
但SAS输出的Log文件可读性不强,也不能从里面方便的找到我要的信息
我写的这个宏是把Log文件里每一个步骤的名称、所在Log文件的行号、所花的实际时间和CPU时间提取出来,方便分析
Log文件大致是下面这个样子:
NOTE: Deleting WORK.SS_TEMP (memtype=DATA).
NOTE: PROCEDURE DELETE used (Total process time):
real time 0.00 seconds
cpu time 0.01 seconds
NOTE: The data set WORK.SS_TEMP has 1 observations and 1 variables.
NOTE: DATA statement used (Total process time):
real time 0.00 seconds
cpu time 0.00 seconds
NOTE: There were 1 observations read from the data set WORK.SS_TEMP.
NOTE: The data set WORK.SS_TEMP has 1 observations and 2 variables.
NOTE: DATA statement used (Total process time):
real time 0.00 seconds
cpu time 0.00 seconds
NOTE: PROCEDURE SQL used (Total process time):
real time 0.00 seconds
cpu time 0.00 seconds
可以通过把SAS的Log窗口的内容复制到一个文本文件,或是直接利用下面的代码将Log保存到文本文件中
proc printto log='d:\temp\a.log';
run;
具体的宏如下所示:
  1. %macro GetTimeTableForSASLog(InFilePath,TargetTable);

  2. /**********************************************************************/
  3. /* 此宏的作用是读取SAS系统生成的Log文件,并将得到的步骤名称和对应的运 */
  4. /* 行时间保存至结果表格中。其中,InFilePath指定的Log文件,要写全从根 */
  5. /* 目录至最后的文件名称;TargetTable是结果表格。 */
  6. /* */
  7. /* 最终得到的是原始Log文件中包含的步骤名称和对应的运行时间(实际时间 */
  8. /* 和CPU时间),其中N是步骤在原始Log文件中的行号。 */
  9. /* */
  10. /* Created on 2013.12.10 */
  11. /* Modified on 2013.12.11 */
  12. /**********************************************************************/

  13. /* 检查InFilePath的合法性,后缀必须为TXT或LOG */
  14. %if %SYSFUNC(FIND(&InFilePath,%STR(.))) EQ 0 OR (%SYSFUNC(FIND(&InFilePath,%STR(.))) NE 0 AND %UPCASE(%SCAN(&InFilePath,-1,%STR(.))) NE TXT AND %UPCASE(%SCAN(&InFilePath,-1,%STR(.))) NE LOG) %then %do;
  15. %put ERROR: The suffix of InFilePath should be txt or log, please check it again.;
  16. %goto exit;
  17. %end;

  18. /* 检查TargetTable的存在性 */
  19. %if &TargetTable EQ %STR() %then %do;
  20. %put ERROR: The TargetTable should not be blank, please check it again.;
  21. %goto exit;
  22. %end;

  23. /* 开始进行计算 */
  24. /* 第一步:导入LOG文件 */
  25. proc import datafile="&InfilePath" out=&TargetTable replace;
  26. getnames=no;
  27. run;

  28. /* 第二步:处理结果表格 */
  29. data &TargetTable;
  30. set &TargetTable;
  31. N=_N_;
  32. if SUBSTR(UPCASE(VAR1),1,10) EQ 'NOTE: DATA' OR SUBSTR(UPCASE(VAR1),1,15) EQ 'NOTE: PROCEDURE' OR
  33. SUBSTR(UPCASE(VAR1),1,9) EQ 'REAL TIME' OR SUBSTR(UPCASE(VAR1),1,8) EQ 'CPU TIME';
  34. run;

  35. data &TargetTable;
  36. set &TargetTable;
  37. if SUBSTR(UPCASE(VAR1),1,5) EQ 'NOTE:' then do;
  38. Name=SUBSTR(VAR1,7,FIND(UPCASE(VAR1),'USED')-8);
  39. end;
  40. else if SUBSTR(UPCASE(VAR1),1,9) EQ 'REAL TIME' then do;
  41. Real_Time=SUBSTR(VAR1,PRXMATCH('/\d+.\d+/',VAR1));
  42. end;
  43. else if SUBSTR(UPCASE(VAR1),1,9) EQ 'CPU TIME' then do;
  44. CPU_Time=SUBSTR(VAR1,PRXMATCH('/\d+.\d+/',VAR1));
  45. end;
  46. run;

  47. data &TargetTable(keep=Col_N Col_Name Col_Content);
  48. set &TargetTable;
  49. retain Col_N;
  50. length Col_Name $50;
  51. length Col_Content $100;
  52. if Name NE '' then do;
  53. Col_N=N;
  54. Col_Name='Name';
  55. Col_Content=Name;
  56. output;
  57. end;
  58. else if Real_Time NE '' then do;
  59. Col_Name='Real_Time_Temp';
  60. Col_Content=Real_Time;
  61. output;
  62. end;
  63. else if CPU_Time NE '' then do;
  64. Col_Name='CPU_Time_Temp';
  65. Col_Content=CPU_Time;
  66. output;
  67. end;
  68. run;

  69. proc transpose data=&TargetTable out=&TargetTable;
  70. by Col_N;
  71. id Col_Name;
  72. var Col_Content;
  73. run;

  74. /* 第三步:处理结果表格中的时间变量 */
  75. data &TargetTable(keep=N Name Real_Time CPU_Time);
  76. retain N Name Real_Time CPU_Time;
  77. set &TargetTable(rename=(Col_N=N));
  78. format Real_Time TIME10.4;
  79. format CPU_Time TIME10.4;
  80. if FIND(UPCASE(Real_Time_Temp),'SECONDS') NE 0 then Real_Time=HMS(0,0,SCAN(Real_Time_Temp,1,' '));
  81. else if LENGTH(COMPRESS(Real_Time_Temp,'.','d')) EQ 2 then Real_Time=HMS(SCAN(Real_Time_Temp,1,':'),SCAN(Real_Time_Temp,2,':'),SCAN(Real_Time_Temp,3,':'));
  82. else if LENGTH(COMPRESS(Real_Time_Temp,'.','d')) EQ 1 then Real_Time=HMS(0,SCAN(Real_Time_Temp,1,':'),SCAN(Real_Time_Temp,2,':'));

  83. if FIND(UPCASE(CPU_Time_Temp),'SECONDS') NE 0 then CPU_Time=HMS(0,0,SCAN(CPU_Time_Temp,1,' '));
  84. else if LENGTH(COMPRESS(CPU_Time_Temp,'.','d')) EQ 2 then CPU_Time=HMS(SCAN(CPU_Time_Temp,1,':'),SCAN(CPU_Time_Temp,2,':'),SCAN(CPU_Time_Temp,3,':'));
  85. else if LENGTH(COMPRESS(CPU_Time_Temp,'.','d')) EQ 1 then CPU_Time=HMS(0,SCAN(CPU_Time_Temp,1,':'),SCAN(CPU_Time_Temp,2,':'));
  86. run;

  87. %exit:
  88. %mend;
复制代码
另外,我这里的方法属于土法练钢,如果有其他好的办法,欢迎跟贴。
「经管之家」APP:经管人学习、答疑、交友,就上经管之家!
免流量费下载资料----在经管之家app可以下载论坛上的所有资源,并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库,各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里,你可以找到任何学科方向、有共同话题的朋友。
经管之家(原人大经济论坛),跨越高校的围墙,带你走进经管知识的新世界。
扫描下方二维码下载并注册APP
本文关键词:

本文论坛网址:https://bbs.pinggu.org/thread-2779163-1-1.html

人气文章

1.凡人大经济论坛-经管之家转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
联系客服
值班时间:工作日(9:00--18:00)