人大经济论坛 › 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › [求助]批量将文本文件中数据导入SAS数据集

CDA数据分析研究院

商业数据分析与大数据领航教育品牌



经管云课堂

经管/金融/财会/社科/名师公开课



学术培训

Stata 空间计量 SSCI Python

贵宾：通行论坛特权+数据库权限
+案例库+下载特权 VIP：论坛特权+更多下载次数
+ccerdata数据库+更高阅读权限+……

12 下一页

发帖

楼主: MyLoveSas

9875 10

[求助]批量将文本文件中数据导入SAS数据集 [推广有奖]

0关注
1粉丝

本科生

91%

还不是VIP/贵宾

威望: 0 级
论坛币: 18 个
通用积分: 0
学术水平: 0 点
热心指数: 5 点
信用等级: 0 点
经验: 837 点
帖子: 31
精华: 0
在线时间: 201 小时
注册时间: 2009-2-20
最后登录: 2012-7-20

楼主

MyLoveSas 发表于 2009-3-4 17:50:00 |只看作者 |坛友微信交流群|倒序 |AI写论文

相似文件

换一批

是否 +2 论坛币

k人参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

碰到如下问题，求教各位大侠：文本格式的文件，需要导入到SAS数据集中。原始软件存储如下：不同部分用空行隔开，同一部分需要生成一个数据集，一次生成所有的数据集，另外文本文件中每一部分第一行描述的是变量名称，最后一个要求是数值型变量，前面都是字符型变量，每个数据包含的变量个数事先也是不知道的。不知道我说清楚了没。文件格式实例见附件。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏3 回帖

关键词：sas数据集文本文件数据导入数据集字符型变量 SAS 数据集文本文件批量

回复：（xmok77）附件在哪？[em09]

实例文件！

300164.txt (553 Bytes)

使用道具举报

板凳

xing-_-he 发表于 2009-3-6 22:22:00 |只看作者 |坛友微信交流群

回复：[求助]批量将文本文件中数据导入SAS数据集

代码如下：===============================================================================================================%let g_outfile = "E:\OutFile.csv" ; %macro CreateTable;data record( keep = fieldtype startline endline ) field( keep = field1-field6 fieldtype ) ;     %local EndBlock;   %let EndBlock = _%substr(%sysfunc(ranuni(0),9.7),3);  retain startfield startcolumn startline ;   retain readstart 0 ;   retain readfirst 0 ;   retain readfield 0 ;   retain readstat  0 ;   retain startline 0 ;   retain endline   2 ;   retain curline   0 ;   retain fileline  1 ;   infile &g_outfile  _infile_= memfile END = endoffile missover dlm = ',' ;   input (field1-field6) ($) ;   fileline+1 ;   curline+1 ;  if endoffile = 1 then     do ;    endline = curline ;       output record ;    goto &EndBlock ;     end ;  if readstart = 0 then     do ;    readstart = 1 ;    readstat = 1 ;    readfirst = 1 ;    readfield = 0 ;       fieldtype+1 ;    startline = fileline ;    output field ;    goto &EndBlock ;  end ;  len = length( memfile )-1 ;   if len = 0 then     do ;       readfield = 1 ;       readstat = 0 ;    endline = curline-1 ;       output record ;    if readfirst eq 1 then readfirst = 0 ;    startline = fileline ;    startline+1 ;       goto &EndBlock ;     end ;  if readfield = 1 then     do ;       readfield = 0 ;    readstat = 1 ;    fieldtype+1 ;    output field ;    goto &EndBlock ;     end ;  if readstat = 1 then goto &EndBlock ;  &EndBlock.:run ;proc sort data = record ;   by fieldtype ; run ; proc sort data = field ;   by fieldtype ; run ;data mergetable ;   merge field record ;   by fieldtype ; run ;data _null_ ;   set mergetable ;   call symput( "recordcount" , _n_ ) ; run ;%macro appendfield ; %do i = 1 %to &recordcount ;   %global v&i ;   data _null_ ;      set mergetable ;   if _n_ = &i ;   %do j = 1 %to 6 ;     call symput( "v&j" , field&j ) ;   %end ;   put startline = ;   put recordcnt = ;   call symput( "linestart" , startline ) ;   call symput( "lineend"   , endline   ) ;    run ;  data Table&i ;     infile &g_outfile firstobs = &linestart obs = &lineend missover dsd ;  input (&v1 &v2 &v3 &v4 &v5 &v6) ($) ;   run ;  data Table&i.(drop = count);     set Table&i ;  COUNTCNT = int( count ) ;   run ;%end ; %mend appendfield ;%appendfield %mend CreateTable ;%CreateTable ;===============================================================================================================遗留问题：1、整型变量名要求全部相同（上代码中是COUNT），对变量名不同的问题目前还没有想到好的办法。还请各位大侠看是否有好的点子一同分享；2、变量个数最大值要求在一定范围内（这个问题应该不大）； xmok77
 金钱 +100
 奖励 2009-3-7 11:07:41

使用道具举报

报纸

yongyitian 发表于 2009-3-7 09:35:00 |只看作者 |坛友微信交流群

Try the following code to se if you can find the number of blocks (the number of datasets to be created) and the number of variables in each block (dataset). These numbers are saved in macro variables: Num_of_Datasets, NVar_in_Dataset1, NVar_in_Dataset2, ..., and can be used in other macros for input the data. data _NULL_;   infile 'D:\MySAS\RawData.txt';   if _N_ = 1 then Num_block = 1;   retain Num_block Num_var;   input line $80.;   if line = null then Num_block +1;   dataset_name='Dataset'!!trim(left(Num_block));      if line ^= null then Num_var = count(line, ',')+1;   call symput('NVar_in_Dataset'!!trim(left(Num_block)), Num_var);      call symput('Num_of_Datasets', Num_block); run; %put _user_; /* to check the number saved in the macro variables */ xmok77
 金钱 +100
 奖励 2009-3-7 11:08:30

使用道具举报

地板

xmok77 发表于 2009-3-7 11:09:00 |只看作者 |坛友微信交流群

受益匪浅

以出世的精神做入世的事情

使用道具举报

7楼

wangwangwang110 发表于 2009-3-7 17:58:00 |只看作者 |坛友微信交流群

给你参考一下我最近导入数据源文件为002001.csv-002274.csv的代码，希望对你有帮助！/*导入文本文件*/ %macro readraw(first=2001,last=2274);    %local num;    %do num=&first %to &last;       proc import out=exer.sz00&num         datafile="c:\0\exercise\00&num.csv"         dbms=csv replace;         getnames=yes;       run;    %end; %mend readraw; %readraw(first=2001,last=2274); run;   /*重命名变量名*/ %macro rena(first=2001,last=2274);    %local num;    %do num=&first %to &last;       data exer.alsz00&num;         set exer.sz00&num(rename=(Var1=symbol Var2=name Var3=tdate Var4=lprice));       run;    %end; %mend rena; %rena(first=2001,last=2274);  /*串联各数据集*/ %macro comb(first=2001,last=2274);    %local num;    %do num=&first %to &last;       data exer.combine&num;         set  exer.alsz00&num exer.combine%eval(&num-1);       run;    %end; %mend comb; %comb(first=2001,last=2274);

使用道具举报

8楼

MyLoveSas 发表于 2009-3-7 22:21:00 |只看作者 |坛友微信交流群

5楼的code基本能解决我的问题，谢谢各位的帮助。测试过程中发现使用infile语句操作的一个问题，通过几个简单程序说明如下：示例代码1：data temp1 ;infile cards dlm = ',' ;/***************************************************************************************************************************************************************first和second的采用默认的8位字符长度，因此取值超过8位的被截取，不能得到想要的结果.注：分隔符在生成变量观测是起到了一定的作用。**************************************************************************************************************************************************************/input first $ second $ ;cards ;12345678,1234567890123456789,1234567890;run ; 示例代码2：data temp2;infile cards dlm = ',' ;/********************************************************************************************************************************************first和second变量设置为其所有可能取值中的最长取值的长度，生成的观测存在问题，感觉分隔符“,”被忽略了；*******************************************************************************************************************************************/input first $9.  second $10.  ;cards ;12345678,1234567890123456789,1234567890;run ;示例代码3：data temp3;infile cards dlm = ',' ;/************************************************************************************************************************************************************显示设置first和second变量的长度且均设置为系统默认的长度8，变量所有的可能取值长度都是8，此时生成的观测仍然存在问题************************************************************************************************************************************************************/input first $8.  second $8.  ;cards ;12345678,1234567812345678,12345678;run ;示例代码4：data temp4;infile cards ;/************************************************************************************************************************************************************显示设置first和second变量的长度且均设置为系统默认的长度8，变量所有的可能取值长度都是8，且去掉dlm选项设置，此时生成的观测仍然存在问题************************************************************************************************************************************************************/input first $8.  second $8.  ;cards ;12345678,1234567812345678,12345678;run ;从以上示例来看，如果显示设置了变量的长度，则sas系统忽略分隔符，但是以上的四种方式也不能得到预期的结果。那位大侠能介绍下infile语句的使用细则吗？或者是否能够提供相关说明的详细资料？谢谢了先！！！

使用道具举报

9楼

sqlai 发表于 2009-3-8 03:36:00 |只看作者 |坛友微信交流群

你所发现的问题是因为：示例中 input设定的变量类型全部都设定为字符型了（全部都加了美元符号 $）！！<img alt="" src="Skins/Default/emot/em03.gif" style="margin: 6px; cursor: pointer;"/> 如果要导入的是数值型变量，sas可以自动识别位数，不需要设定长度，input first second; 要是设定长度，反而无法读入长度不同数值。 示例2 input first $9. second $10. ; 是按照字符读入数据，并且你也给定了长度，逗号分隔符也将被当作字符一起读入到变量中。 示例3，4 input first $8. second $8. ; 同样的毛病，逗号分隔符位于第二个变量开始读入的起点位置，被当作字符读入变量second中了. 对于定长的字符串数据 aaa bbb aaa bbb 使用下面的都可以 input a$ b$; *sas按照默认的分隔符，或者指定的分隔符自动判断长度; input a$1-3 b$5-7; *给出绝对位置的引用，表示1~3个字符是第一个变量，中间的空格或者分隔符也要占位，因此第二个变量是从第5个字符开始; input a$3. +1 b$3.;*给出字符变量长度，有sas自动根据分隔符发现第一个字符后取3个作为第一个变量，+1 表示让sas向右移动一个字符之后再开始扫描第二个变量; input first $1-3 +1 second $3.; *这个是上面两种字符定位方式的混用，先绝对定位，然后强制移动1位，然后自动搜索定长的字符变量;

change is easy, improvement is difficult

使用道具举报

10楼

MyLoveSas 发表于 2009-3-8 09:00:00 |只看作者 |坛友微信交流群

在input语句前面用length语句来设置变量的长度（设定为大于或等于其所有可能取值中的最大长度），可以成功读入非定常的带有分隔符的字符数据。如将示例代码2改为：data temp2;infile cards dlm = ',' ;length first $9.  second $10.  ;input first $  second $ ;cards ;12345678,1234567890123456789,1234567890;run ；SAS内部的执行行为还是蛮难捉摸的。 xmok77
 金钱 +100
 奖励 2009-3-8 9:13:55

使用道具举报