检查数据集中行列缺失值个数

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1 检查数据集中每条观测数值变量有多少个变量是缺失的。

data a(keep=k);

set a ;

array x _numeric_ ;

do i=1 to dim(x);

if x(i)=. then j+1;

end;

k=j-lag(j);

if j=0 and k=. then k=0;

label k="每条观测的缺失个数";

run;

2  检查数据中每个变量的缺失个数。

proc means data=a nmiss noprint;

var var1-varn;

output out=miss(drop=_type_ _freq_) nmiss=;

run;

以上在学习上的一点总结，还在点点滴滴的积累，程序较笨拙。欢迎各位高手指点!

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏7 回帖

关键词：查数据 数据集 缺失值 numeric output 检查

你可以考虑完善下有字符变量的情况。

webgu 发表于 2013-1-22 17:37
你可以考虑完善下有字符变量的情况。

针对lz的第2个问题，包含数值型和字符型变量，我写了下面这个宏，供参考

1. %macro GetMissNum(SourceTable,TargetTable,InputVar);
   
2. /**********************************************************************/
   
3. /* 此宏的作用是统计原表中不同变量的缺失值数量。其中SourceTable是原始  */
   
4. /* 表格，SourceTable是结果表格；TargetTable是结果表格；InputVar是原始 */
   
5. /* 表格中的变量，可设多个变量，用空格分隔，也可如下设置：=Numeric表示 */
   
6. /* 统计全部数值型变量，=Character表示统计全部字符型变量，=All表示统计 */
   
7. /* 全部变量。                                                         */
   
8. /*                                                                    */
   
9. /* 最终结果表格中包含所有指定变量的名称、类型和相应的缺失值数量。     */
   
10. /*                                                                    */
    
11. /*                                      Created on 2012.9.6           */
    
12. /*                                      Modified on 2012.10.16        */
    
13. /**********************************************************************/
    
14. 
    
15. /* 检查TargetTable的存在性 */
    
16. %if &TargetTable EQ %STR() %then %do;
    
17.         %put ERROR: The TargetTable should not be blank, please check it again.;
    
18.         %goto exit;
    
19. %end;
    
20. 
    
21. /* 检查InputVar的合法性 */
    
22. %if %UPCASE(&InputVar) NE NUMERIC AND %UPCASE(&InputVar) NE CHARACTER AND %UPCASE(&InputVar) NE ALL %then %do;
    
23.         %ChkVar(SourceTable=&SourceTable,InputVar=&InputVar,FlagVarExists=GMN_FlagVarExists);
    
24. 
    
25.         %if %SYSFUNC(FIND(&GMN_FlagVarExists,0)) NE 0 %then %do;
    
26.                 %put ERROR: The InputVar should be Numeric, Character, All or any variable name in SourceTable, case insensitive and without quotes.;
    
27.                 %goto exit;
    
28.         %end;
    
29. %end;
    
30. 
    
31. %if %UPCASE(&InputVar) EQ NUMERIC %then %do;
    
32.         proc means data=&SourceTable noprint;                /* proc means仅针对数值型变量 */
    
33.                   output out=GMN_MissNumeric nmiss=;
    
34.         run;
    
35. 
    
36.         proc transpose data=GMN_MissNumeric out=&TargetTable name=VarName;
    
37.                 var _ALL_;
    
38.         run;
    
39. 
    
40.         data &TargetTable(rename=(COL1=MissNum));
    
41.                 set &TargetTable;
    
42.                 VarType='N';
    
43.                 if _N_>2;
    
44.         run;
    
45. %end;
    
46. %else %if %UPCASE(&InputVar) EQ CHARACTER %then %do;
    
47.         proc contents data=&SourceTable position out=GMN_VarList(keep=name type varnum) noprint;
    
48.         run;
    
49. 
    
50.         /* 检查字符型变量是否存在 */
    
51.         %ChkValue(SourceTable=GMN_VarList,
    
52.                 InputVar=type,
    
53.                 Value=2,
    
54.                 FlagValueExists=GMN_FlagCharVarExists);
    
55. 
    
56.         %if &GMN_FlagCharVarExists GT 0 %then %do;
    
57.                 proc sql noprint;
    
58.                         select compress(name)||'_0' into :GMN_VarNameChar separated by ' '
    
59.                                 from GMN_VarList where type=2 order by varnum;
    
60.                 quit;
    
61. 
    
62.                 data GMN_VarListChar(drop=_CHARACTER_ i);
    
63.                         set &SourceTable(keep=_CHARACTER_);
    
64.                         array mychar(*) $ _CHARACTER_;
    
65.                         array mynum(*) &GMN_VarNameChar;
    
66.                         do i=1 to dim(mychar);
    
67.                             if  mychar(i) ="" then mynum{i}=.;
    
68.                                 else mynum(i)=1;
    
69.                         end;
    
70.                 run;
    
71. 
    
72.                 proc means data=GMN_VarListChar noprint;
    
73.                           output out=GMN_MissChar nmiss=;
    
74.                 run;
    
75. 
    
76.                 proc transpose data=GMN_MissChar out=&TargetTable name=VarName;
    
77.                         var _ALL_;
    
78.                 run;
    
79. 
    
80.                 data &TargetTable(rename=(COL1=MissNum));
    
81.                         set &TargetTable;
    
82.                         VarType='C';
    
83.                         if SUBSTR(VarName,LENGTH(VarName)-1,2) EQ '_0' then VarName=SUBSTR(VarName,1,LENGTH(VarName)-2);
    
84.                         if _N_>2;
    
85.                 run;
    
86.         %end;
    
87.         %else %do;
    
88.                 %put ERROR: There is no character variable existed in SourceTable, please check it again.;
    
89.                 %goto exit;
    
90.         %end;
    
91. %end;
    
92. %else %do;
    
93.         proc means data=&SourceTable noprint;                /* proc means仅针对数值型变量 */
    
94.                   output out=GMN_MissNumeric nmiss=;
    
95.         run;
    
96. 
    
97.         proc transpose data=GMN_MissNumeric out=GMN_MissNumeric name=VarName;
    
98.                 var _ALL_;
    
99.         run;
    
100. 
     
101.         data GMN_MissNumeric;
     
102.                 set GMN_MissNumeric;
     
103.                 VarType='N';
     
104.         run;
     
105. 
     
106.         proc contents data=&SourceTable position out=GMN_VarList(keep=name type varnum) noprint;
     
107.         run;
     
108. 
     
109.         /* 检查字符型变量是否存在 */
     
110.         %ChkValue(SourceTable=GMN_VarList,
     
111.                 InputVar=type,
     
112.                 Value=2,
     
113.                 FlagValueExists=GMN_FlagCharVarExists);
     
114. 
     
115.         %if &GMN_FlagCharVarExists GT 0 %then %do;
     
116.                 proc sql noprint;
     
117.                         select compress(name)||'_0' into :GMN_VarNameChar separated by ' '
     
118.                                 from GMN_VarList where type=2 order by varnum;
     
119.                 quit;
     
120. 
     
121.                 data GMN_VarListChar(drop=_CHARACTER_ i);
     
122.                         set &SourceTable(keep=_CHARACTER_);
     
123.                         array mychar(*) $ _CHARACTER_;
     
124.                         array mynum(*) &GMN_VarNameChar;
     
125.                         do i=1 to dim(mychar);
     
126.                             if  mychar(i) ="" then mynum{i}=.;
     
127.                                 else mynum(i)=1;
     
128.                         end;
     
129.                 run;
     
130. 
     
131.                 proc means data=GMN_VarListChar noprint;
     
132.                           output out=GMN_MissChar nmiss=;
     
133.                 run;
     
134. 
     
135.                 proc transpose data=GMN_MissChar out=GMN_MissChar name=VarName;
     
136.                         var _ALL_;
     
137.                 run;
     
138. 
     
139.                 data GMN_MissChar;
     
140.                         set GMN_MissChar;
     
141.                         VarType='C';
     
142.                         if SUBSTR(VarName,LENGTH(VarName)-1,2) EQ '_0' then VarName=SUBSTR(VarName,1,LENGTH(VarName)-2);
     
143.                 run;
     
144. 
     
145.                 data GMN_MissNum;
     
146.                         length VarName $32;
     
147.                         set GMN_MissNumeric GMN_MissChar;
     
148.                 run;
     
149.         %end;
     
150.         %else %do;
     
151.                 data GMN_MissNum;
     
152.                         set GMN_MissNumeric;
     
153.                 run;
     
154.         %end;
     
155. 
     
156.         proc sql noprint;
     
157.                 create table &TargetTable as
     
158.                         select GMN_VarList.Name as VarName,GMN_MissNum.COL1 as MissNum,GMN_MissNum.VarType
     
159.                                 from GMN_VarList left join GMN_MissNum
     
160.                                 on GMN_VarList.Name EQ GMN_MissNum.VarName
     
161.                                 order by GMN_VarList.VarNum;
     
162.         quit;
     
163. 
     
164.         /* 若InputVar=All，则就此完结，否则还需要进行如下的步骤 */
     
165.         %if %UPCASE(&InputVar) NE ALL %then %do;
     
166.                 %let InputVar_Comma=%PrxChange(InputString=&InputVar,PrxString=s/(\w+)/'$1'/);                /* 给InputVar中的代码加引号 */
     
167.                 %let InputVar_Comma=%SYSFUNC(TRANSLATE(&InputVar_Comma,%STR(,),%STR( )));                /* 替换InputVar中的空格为逗号 */
     
168. 
     
169.                 proc sql noprint;
     
170.                         create table &TargetTable as
     
171.                                 select GMN_VarList.Name as VarName,GMN_MissNum.COL1 as MissNum,GMN_MissNum.VarType
     
172.                                         from GMN_VarList inner join GMN_MissNum
     
173.                                         on GMN_VarList.Name=GMN_MissNum.VarName and
     
174.                                                 GMN_VarList.Name in (&InputVar_Comma)
     
175.                                         order by GMN_VarList.VarNum;
     
176.                 quit;
     
177.         %end;
     
178. %end;
     
179. 
     
180. /* 删除不必要的表格 */
     
181. proc datasets lib=work nolist;
     
182.         delete GMN_:;
     
183. quit;
     
184. 
     
185. %exit:
     
186. %mend;
     
187. 
     
188. 
     
189. %macro Demo();
     
190. 
     
191. %let SourceTable=GLOLD_TradeDate;
     
192. %let TargetTable=AAA;
     
193. %let InputVar=CHARACTER;                /* =Numeric表示统计全部数值型变量，=Character表示统计全部字符型变量，=All表示统计全部变量，大小写不敏感 */
     
194. %GetMissNum(&SourceTable,&TargetTable,&InputVar);
     
195. 
     
196. %mend;

复制代码

楼主你好，我有一个疑问，若数据集的第一条观测值有缺失值，那么最后得到的第一条观测值的缺失值的个数显示为缺失，这是个什么情况？代码如下：

data a;
input V1-V5@@;
datalines;
1 . 4 2 6
3 . . . .
1 2 . 2 4
;
run;

data b(keep=k);
set a ;
array x _numeric_ ;
do i=1 to dim(x);
if x(i)=. then j+1;
end;
k=j-lag(j);
if j=0  and k=. then k=0;
label k="每条观测的缺失个数";
run;

☆Justforyou 发表于 2014-4-1 20:33
楼主你好，我有一个疑问，若数据集的第一条观测值有缺失值，那么最后得到的第一条观测值的缺失值的个数显示 ...

楼主的代码忽略了这个问题，加一句语句就可以解决了。

1. data b(keep=k);
   
2. set a ;
   
3. array x _numeric_ ;
   
4. do i=1 to dim(x);
   
5. if x(i)=. then j+1;
   
6. end;
   
7. k=j-lag(j);/*因为第一个观测上面没有观测，故第一个观测的k一定为缺失*/
   
8. if j=0  and k=. then k=0;
   
9. if j^=. and k=. then k=j;/*这句就是定义当j不等于缺失但k为缺失时（即第一个观测这种情况），k=j，第一行的j就是其实际缺失个数*/
   
10. label k="每条观测的缺失个数";
    
11. run;

复制代码

我自己照着楼组的代码改编了下，也是用的array和do循环为每个观测遍历缺失值，最后加和，这样做应该也行？就是不知道有没有我没考虑到的bug，因为似乎过于简单了，或者是因为十年过去了，SAS更新了吗？

1. data see1;
   
2. set see;
   
3. m=0;
   
4. array x _numeric_ ;/* array是相同类型变量的集合 */
   
5. do i=1 to dim(x);/* dim(x)表示数组x中有几个维度(变量) */
   
6. if x(i)=. then m=m+1;
   
7. end;
   
8. run;

复制代码

可以考虑使用cmiss(of _all_); 注意此时_all_包括将cmiss返回值赋值给的那个新变量