SAS链接hadoop，数值型变量长度过大，怎么解决？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

用SAS单机版链接hadoop，读任何表都是，数值型变量长度$32767，数字型长度都是8，造成的结果是读个1百万的表5T都没存完（列不多，打开了compress），然而同样的数据量用csv导出再导入到SAS中只有几百m。

在libname创建SAS库后里边是看不到任何表的，个人认为hadoop链接通道并没有将数据库的信息传过来，导致SAS将所有数值型变量长度统一$32767，数字型长度统一8。

这样造成任何步骤都很慢，proc部多数提示内存不足（即使分配了100G的物理内存给软件）

请问这要怎样解决？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Hadoop 数值型 Had compress libname 数据库 单机 软件 通道 信息

Chi4ZB- 发表于 2016-9-2 13:51
用SAS单机版链接hadoop，读任何表都是，数值型变量长度$32767，数字型长度都是8，造成的结果是读个1百万的 ...

字符型？

楼主能不能说下是怎么连的？我用deployment manager进行配置失败了，这个configuration和jar到底怎么配置的？谢谢！

楼主找到解决办法了吗？我也遇到这个问题！

打开compress是一部分，还有两个很重要的option是DBSASTYPE= 和DBMAX_TXT=[n]，这几个组合起来效果很明显。