楼主: davil2000
42281 148

[原创博文] 大数据时代BI王者之剑——SAS企业挖掘系统   [分享]

院士

99%

还不是VIP/贵宾

-

TA的文库  其他...

☆大数据时代文库☆

威望
4
论坛币
29958 个
通用积分
5.0089
学术水平
1172 点
热心指数
1121 点
信用等级
1143 点
经验
94032 点
帖子
2752
精华
19
在线时间
2960 小时
注册时间
2004-10-31
最后登录
2019-10-22

davil2000 发表于 2012-12-9 20:14:40 |显示全部楼层
    数据已渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来------麦肯锡咨询

   
大数据的爆炸式增长在大容量、多样性和高增速方面,全面考验着现代企业的数据处理和分析能力;同时,也为企业带来了获取更丰富、更深入和更准确地洞察市场行为的大量机会。对企业而言,能够从大数据中获得全新价值的消息是令人振奋的。然而,如何从大数据中发掘出“真金白银”则是一个现实的挑战。这就要求采用一套全新的、对企业决策具有深远影响的解决方案。

    SAS企业挖掘系统(SAS/Enterprise Miner)广泛应用于解决欺诈侦测、雇员流动、客户获取与维持、网络销售、市场细分、风险分析、亲和性分析、客户满意度、破产预测和投资组合分析等多样化问题。根据大数据时代的企业挖掘的特征,SAS INSTITUTE提出了数据挖掘的SEMMA方法论——在SAS/EM环境中,数据挖掘过程被划分为Sample、Explore、Modify、Model、Assess这五个阶段,简记为SEMMA:
1.Sample 抽取一些代表性的样本数据集(通常为训练集、验证集和测试集)。样本容量的选择标准为:包含足够的重要信息,同时也要便于分析操作。该步骤涉及的处理工具为:数据导入、合并、粘贴、过滤以及统计抽样方法。
2.Explore 通过考察关联性、趋势性以及异常值的方式来探索数据,增进对于数据的认识。该步骤涉及的工具为:统计报告、视图探索、变量选择以及变量聚类等方法。
3.Modify 以模型选择为目标,通过创建、选择以及转换变量的方式来修改数据集。该步骤涉及工具为:变量转换、缺失处理、重新编码以及数据分箱等。
4.Model 为了获得可靠的预测结果,我们需要借助于分析工具来训练统计模型或者机器学习模型。该步骤涉及技术为:线性及逻辑回归、决策树、神经网络、偏最小二乘法、LARS及LASSO、K近邻法以及其他用户(包括非SAS用户)的模型算法。
5.Assess 评估数据挖掘结果的有效性和可靠性。涉及技术为:比较模型及计算新的拟合统计量、临界分析、决策支持、报告生成、评分代码管理等。数据挖掘者可能不会使用全部SEMMA分析步骤。然而,在获得满意结果之前,可能需要多次重复其中部分或者全部步骤。

    在完成SEMMA步骤后,可将从优选模型中获取的评分公式应用于(可能不含目标变量的)新数据。将优选公式应用于新数据,这是大多数数据挖掘问题的目标。此外,先进的可视化工具使得用户能在多维直方图中快速、轻松地查阅大量数据并以图形化方式比较模拟结果。SAS/EM包括了一些非同寻常的工具,比如:能用来产生数据挖掘流程图的完整评分代码(SAS、C以及Java代码)的工具,以及交换式进行新数据评分计算和考察执行结果的工具。

    如果您将优选模型注册进入SAS元数据服务器,便可以让SAS/EG和SAS/DI Studio的用户分享您的模型,从而将优选模型的评分代码整合进入工作报告和生产流程之中。SAS模型管理系统,通过提供了开发、测试和生产系列环境的项目管理结构,进一步补充了数据挖掘过程,实现了与SAS/EM的无缝联接。

    在SAS/EM环境中,您可以从SEMMA工具栏上拖放节点进入工作区的工艺流程图中,这种流程图驱动着整个数据挖掘过程。SAS/EM的图形用户界面(GUI)是按照这样的思路来设计的:一方面,掌握少量统计知识的商务分析者可以浏览数据挖掘过程的技术方法;另一方面,具备数量分析技术的专家可以微调方式深入探索每一个分析节点。
Ass.png

    SAS/EM使得评分过程实现了自动化,并提供模型开发所有阶段的完整代码(SAS、C、Java和PMML)。评分代码可以部署在在SAS系统、互联网或者关系数据库等实时或批处理环境中。
      SAS/EM视频链接:   http://www.tudou.com/programs/view/NHisFCskxAE/
                                http://v.youku.com/v_show/id_XNDg2MTA1Mjg4.html

    大数据时代的企业需要基于海量数据进行探索和分析,以发现有意义的商务行为模式和规则。在商务智能领域,SAS Institute的产品凭其卓越性能足以傲视群雄,企业挖掘系统则如同具有精灵魔力的王者之剑,令尊贵的企业用户爱不释手。SAS/EM具备了一系列适于大数据挖掘的显著特征:(1)内涵丰富的SEMMA工具箱、(2)基于元数据理念的精确建模技术、(3)友好的、流程图式的数据挖掘模式、(4)独具特色的数据处理、存储、分析、呈现及共享方式。这些特征均使得商务挖掘过程能够以简练、流畅而高效的方式顺利进行。
   

关键词:大数据时代 大数据 Enterprise Institute programs SAS 企业 挖掘 大数据 数据挖掘

回帖推荐

remeva 发表于70楼  查看完整内容

软件这东西,哪有啥高端不高端,只是用用户的使用习惯不一样。觉得很多数据处理也不需要SAS,其他软件也可以胜任,比如R

complicated 发表于47楼  查看完整内容

顶LZ,全面系统的介绍了SEMMA方法论和SAS/EM。也分享一下跟SPSS MODELER的比较: 我觉得,在用户友好方面,SPSS始终领先一步;可是真要干活的话,还是要用SAS。 比如前阵子做关联规则挖掘,上千万条的时候,MODELER根本不行了,跑一晚上然后给我报错。被逼无奈改用SAS,虽然也得几个小时,但是真出货呀。关联规则挖掘这类项目,你不太可能先做sampling,这不是统计分析,这数据挖掘,就是要遍历全部数据才能找到规律的。 最后一 ...

ziyenano 发表于30楼  查看完整内容

EM没用过,不过我觉着,其中算法的核心大多是proc的一些东西吧。 公司一直用的正版IBM SPSS Modeler(前身就是SPSS clementine), 不得不说其简洁性的操作,对SAS产生了极大的冲击; 里面的提供的算法也不少,但用了这么久,对其中一些算法的效率存在很大的质疑, 前阵子,对一个一百多万的数据,进行了logistic回归,苦等了8个多小时,却一直没结果; 无奈之下,停了模型,换成SAS操作,也就15分钟的事情; 再者SVM,帮助说明 ...

webgu 发表于25楼  查看完整内容

比较麻烦的是带EM模块的SAS 对大部分人来说,较难获得。刚接触SAS时,始于统计的PROC,后来到BASE,macro,sql. 对于EM,感觉离我还是比较远。随着big data 噱头的兴起, 以后可能会有越来越多的人关注吧。

数据分析师3K 发表于8楼  查看完整内容

SAS/EM功能异常强大 普通的商务分析人员能用菜单点击方式加以运用 有编程技术的还可通过设计新节点来挖掘该产品的潜能

Crsky7 发表于18楼  查看完整内容

彻底进入大数据时代,灰色系统模型已经被淘汰。
已有 12 人评分经验 论坛币 学术水平 热心指数 信用等级 收起 理由
李会超 + 40 精彩帖子
詹姆斯 + 1 精彩帖子
ljflyz + 1 + 1 + 1 时尚
liujianfang + 100 好的意见建议
xsfh3000 + 1 + 1 + 1 精彩帖子
有福有德 + 100 + 100 + 5 + 5 好资料
拥抱大海的鱼 + 1 + 1 + 1 奖励积极上传好的资料
瀚海星云 + 1 + 1 + 1 感谢分享
大数据之魂 + 100 + 5 + 5 + 5 精彩帖子
资料狂人 + 3 对论坛有贡献

总评分: 经验 + 440  论坛币 + 200  学术水平 + 28  热心指数 + 24  信用等级 + 29   查看全部评分

本帖被以下文库推荐

R是万能的,SAS是不可战胜的!
stata SPSS
数据分析师3K 发表于 2012-12-10 10:07:22 |显示全部楼层
SAS/EM功能异常强大
普通的商务分析人员能用菜单点击方式加以运用
有编程技术的还可通过设计新节点来挖掘该产品的潜能
回复

使用道具 举报

yangz98 发表于 2012-12-10 10:15:15 |显示全部楼层
davil老师,能不能解决一下连接里面的问题,谢谢!!!
https://bbs.pinggu.org/forum.php? ... amp;from^^uid=3066508
回复

使用道具 举报

大数据之魂 发表于 2012-12-10 10:26:53 |显示全部楼层
关于技术的帖子远不及娱乐的受关注
论坛需要一批专业坛友增强学习氛围
回复

使用道具 举报

拥抱大海的鱼 发表于 2012-12-10 10:29:04 |显示全部楼层
虽然看不懂,但也支持!希望发扬光大
回复

使用道具 举报

hdzwjing 发表于 2012-12-10 10:59:45 |显示全部楼层
有机会学习下
经济引导生活
回复

使用道具 举报

hengchao919 发表于 2012-12-10 11:00:12 |显示全部楼层
SAS, 确实好,就是搞不到破解版的
回复

使用道具 举报

wwwdz63 发表于 2012-12-10 11:01:25 |显示全部楼层
sas是不错,可是软件太贵了
回复

使用道具 举报

Toyotomi 在职认证  发表于 2012-12-10 12:50:09 |显示全部楼层
這個軟件,我之前曾經在我現在學校的圖書館中看過它的介紹,有別於其它版本的SAS。我也覺得,謝謝您﹗
I am looking for a talent scout who may appreciate me...

>>>>>>>生产和运营管理<<<<<<<
回复

使用道具 举报

天堂之路 发表于 2012-12-10 13:15:24 |显示全部楼层
可以学习一下哈
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 我要注册

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2019-10-24 03:15