A Glance at SAS HPA
发布：Jackywolf_2008 | 分类：SAS软件培训
关于本站
人大经济论坛-经管之家：分享大学、考研、论文、会计、留学、数据、经济学、金融学、管理学、统计学、博弈论、统计年鉴、行业分析包括等相关资源。
经管之家是国内活跃的在线教育咨询平台!
获取电子版《CDA一级教材》
完整电子版已上线CDA网校，累计已有10万+在读~ 教材严格按考试大纲编写，适合CDA考生备考，也适合业务及数据分析岗位的从业者提升自我。
TOP热门关键词
HighPerformanceAnalytic是SAS近年来最重视的一个方面，因而也推出了自己的一系列产品和平台(SASHPA),准确的说它不是一个产品，而是应该叫做suit,里面涵盖了软件和硬件，并蕴含了一套完整的高性能计算的方法论。这里 ...
免费学术公开课,扫码加入 |
软件：
SAS 之前的版本就已经实现了统计和数据挖掘中的很多经典算法，而SAS HPA中不同的是如何将这些算法准确，高效，完整的移植到High performance的平台上来，
说白了就是如何在并行计算下实现这些算法。
像回归，决策树，神经网络等这些算法已经移植到这个平台上了，但还有很多没有实现，以后会逐步迁移过来。
如果把High Performance Analytic单纯的认为是这些算法的优化和提升，就未免太不拿豆包当干粮了，除了这些算法的优化外，数据分析前的数据准备(ETL)也需要进行优化和改造,
同时数据分析结果的呈现也要实现High Performance. 最后还有一点很重要，就是人的思维也要High Performance，HPA带来了一场软硬件的变革，更需要一场思维的变革。
并不是说有了High Performance,就可以不用抽样了，就要换模型，永远记住，所有技术变革都仅仅是一个工具，人，才是这场变革的主角。
回到正题，那SAS如何实现并行计算呢，采用了三种方式，
- In-Database：就像这个名称所暗示的那样，SAS好比一个插头，插在Teradata这样高性能的database上，并利用其多节点多线程的优势，将数据分散到各个节点，然后上面进行计算。SAS的程序如何在数据库中运行的呢？其实就是以UDF(User Defined Function)的机制进行运算的，类似使用sql server是，用户可以通过C#之类的语言写一个自定义函数的dll，并注册到数据库中，这样就可以像使用系统函数一样使用它了。SAS就是将SAS的Language转换成C语言包，并注册到数据库中供用户使用。但这里有两个很明显的缺点：
- UDF存在于用户的数据库中，大数据的计算下，会占有数据库的资源，从而影响数据库日常的管理维护。
- SAS Language到C程序包的转换依赖于各种数据库的底层接口，不同的数据库各不相同，而且同一数据库也存在版本之间的差异，这些都将SAS置于一个十分被动的地位，即使再好的合作伙伴也难免有翻脸的时候，虽然说没有永远的敌人，只有永远的利益，你还是有变成敌人的危险的。
- Alongside Database：这一方式正是为了克服上面所说的缺点，它和In-Database的主要区别就是不再进行SAS Language和C程序之间的转换了，而是开发了SAS的第二代语言SAS DS2。SAS将自己的内核安装部署在Dababase上的各个节点上，DS2就是运行在这些内核上的，而不是以UDF的方式插入Database中，这就是名称中alongside的含义，SAS内核和DataBase是相互协作，但彼此又不依赖。（过不下去就离!)这一招有点像当年微软借力IBM起家一样，之前是白给，后来就反客为主了。
- In-Memory：这个主要是针对数据展现的，一般进行展现的数据都不会太大，所以将这一部分固化到内存中就可以极大的提高查询的速度。SAS中有一个VA(visual analytic)的产品就主要使用了这种技术，可以快速的返回查询结果并生成各种图表，千万级的数据只需要1秒，甚至更少的时间。当然，这要求服务器的内存比较大，但在国外几十G到100多G的内存的机器还是很常见的，而且价格也比较便宜。
以上就是SAS在软件上的一些动作，而硬件上主要还是通过与第三方的数据库厂家进行合作，像Teradata和GreenPlum，这些在高性能数据库领域比较有优势的公司合作，利用他们数据库分布式计算的特点，再结合SAS在分析上的优势，从而实现"高级分析+分布式计算"的强强联合。
「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP
您可能感兴趣的文章
人气文章
本文标题：A Glance at SAS HPA
本文链接网址：https://bbs.pinggu.org/jg/ruanjianpeixun_sasruanjianpeixun_2180171_1.html
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性，不作出任何保证或承若；
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
