大型数据库 如何解决数据分析时间过长的问题

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

刚刚涉足金融行业的数据分析，发现这个行业的数据量太大，跑一个频数就要半个小时，大家有没有好的办法来解决这个问题。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：大型数据库 数据分析 大型数据 数据库 金融行业 大型数据库 如何 数据分析专题 数据处理 数据分析软件 数据分析报告 面板数据分析 excel数据分析 数据分析方法 项目数据分析

高频数据分析已经成为重要的研究领域了
仅发帖讨论显然不是理想的解决办法

用sql，走执行计划，把结果返回给sas，即可以

edwardhuanghz 发表于 2012-10-18 16:44
用sql，走执行计划，把结果返回给sas，即可以

能举个例子具体说一下吗？

用sas自己的话说，三点，网格技术，内存运算，库内分析。对于一般的机器而言，大数据最长的是io时间，所以有两个方法，一是上raid，二是加大内存，比如我现在用32g的内存，可以用软件将内存划出20g模拟硬盘，然后把work逻辑库都放到内存中，这样运行起来就能极大突破io瓶颈了。

用sas自己的话说，三点，网格技术，内存运算，库内分析。对于一般的机器而言，大数据最长的是io时间，所以有两个方法，一是上raid，二是加大内存，比如我现在用32g的内存，可以用软件将内存划出20g模拟硬盘，然后把work逻辑库都放到内存中，这样运行起来就能极大突破io瓶颈了。

iRoss2007 发表于 2012-10-18 23:46
用sas自己的话说，三点，网格技术，内存运算，库内分析。对于一般的机器而言，大数据最长的是io时间，所以有 ...

以上这些貌似我都没办法实现，因为都是要花钱呢。能不能在编程方法和操作过程中节省一些时间呢？

那个，可以搜索一下SGUI上的文章，里面很多讲优化程序的方法，不过通过程序优化是有限度的，比如你要用proc means求个频数，这里面本身就不存在什么程序优化的空间了，要提高只能从硬件想办法。你可以看note中的实际时间与cpu时间，两者差值基本就是io时间了，如果这个时间很大的话....还是上raid过加内存吧

iRoss2007 发表于 2012-10-19 10:01
那个，可以搜索一下SGUI上的文章，里面很多讲优化程序的方法，不过通过程序优化是有限度的，比如你要用proc ...

好的，多谢了！