楼主: Smartbi
609 0

[数据] 借助Smartbi智分析云端平台,秒处理百万行数据 [推广有奖]

  • 0关注
  • 0粉丝

博士生

76%

还不是VIP/贵宾

-

威望
0
论坛币
10 个
通用积分
0.0327
学术水平
0 点
热心指数
0 点
信用等级
0 点
经验
2606 点
帖子
126
精华
0
在线时间
220 小时
注册时间
2020-12-3
最后登录
2022-2-14

楼主
Smartbi 企业认证  发表于 2021-3-15 17:03:02 |只看作者 |坛友微信交流群|倒序 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币

EXCEL处理大数据的能力一向是饱受诟病,就拿几十万行的数据来说吧,如果要在EXCEL里打开这么大的文件,少说都要几分钟,万一中间出现了卡死,又要重新来一遍,会把人折磨的不要不要的。所以为了可以处理更大的数据量,多数人会舍弃EXCEL而转投到数据库的阵营里,但是要懂得数据库也并非是一件易事,首先各种数据库的名字已经足够让人迷糊了,什么oracle、mysql、obase这些,加上还要懂得数据存储,还要会写sql语句,这些头疼的事情不禁会让没有数据库基础的人抓狂:天哪,放过我吧!我们只是会用EXCEL而已,这些技术名词也太深奥了,能不能有些更加简单的方法啊?



其实要解决EXCEL处理大容量数据困难的问题,不一定要借助Access、SQL Server、MYSQL等大型数据库,我们可以利用云端服务器对大容量的数据进行相应的处理,再把得出的结果提取到EXCEL里进行分析,以Smartbi智分析云平台为例,把超过百万行的数据量导进到云服务平台里,并与EXCEL进行相连,在云端对数据进行透视后,再把分析结果呈现到EXCEL里进行图表制作,整个过程也就几十秒的时间,就轻松把百万行的数据给攻破了,这是由于云端平台有着高速处理数据的能力,所以信息处理都是利用大型网络服务器进行加工和存储的,这些强大的处理能力是EXCEL无法比拟的。下面我们通过这个思路教大家认识一下EXCEL是如何通过云服务平台对百万行级的数据量进行分析处理。



第一步:安装插件

首先要下载一个Smartbi智分析的excel插件,安装在EXCEL里,过程非常简单,安装完成之后,EXCEL的界面里会出现一个新的工具栏。



第二步:导入数据

登录Smartbi云端平台后,可以看到导航栏里会有数据连接的选项,点击进去后会看到EXCEL和CSV文件的导入路径,这里我尝试用一份EXCEL表格导进去看下速度有多快,于是我找了一份约130兆容量和数据量接近100万行的某汽车公司销售数据进行测试,选择好存放的路径后便开始进行导数,过程非常顺利,不到一分钟的时间便完成了导数的过程,这个速度比SQL Server导入EXCEL数据的时间快多了。



第三步:云端透视

把100万行的数据源导进去后,便可以在云端平台上进行简单的透视分析,这个步骤非常智能,和EXCEL表的透视表的功能是差不多的,只要拉拽需要分析的字段出来,便可以对数据源进行透视,处理时间基本是零延迟,而且还可以新建度量值,通过时间维建立同比、环比等指标。比如这里我想看车系在行业里的销售额情况,我选了3个字段,分别是line(车系)、cust_industry(行业)、amount(销售额),把字段拉拽到下面的筛选区里,便快速得出下图的分析结果。




第四步:EXCEL分析

如果需要把上图的透视图放到EXCEL里去分析和制作图表,也是没问题的,只要把上面的透视分析保存在云平台上,再回到EXCEL里打开数据集面板,找到刚刚保存好的透视分析,把相关的字段拉拽到EXCEL里,一样也可以建立新建透视表和制作你想要的图表,而且速度非常快,基本是零延迟。



如果需要追加数据,可以在数据导入的界面里选择添加到已有表把新的数据源追加进去,导入数据后,只需在EXCEL里点击刷新,所有的报表即可进行自动更新。



经过上面的简单操作步骤,在非常短的时间便可以完成100万行数据量的分析,我们再来对比一下EXCEL独立处理该份数据的速度,我在电脑里直接打开了这份庞大的数据,并用了计时器进行计时,经过漫长的等待后,我们看下最后的用时:2分46秒,真是相当长的时间。。。这里特别说明一下,我的电脑是I7+500G固态硬盘,如果是低于这个配置的电脑,可能用时会更长。



那么在EXCEL里对这个100万行的的表格新建一个透视表要用时多久呢,我也测试了一下,大概需要8-10秒,这个处理速度对比云端服务器也是逊色许多。



经过上面两个处理工具的对比,明显可以看出云端平台在处理速度上更有优势,通过云端平台对百万行的数据进行秒处理,可以为你节省大量的等待时间,弥补了传统EXCEL在处理百万行数据时的种种弊端,在信息时代尤为发达的今天,时间就是金钱,如果你想更高效地处理你手中的大容量数据源,不妨尝试一下这种新型的方法。




二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:smart Mart SMA RTB Mar Excel

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-28 16:42