发帖
雷达卡
Excel在处理大数据量时捉襟见肘的表现，曾经让很多用户抓狂，EXCEL性能弱已经是一个不争的事实。众所周知，EXCEL的处理上限是100万行，如果超过了100万行，EXCEL便束手无策了，即使数据量只有几万行，EXCEL也会变得非常卡，对于习惯使用EXCEL的用户来说，这无疑是一个非常头疼的事情。
最近从朋友口中知道了一个非常厉害的方法，可以帮助EXCEL解决性能弱的问题，那就是利用插件的形式去连接数据库，先把文件导入到插件里的本地数据库，然后再回到EXCEL里与数据库进行相连，调用数据库的数据字段，便可以在EXCEL里实现处理大容量数据的功能。为了验证这个方法是否有效，我把这个插件安装在了EXCEL里，随后可以看到工具栏里出现了一个新的界面。
接下来的几天里我对这个插件进行了简单试用，发现它很不简单，这个插件不仅可以和数据库相连，还能实现其他更加厉害的功能，下面我简单介绍一下这个厉害的EXCEL神器——Smartbi智分析的excel插件。
1、数据库连接
随着信息时代的愈发成熟，企业的数据量也在每天呈爆炸式的增长，性能孱弱的EXCEL已经不能满足大部分企业的需求，因此数据库成了各大企业存储和加工数据的首选。微软也为EXCEL提供了连接数据库的功能，但是连接过程较为复杂，需要输入的用户名、密码、ip地址都是明文，非常不安全。
这个时候就需要用上我们的Smartbi智分析的excel插件了，它在数据库的连接上提供了非常便利的操作环境，支持本地数据库、关系数据库、多维数据库、NOSQL等市面上主流的数据库端口。连接过程也非常简单，以MySQL数据库为例，在连接窗口选择数据库类型，并填写好连接串、用户密码，然后点击测试连接，测试成功之后点击保存，便完成数据连接的创建了。
只要连接好了数据库，就能在EXCEL中通过拖拽的方式调用数据库中的字段，无需再打开庞大的数据源文件了，对于EXCEL用户来说简直是一个天大的好消息。
2、ETL技术
一般情况下，从各个业务部门汇总过来的数据是十分分散的，无法满足数据分析的需求，还要经过进一步的加工处理，最终形成简洁、规范、清晰的样本数据。这个过程通常被称为ETL，也就是对数据进行抽取（Extract）、清洗转换（Transform）、加载（Load）的过程。在EXCEL上，微软为用户提供了power query的组件，依赖于M语言，可以对数据源进行关联，转置、分拆、过滤等操作，但是power query受引擎性能的局限，且M语言书写不方便，不适合处理企业级数据。
我更倾向于在专业的ETL工具里完成这个过程，目前在国内用的最多的ETL工具是kettle，但是这个工具的性能相对来说比较弱，而且出现的一些bug无法解决。所以我采用了Smartbi智分析里的自助ETL技术去完成这个任务，它在ETL的处理上则提供了自助化的操作界面，允许用户通过简单的鼠标勾选数据字段与查询条件，用户通过简单的拖拽便可以快速完成数据抽取、清洗转换与加载的加工过程，而且性能非常强悍。
3、办公自动化
很多小伙伴每天都要用EXCEL处理各类报表，比如汇总各类数据，组合排序，跨表关联计算，纠错处理，审核数据等等重复性工作，每天都把大量的时间花在了收集数据、复制、粘贴、清洗数据、转换数据这样的事情上了，而不是把时间花在业务问题的分析上, 不仅处理效率低下，而且还容易出错。
Smartbi智分析利用插件的形式，把EXCEL与数据库进行了完美的融合，这个形式摒弃了传统EXCEL手动更新数据源的方法，而是借助云端强大的性能，直接在EXCEL中调用数据中的字段，无需手动更新数据源便可自动在EXCEL中完成刷新，真正地实现了EXCEL办公自动化。
4、网页端报表传输
对于工作的小伙伴来说，文件传输总是避免不了的，有些EXCEL文件是其他的一些格式或者体积过大，传输起来十分的不方便。这个EXCEL插件在文件互传上具有独特的优势，只要把做好的报表发布到WEB端，便可以通过链接或者二维码的方式分享给其他人，接收人可以通过PC端和移动端两种方式对报表进行查阅，这种高效的数据互传方式提高了团队的协作能力，让办公从此变得更加智能。
5、数据安全
随着大数据技术的发展越来越成熟，数据在每个企业里所扮演的角色也变的更加重要，接踵而至的便是数据安全问题，最让众多企业谈虎色变的事情便是数据泄露问题了，一不小心便会给企业造成巨大的经济损失，因此越来越多的企业开始重视数据的安全问题。这个EXCEL插件的网页端具有完善的安全管理体系，它可以控制用户功能权限、数据访问权限、资源访问权限，支持按用户、用户组、角色进行管理，支持多套应用系统共用同一套用户管理系统，支持多级用户管理体系，可以确保企业数据安全无虞。
以上就是利用EXCEL去处理大数据的方法，如果觉得不错的话，可以按照我说的去进行测试，相信会对你的工作效率有很大的提升。
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
