求问大佬 R导入百万条的excel数据时应该用什么包呢

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

之前的剪贴板和读excel的函数都不能用了
查了网上有推荐RODBC， 但是似乎需要安装sql 暂时还没有这个打算
有没有其他导入百万条级别excel数据的方法呢
还是RODBC最佳？（RODBC是要先装SQL吧 我有点担心计算机担不起这个重任。）
谢谢大佬 ！！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：excel数据 EXCEL xcel exce cel

是xls，还是xlsx？
实际上，相关的包各有优劣。
xlsx, openxlsx,tidyxl, readxl,excelR, RODBC。
至于这些包各自依赖哪些环境配置，java，MySQL，技术上都是可以解决的。
建议每个包都试一下，因为有时候数据本身也会导致一些问题，所以不能说那个包更好一些。
主要是数据太大的话，对内存的管理更重要，如果是以前的32位电脑，因为R最大只支持4GB，包括虚拟内存，所以一些较大的数据处理起来比较棘手。
现在的电脑基本都是64位，可以通过memory.limit()设置R的内存配置上限，应该问题不大。

推荐openxlsx和readxl。RODBC这种方式是10多年前出的书里有讲，现在不推荐。

使用剪贴板读入！最稳妥！
先考被复制整个文件，然后执行 dat <- read.delim(clipboard)。还有read.delim2(clipboard)
不仅读取速度快，而且可以绕过商业软件的各种坑（格式问题等等）。
太大的文件，转为csv时会不完整，读取剪贴板就不存在这个问题。

这么大的文件，EXCEL打开有困难吧？