大数据量字段提取

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

想请教一下论坛各位老师：我有几百个excel，每个excel存放着字段数量相等、排列顺序相同的数据，我现在想提取某个想要的字段。囿于我的能力，我想到的就是把所有数据全部读取合并，再进行编程提取，这个思路简单。但是数据量太大了，全部读进去，内存显然是不够。所以想请教一下论坛各位老师，有没有比较可行的办法。谢谢啦！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：大数据 EXCEL 相同的数据 xcel exce

可以边读取，边存为SQL数据库文件

如果文件名有规律（没规律的话，可以找个批量改文件名的软件，文件名都改成数字序号），且都是.xlsx：
可以做个循环，每一次用openxlsx::read.xlsx(xlsxfile,sheet,cols)函数读入指定文件的指定sheet的指定cols，然后将读入的数据合并到上一次循环结果中。
例如：
d<-read.xlsx("iris.xlsx",sheet=1,cols=2)

如果方便将文件批量改为.csv，也可以用sqldf::read.csv.sql()函数，用sql指令作为参数，读入指定文件的指定列，例如：
ris2 <- read.csv.sql("iris.csv", sql = "select `Sepal.Length` from file where `Sepal.Width` >3" )

这两种方法都不用读入整个文件，所以内存占用不会很大。

合并的话，看你需要，可选cbind，append，mutate这些函数。

这些是本办法。如果用MySQL可以更方便。

谢谢楼上两位老师，我有空实践一下，感谢！

require(tidyverse)
require(readxl) # require(openxlsx)
path <- 'D:/YourDataPath'
cid   <- 1  # your col ordered number
fls <- dir(file.path(path), pattern = 'xls')
reduce(map(fls, function(fl){ read_xls(fl)[, cid]}), cbind)

abelus 发表于 2022-7-29 13:07
require(tidyverse)
require(readxl) # require(openxlsx)
path

谢谢老师