rbind()后数据保存特别大？？？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

【背景】
之前遇到这个问题时，各种搜索都没有找到相同的情况。今天我在论坛中搜索了rbind() save也没有搜索到十分相关的帖子。

【具体问题】
我有两种类型的data.frame数据：
第一种类型中，单个数据的行数大约为9万行，将多个这样的数据合并后，可以正常地使用save()保存为新的Rdata；
第二种类型中，单个数据的行数大约为15万行，将多个这样的数据合并后，在使用save()保存为新的Rdata时，存在非常严重的问题，保存的新Rdata会达到几十个G的大小，当然，也需要超长的时间才能保存下来。

【非正规解决方案】
在导入第二种类型的数据时，先转换为矩阵，合并之后，再转为数据框，并添加列名称。
保存结果时间与大小均正常。

【补充说明】
数据为高速公路车辆检测器交通流数据，第一种类型数据的统计时间间隔为5min，第二种类型数据的统计时间为20sec。涉及协议，无法上传数据，请谅解。

【期望】
等大神指教，感谢。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：rbind bind 数据保存 bin IND

如果是每列数据都是同一类型，确实存为matrix会好一些。
另外，看看rbind之后，字段有没有发生什么变化。

理论上来说，一个数据15万行，十个数据也就150万行，RData是没太大问题的。

abelus 发表于 2023-5-19 22:12
如果是每列数据都是同一类型，确实存为matrix会好一些。
另外，看看rbind之后，字段有没有发生什么变化。 ...

谢谢。