大数据量的距离矩阵存储

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我有一些带坐标的点数据，目的是计算这些点的距离矩阵，然后对计算出的距离做分组计数。用几千个点的时候dist()函数还能承受，到1万个点的时候（真不多），由于数据量为N*(N-1)/2，就到五千万级别了（就很多了），这个矩阵就超出了R的内存限制。

我在网上找了好些处理大数据的方法，像R处理大数据的 ff、bigmemory 包和R连接数据库的方法看了好多介绍，还是不知道该怎么储存。所以发帖求助~

大家平时都是怎么处理大数据量的？有什么经验或资料可以推荐下？感激不尽！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏1 回帖

关键词：距离矩阵 大数据 memory 连接数据库 SOSO 连接数据库 网上 资料

同求……

楼主提供的几种方法都是目前R软件解决较大数据量数据所常采用的方法，其中参考文献有很多，如《Managing large datasets in R》介绍了ff包实际案例

bigmemory包我的windows xp系统装不了