数据文件太大，内存不够怎么办？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

      由于研究需要，从数据库中下载了数据，以TXT格式保存的，文件很大，最大的有3.7个G。我想把他们通过STATA处理，其中较小的文件能够载入STATA，但大一点就不行了，显现下面的错误信息：
op. sys. refuses to provide memory
    Stata's data-storage memory manager has already allocated 1792m bytes and it
    just attempted to allocate another 16m bytes.  The operating system said no.
    Perhaps you are running another memory-consuming task and the command will
    work later when the task completes.  Perhaps you are on a multiuser system
    that is especially busy and the command will work later when activity quiets
    down.  Perhaps a system administrator has put a limit on what you can
    allocate; see help memory.  Or perhaps that's all the memory your computer can
    allocate to Stata.
error in line 3093458 of file


我的电脑内存是4G的，换更大内存的电脑能解决问题吗？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：数据文件 怎么办 especially allocated specially allocated command running already another

没关系

来条命令

set mem 5g

SpencerMeng 发表于 2014-7-26 14:46
没关系

来条命令

. set mem 5g
value too large
r(912);

. set mem 4g
set memory ignored.
    Memory no longer needs to be set in modern Statas; memory adjustments are
    performed on the fly automatically.

我用的是STATA12

没有处理过这么大的文件
不过即使导入stata也会运行很慢的

不如改用sas，大数据的东西最好还是不要用stata处理了
stata的优势一点也体现不出来了

蓝色 发表于 2014-7-26 14:56
没有处理过这么大的文件
不过即使导入stata也会运行很慢的

谢谢，我以前都是用EXCEL的，STATA都没用过，现在看来只能换SAS试试了。

Stata 12及以后版本，不需要set memory，你系统有多大内存它就可以用多大内存。Stata最大支持1T内存。Stata是将数据一次性读入内存，然后在内存中处理数据。你4G内存确实小了些。操作系统及其他程序就要占据1G多内存，你的文件达到3.7G，肯定装不下啊。你增加内存可以解决目前的问题，另外你需要确保你的操作系统是64位的，32位系统不支持4G以上内存。Stata增加内存，处理大数据绝对没问题的。增大内存（8G，16G），处理3.7G的文件不在话下。我电脑32G内存，经常用Stata处理10G左右文件，处理速度很快，没问题。以你目前的内存情况，即便SAS可以处理3.7G文件，但是读取速度也会很慢。

xingxf 发表于 2014-7-26 22:53
Stata 12及以后版本，不需要set memory，你系统有多大内存它就可以用多大内存。Stata最大支持1T内存。Stata ...

昨天我后来拿8G内存的电脑试了试，还是不行啊，出现同样的提示！真不知道该怎么办了！操作系统是WIN8

fujingchi 发表于 2014-7-27 09:58
昨天我后来拿8G内存的电脑试了试，还是不行啊，出现同样的提示！真不知道该怎么办了！操作系统是WIN8

也有可能在数据格式转换时增加了数据的大小。建议只筛选相关的变量进行处理。

fujingchi 发表于 2014-7-27 09:58
昨天我后来拿8G内存的电脑试了试，还是不行啊，出现同样的提示！真不知道该怎么办了！操作系统是WIN8

你那个数据库可以导出dta格式么？

不可以，目前已经用SPSS解决了