转自stackoverlow-如何提高RSQLite的写入速度

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

经常用RSQLite写数据的朋友会发现RSQLite一次性写入大量数据奇慢无比, 并且一直在读硬盘, 导致其他操作也被拖累, 据说这是由于sqlite基于事物所导致的. 这种情况特别容易发生在对表格增量写入的情况.
http://stackoverflow.com/questions/15390565/rsqlite-takes-hours-to-write-table-to-sqlite-database
老外的解决方式很简单, 将大批量数据均分成100份, 速度大幅提高.

实测结果如下, 可见分块写入可以大幅提高append的速度. 对现有表插入1000行数据, 直接dbWriteTable需要200秒, 分成100块dbWriteTable就只要3秒不到了.

1. > library(RSQLite)
   
2. Loading required package: DBI
   
3. > conn=dbConnect('SQLite', tempfile())
   
4. > n_data=1000
   
5. > DB=data.frame(n=1:n_data, a=runif(n_data), b=runif(n_data))
   
6. > system.time(dbWriteTable(conn, 'DB',DB)) #第一次写入, 时间忽略不计
   
7.    user  system elapsed
   
8.    0.01    0.00    0.07
   
9. > dbSendQuery(conn, 'delete from DB')
   
10. <SQLiteResult: DBI RES (5660, 0, 6)>
    
11. > system.time(dbWriteTable(conn, 'DB',DB, append=T)) #删掉后第二次写入, 时间非常慢, 需要200秒
    
12.    user  system elapsed
    
13.    0.14    2.08  199.34
    
14. > dbSendQuery(conn, 'delete from DB')
    
15. <SQLiteResult: DBI RES (5660, 0, 10)>
    
16. > chunks=100
    
17. > starts.stops <- floor( seq( 1 , nrow( DB ) , length.out = chunks ) )
    
18. > system.time({
    
19. +     for ( i in 2:( length( starts.stops ) )  ){
    
20. +         if ( i == 2 ){
    
21. +             rows.to.add <- ( starts.stops[ i - 1 ] ):( starts.stops[ i ] )
    
22. +         } else {
    
23. +             rows.to.add <- ( starts.stops[ i - 1 ] + 1 ):( starts.stops[ i ] )
    
24. +         }
    
25. +         dbWriteTable( conn , 'DB' , DB[ rows.to.add , ] , append = TRUE )
    
26. +     }
    
27. + }) #按照老外的分块写入法, 只要3秒不到, 比大批量append要快60-70倍
    
28.    user  system elapsed
    
29.    0.46    0.06    2.91
    
30. > dbDisconnect(conn)
    
31. [1] TRUE
    
32. >

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享1 收藏2 回帖

关键词：sqlite stack 如何提高 Over LITE 如何

好帖子，分块不光在SQLITE这里适用，在用RODBC跟其他数据库交互的时候也适用。

相当于批量事务操作, 大大地减少了对盘文件的访问次数,  肯定效率高多了.
begin commit
   write data  to  DB_table
end commit