976 1

pandas的加载数据如何快速 [推广有奖]

  • 0关注
  • 0粉丝

本科生

28%

还不是VIP/贵宾

-

威望
0
论坛币
949 个
通用积分
0
学术水平
6 点
热心指数
10 点
信用等级
0 点
经验
673 点
帖子
66
精华
0
在线时间
37 小时
注册时间
2017-4-17
最后登录
2017-12-5

楼主
香蕉菠萝大鸭梨 发表于 2017-9-3 16:47:45 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
安装了anaconda最新的版本,64位,从数据库导入数据时发现很慢,大概130个字段,100万记录,后改从文本导入时间消耗还是差不多,运行过程中CPU使用率一直是100%,机器是8C的,为什么导入数据操作只能用到一个C,有没有可以加快速度的方法呢?  
  
多谢!
  
import pandas as pd
pd.read_sql(conn,"sql string")
  
pd.read_csv("/opt/data.csv",'|')
--
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:pandas panda 如何快速 加载数据 Das

沙发
徐博 发表于 2017-9-3 16:48:21
并行多进程导入csv转成pickle存起来,以后直接读pickle

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2026-1-3 03:42