楼主: 静电单位
1797 3

[问答] python dataframe如何处理上亿数量级表 [推广有奖]

  • 0关注
  • 0粉丝

本科生

60%

还不是VIP/贵宾

-

0%
威望
0 级
论坛币
8 个
通用积分
0
学术水平
0 点
热心指数
2 点
信用等级
0 点
经验
648 点
帖子
32
精华
0
在线时间
167 小时
注册时间
2015-7-27
最后登录
2024-2-1
楼主
静电单位 发表于 2020-1-16 16:25:31 |只看作者 |坛友微信交流群|倒序 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币
各位大神，我有一张9千万级的数据在HIVE SQL中做完了初步处理，现在需要到python中做加工，
但由于数据量太大了跑完cur.excute语句以后，一直自动崩溃，如何将HIVE SQL中的千万级数据放到python上呢？
跪谢！！！
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0
关键词：Dataframe python Frame Data Fram python 亿级数据量 hive sql

相关帖子

使用道具

沙发
juliewong 在职认证  发表于 2020-1-16 16:35:39 |只看作者 |坛友微信交流群
这么多数据，牛

使用道具

藤椅
juliewong 在职认证  发表于 2020-1-16 16:36:12 |只看作者 |坛友微信交流群
我会python，没试过这么多数据

使用道具

板凳
hgz2373294 发表于 2020-1-16 22:06:08 |只看作者 |坛友微信交流群
python应该可以直接写程序在HADOOP里执行，
SAS这方面也类似功能
已有 2 人评分经验 收起 理由
cheetahfly + 100 精彩帖子
yunnandlg + 100 精彩帖子

总评分: 经验 + 200   查看全部评分

使用道具

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
  • 手机版  |
  • 意见反馈  |
  • 帮助  |
  • 新手入门  |
  • 用户手册  |
  • 友情链接  |

    • 如有投资本站、合作意向或投放广告，请联系：13661292478（刘老师）

    联系客服

    邮箱：service@pinggu.org 投诉或不良信息处理：（010-68466864）

    010-68466864

    京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问：王进律师 知识产权保护声明   免责及隐私声明

    GMT+8, 2024-4-27 03:05