python dataframe如何处理上亿数量级表

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

各位大神，我有一张9千万级的数据在HIVE SQL中做完了初步处理，现在需要到python中做加工，
但由于数据量太大了跑完cur.excute语句以后，一直自动崩溃，如何将HIVE SQL中的千万级数据放到python上呢？
跪谢！！！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Dataframe python Frame Data Fram python 亿级数据量 hive sql

这么多数据，牛

我会python，没试过这么多数据

python应该可以直接写程序在HADOOP里执行，
SAS这方面也类似功能