[Python]在Python中利用Pandas库处理大数据的简单介绍

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

   
【在Python中利用Pandas库处理大数据的简单介绍】只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据。


这篇文章简单介绍了在Python中利用Pandas处理大数据的过程,Pandas库的使用能够很好地展现数据结构,是近来Python项目中经常被使用使用的热门技术,需要的朋友可以参考下
在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：
    硬件环境
        CPU：3.5 GHz Intel Core i7
        内存：32 GB HDDR 3 1600 MHz
        硬盘：3 TB Fusion Drive
    数据分析工具
        Python：2.7.6
        Pandas：0.15.0

        IPython notebook：2.0.0

本帖隐藏的内容

在Python中利用Pandas库处理大数据的简单介绍.docx (216.39 KB)

2015-4-10 09:33:26 上传

信息来源：脚本之家

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏11 回帖

关键词：python pandas panda Das 大数据 数据库 文章 朋友 规模 技术

auirzxp 发表于 2015-4-10 09:38

用SPSS能进行多大规模的数据处理？

[handshake][em49]

斯男 发表于 2015-4-10 09:55
用SPSS能进行多大规模的数据处理？

兄台参阅
http://www.ibm.com/developerwork ... /bd-spss/index.html

谢谢分享~~~

rrjj101022 发表于 2015-4-10 10:52
谢谢分享~~~