- 近日,Robert Seaton整理了100多个最有趣的数据集,其中包括Jeopardy真题,死囚的最后一句话,20万个Eclipse Bug,足球比赛相关,柏拉图式的爱情,太阳系以外的行星,11.3万个恐怖事件等。
在数据爆发式增长的逼迫下,当下数据分析能力已得到长足的发展,机器学习更成为数据处理中必不可缺少的一环。这里,为大家分享Robert Seaton在其个人博客上整理的100+最有趣的数据集,从柏拉图式的爱情到政治竞选再到死刑囚犯,可谓是应有尽有,旨在给大家的模型训练的过程增加一些乐趣。
在寻找数据集?这里给你准备了100多个最有趣的,从柏拉图式的爱情到政治竞选再到死刑囚犯,应有尽有。
个人对“信息时代”这个名词非常不感冒,就好像随便来了个人,往过一坐,然后说:“当下的信息已经非常多了,我们该如何形容?我觉得‘信息时代’这个词不错。”个人认为这是极度不负责的,没有创意,命名者太懒了;其次,如此多的数据带来更多的是处理上的无助和绝望,用“drinking from the firehose” 比喻起来或许更贴切一点。因此,与其叫“信息时代”,我们不妨称之为“饱和时代”,或者是“泛滥时代”。然而,不管称之为什么,毫无疑问的是,我们已经被数据淹没了。这里为大家分享100+最有意思的数据集。无他,在提供数据分析材料的同时,给大家增加一点乐趣。
100+ Most Interesting Data Sets1. 如果你是智力竞赛节目Jeopardy的参赛选手,你该如何准备?你可以下载这个数据集—— 215930个Jeopardy真题。把这个数据集放到记忆系统中,你就是下一个赢家。
2. 想知道被判死刑是什么样的感受?看看这个数据集—— 德克萨斯州将1984年以来每个死刑犯的最后一句放到了网上。借助这些数据,我们可以进行临刑者的情感分析。
3. 谈到监狱,还有很多关于囚犯的信息,如“犯罪史,家庭背景和个人性格,药物史、酗酒史、治疗方案,枪支所有权和使用史、监狱活动,项目,服务”。
4. 想读他人的邮件么?即使你想,你也没有那个技术,更没有哪个胆量去。来看看安然公司的文集数据库吧。这个数据库包括来自 150多个使用者的100万封邮件,大部分邮件来自Enron公司的管理层,以文件夹的形式呈现。
5. 想了解互联网用户都关心什么?这个问题不好回答,我们可以先回答一个更简单的问题:Reddit(新闻网站)用户都关心什么。有人将 Reddit上250万个帖子进行了分析,公布到了GitHub上。通过这些数据,我们可以了解用户对猫的喜爱程度,一个数据是否支持r/circlejerk。
6. 谈到猫,还有一个数据集上 10000张有注释的猫图片。当我们想训练机器人消灭除了猫以外的所有生物时,这个数据集会非常有用。
7. 如果你对构建金融算法有兴趣,或者只是对预测美国最大经济作物的套利机会感兴趣,那你应该看看 这个数据集,该数据集包含了从2010年9月2日到现在的所有大麻价格数据。
9. 有关象棋比赛的记录最早可追溯到10世纪,产生于巴格达的历史学家和一位学者之间博弈。从那以后,记录象棋比赛中的每一步成为一种传统——尤其是对于那些有重大意义的比赛,比如两个强劲的对手之间的胜负之战。因此,今天的象棋学生们可以借助包含这些比赛记录的丰富数据集进行象棋学习。“Million Base”或许是世界上最大的象棋比赛数据集,声称有220万条比赛记录,你可以通过 此链接下载该数据集。
10. 说起比赛这个主题,少不了足球,我已经找到了 关于足球比赛、足球运动员、球队、得分等信息的数据集。如果这些还不够,你还可以利用S occermetrics API的python包获取更多的数据。我想只要教练们想要战胜对手,这些数据迟早会发挥作用。通常我们说:极客和赌徒区别,就在于极客们通过构建分析模型获得胜利。
11. Google已经开放了所有的Google Book字串数据(n-gram)。每个字串实际上是由n个单词组成的短语,开放的数据集中包括了1-gram到5-gram等不同长度的字串数据。该数据集的建立是“基于1500年到2008年之间出版的520万册书籍”。我们可以通过这一数据集来判断哪些短语被过度使用,哪些短语已经过时,哪些短语面临被淘汰的危险(友情提醒:有些人甚至已经抢先注册了clichealert.com域名)。
12. 亚马逊有大量 开放的数据集(虽说是免费的,但免费只是针对AWS的用户),该数据集包括了从超过280万个网页上抓取的数据。分析抓取的数据,买下有升值空间的网址后,你可以再卖给那些需要做SEO的人,或者你也可以自己用来创建下一个Google。
13. 少数民族的计算机科学跳级考试成绩如何? 你可以自己查一下然后告诉我。
14. 有一个百万歌曲(Million Song)数据集,包含了一百多首不同的歌曲,包括“舞曲”。如果配备一个晚会专用的媒体播放机可能会更好,这些数据还适用于聚类算法(比如,自动类型检测),但我不太确定能起到多大的作用。许多人试过基于这些数据构建推荐算法,包括 Kagglers和 Cornell的一个团队。一种做法是:按照时间,比如按年分析音乐——70年代、80年代或者90年代(或者找出“模仿-领导“效应,比如一首歌因为风格独特而流行,还会有很多模仿者)。
15. 说道音乐的数据集,last.fm有大量可用的音乐数据。last.fm从它的36万用户那里收集数据,这些数据可能是以“用户,艺术家,以及歌曲的播放信息”这样的形式呈现,这时候用聚类算法自动给音乐分类或者构建推荐系统会更好。
16. 我一想起极客,总会联想到数学和计算机黑客,但是极客远不止这么简单。CescRosselló、Ricardo Alberich和Joe Miro描绘出了一个神奇宇宙的“社交网络图”,使用 Facebook的社交网络图,还可以做一个新的“什么是超级英雄?”测验。
15. Yelp有免费的数据子集,包括餐馆排名和评论数据。通过挖掘Twitter来获取你需要的数据,可以让你拥有可以匹敌Yelp的竞争力。
18.如果你对数据(元数据)中的数据感兴趣,你或许也会对Jürgen Schwärzler感兴趣,Jürgen Schwärzler是Google公共数据团队中的一名统计学家,他整理出一个排名,记录下 常被搜索的数据。前5位分别是学校对比、失业、人口、营业税和工资。
19. 我的读者中无疑有一些邪恶的天才,当然也存在一些想要拯救世界的英雄。这两类人可能都会对超级智能机器人感兴趣,但是要建造这样的一个机器人,你必须教会它事实,然而,手动输入1千万条事实是一件痛苦的事情。还好, Freebase为我们减少了工作量,它为我们免费开放的数据集包含了19亿条事实。
20. 你或许没有打算建造一个超级机器人,只要比一般的数学家聪明一点就行。如果是这种情况的话,那你就需要教你的机器人许多数学知识(定义和定理),因此,你可能需要了解一下 Mizar项目,该项目为我们提供了9400条定义和49000条定理。
来源:CSDN
周末巨献:100+诡异的数据集,20万Eclipse Bug、死囚遗言等【一】周末巨献:100+诡异的数据集,20万Eclipse Bug、死囚遗言等【二】
周末巨献:100+诡异的数据集,20万Eclipse Bug、死囚遗言等【三】
周末巨献:100+诡异的数据集,20万Eclipse Bug、死囚遗言等【四】
周末巨献:100+诡异的数据集,20万Eclipse Bug、死囚遗言等【五】