大数据时代攻略：如何找数据/交易数据（转）-经管之家官网！

大数据时代攻略：如何找数据/交易数据
作者|胡同千度
数据被誉为新时代的石油，随着大数据市场的发展，数据开始流通，越来越多人也开始挖掘数据的价值。本文尽可能全面地介绍国内的数据源、搜索数据的方法以及数据交易的平台，帮助数据工作者们快速全面地找数据。文中涉及的数据交易方式包括API数据接口、数据包下载、数据定制等，涵盖免费的公开源数据以及付费数据。
工具
1.机器：文中谈论的数据均为“大数据”范畴，供机器处理的格式，非人眼读取
2.接口：API数据需要自备接口才能使用，通常按调用量收费
3.处理：想榨取数据的价值，需要大数据技术和工具，文中提到的部分平台提供大数据技术的交易，或者需要大数据工具的时候直接搜索一下
一、统计数据
1.国家统计局/国家数据
最正统、最官方的数据，数据范围涵盖各行各业，时间跨度也较大，可下载为各种常见格式
2.政府各部门
政府网站通常有统计数据，但不同部门数据量有多有少，目前为止数据并不算深入，但随着数据开放政策的深入，相信政府网站会成为很好的数据源
部门列表可以在中国政府网找，下文中的各行业数据都可以在相关的部门网站找到数据，就不一一列举了
3.行业协会
数据需要申请或购买，公开的并不多，但不失为一个选择
4.咨询公司
咨询、金融、市场调研公司，尤其是业内顶尖的，通常有自己的数据，但同样并不免费公开，部分数据可购买
5.年鉴
大部分主要行业都有自己的年鉴，数据比较宝贵，只是给机器用之前还需要处理；价值高的年鉴通常需要付费获取；这里推荐一下人大经济论坛，氛围较好
二、数据交易平台
【政府牵头】
1.地区性数据交易平台：贵州、上海、北京、江苏、武汉、哈尔滨、海南等
2.模式：部分采用会员制，提供交易的场所以及必要的技术支持，收取交易费；部分仅提供在线交易平台
3.特点：享有庞大的政府数据资源，并且联合各行业的龙头企业
（此处参考“北京秋”的文章“走马观花：国内各路大数据交易平台现状”）
【API平台】
1.列表：apistore、京东万象、聚合、阿凡达、showapi、haoservice、极速数据、apix、通联数据商城
2.模式：按调用量收费
3.特点：即时性很好，质量相对有保障，并且可以更大程度保护数据所有者的权益
【淘宝模式】
1.列表：数粮、数据宝（、淘宝）
2.模式：数据商入驻，创造良好的交易环境、鼓励交易
3.特点：数据范围较广、态度开放，比起到处搜罗数据方便很多，有潜力进一步发展
【数据包定制/下载】
1.列表：数多多、大海洋、发源地
2.模式：以数据下载和定制为主
3.特点：有一定的固定用户不断提供新鲜数据，可以定制采集
【其他】
1.列表：数据堂、优易数据、数据淘
2.特点：目前的数据平台（包括未列举的和不断出现的新兴平台）都比较有自己的特点，希望这些平台能够共同推动数据市场的成熟
三、各行业数据源
【财经数据】
1.经济数据库：CEIC、国泰安、锐思、资讯行
2.监管部门：证监会、上交所、深交所（巨潮）、股转系统、大商所、郑商所网站
3.金融市场网站：中国货币网、中国债券信息网、上海期货/黄金交易所
4.财经终端：不少免费版的财经/股票终端都可以导出数据，属优质数据源
5.门户网站：如新浪财经可以下载大量的证券数据
6.通联：类似quandl提供不少财经api接口
7.量化交易平台：近几年新兴的技术产品，可以在这类平台上获取大量历史数据
8.投融资：IT桔子、清科数据库
9.国外资源：WITS,WORLD BANK,IMF,YAHOO,Quandl（大量财经api接口，可导出各种格式）等
【贸易数据】
1.海关总署、海关统计资讯网、海关信息网有不少数据，部分免费（商务部网站中有大量数据，但目前不能下载或调用）
2.综合性网站：慧聪、卓创资讯，但可惜大部分数据只能浏览
3.数据商：可以在百度和上面提到的数据平台上找到不少这类的数据撮合商（一般高质量的数据需要付费获取）
4.国外数据：WTO,UN COMTRADE有大量高质量的数据
【第一第二产业】
1.农业数据：目前以统计数据为主，行业门户网站和细分领域网站（如中华粮网）的数据通常无法直接调用，只能在线浏览，但不妨保持对这些网站的关注
2.农业数据提供商：如艾格农业、布瑞克，但目前数据的总体质量达不到预期
3.工业数据：和农业数据的情况类似，也只有少数数据商，如钢联、煤炭资源网等
（传统领域的数据，随着物联网技术的发展，获取难度会降低、应用价值将提高，预计在未来会有不错的上升空间）
【其他传统行业】
1.地产数据：CRIC、中指是主要信息商
2.物流运输：快递行业得益于电商的带动，有不少API接口，可以百度之；但包括交通运输部、海事局在内的网站，都很难得到有价值的物流数据
3.地图数据：目前可以找到不少地图api接口（如百度、高德、腾讯），但地图数据商并不多（代表企业有四维图新、中科宇图等）
4.吃穿住行：此类数据主要出现在上面提到的api接口平台（如天气、交通、酒店等）
【互联网企业】
由于行业的天然属性，IT企业都较重视自身的数据，因此在公开源很难找到相关的数据源，大部分知名企业选择以api接口的形式（或营销行业的DMP）供外部合作伙伴调用自身的数据，例如淘宝api、携程api、豆瓣api等
【科研数据】
这部分数据的共享性质更突出，而且数据体量较大，未来作者会在合适的时候单论一篇；目前也已经有一些相对活跃的数据流通领域（如遥感数据，已经有中国资源卫星应用中心、遥感集市、地理空间数据云等平台撮合交易）
--
随着大数据市场的发展，数据价值将被不断挖掘出来，数据资源也会不断丰富，获取渠道日新月异，本文内容有限，仅抛砖引玉