发布时间： 来源：人大经济论坛

数据，到处都是数据
信息已从稀缺转为过剩，在带来巨大新利益的同时它也让人头疼。
2010年2月25日 | 经济学人印刷版
2000年斯隆数字天空勘测开始的时候，它在新墨西哥的天文望远镜最初几周采集的数据便超过了天文史上所有累积数据的总和。十年后的现在，它的信息存档包含140TB(太字节，2的40次方)海量信息。作为其继任者，2016年在智利将启用大型天气勘测望远镜，它每五天就会获得等量的庞大数据。
如此天文数字的信息地球上也有了。零售业巨头沃尔玛每小时处理超过一百万客户交易，输入数据库中的数据预计超过2.5PB(拍字节，2的50次方)——相当于美国国会图书馆书籍存量的167倍(点击此文了解数据如何被量化)。社交网站Facebook存有400亿张图片。人类基因组的排序分析了30亿人的基因序列，花了十年时间在2003年完成，而现在一个礼拜就可以搞定了。
这些例子都说了一件事：这个世界包含着超乎想象的庞大数字信息，而且在以越来越快的速度增长。这就使很多以前做不了的事情变成可能：观察商业趋势、预防疾病、打击犯罪等等。如果管理得当，数据可以开启经济价值的新来源，为科学提供新观点，使政府更好地承担责任。
但数据也在制造很多新麻烦。尽管有太多工具来获取、处理和共享所有这些数据——比如传感器、电脑、手机等——但数据早已超过其存储空间了(见图1)。不仅如此，由于信息与日俱增而且全球传播，确保数据安全和隐私变得越发困难。
过载
http://cdn.yeeyan.org/upload/attached/2010-03/03/20100303120318_45800.gif
全球产生的信息(上侧)和可用存储空间(下侧)
EB(艾字节，2的60次方)
数据来源: IDC
约翰霍普金斯大学的天体物理学家Alex Szalay说，数据的扩散使得它们越来越难访问。他说：“如何使用这些数据？人们应该担心我们如何培训新一代，不仅是新一代的科学家，还有新一代政府和产业人。”
IBM的James Cortada写过关于社会信息历史的几十本书，他说：“我们在一个不一样的充斥着信息的时代。”加州大学伯克利分校的计算机科学家Joe Hellerstein称之为“数据的工业革命”。其效应无所不在，从商业到科学，从政府到艺术。科学家和计算机工程师们为这种现象造了一个新词：“大数据”。
从认识论上说，信息是数据的集合而知识由不同类的信息构成。而本组特别报道混用“数据”和“信息”，后面会谈到这是因为这两个词越来越难拆开说了。有了足够的原始数据，今天的算法和强大的计算机就可以揭示之前隐藏的新观点。
信息管理的产业的发展突飞猛进，它们帮助机构发掘使用不断增长的数据。近年来，Oracle、IBM、微软和SAP花了超过150亿美元收购专门从事数据管理和分析的软件公司。这个产业预计有一千亿美元的市场容量并以每年10%的速度增长，是软件产业整体两倍那么快。
首席信息官们(CIOs)在管理层越来越吃香。而一种新职位已经出现了，叫做信息科学家，它是软件程序员、统计学家和作家/艺术家的结合，负责把隐藏在庞大数据下的尽快挖出来。Google首席经济学家Hal Varian估计数据统计员将成为“最性感”的工作。他说，缺的不是数据，而是从中开启智慧的能力。
更多的一切
信息爆炸有许多原因，最明显的就是科技发展。随着数字设备处理能力大幅上升，价格大幅跳水，传感器和其他工具正在把以前无法数据化的信息数据化。人们还可以使用更强大的工具，比如，全世界有46亿部手机用户，有十亿到二十亿人使用因特网。
不仅如此，现在更多的人用信息交互。Cortada说，1990到2005年间全世界超过十亿人跻身中产阶级。他们变富的同时也开始接受更好的教育，这就加速了信息的增长。在政治、经济和法律界都显示了这样的结果。纽约大学商务教授Sinan Aral说：“科学革命之前通常是测量工具的革命”。就像显微镜发现了病菌从而革新了生物学，电子显微镜改变了物理学一样，所有这些数据也把社会科学翻了个底朝天。学者们现在可以从大众层面而不是个体层面来理解人类行为了。
数字信息每五年增长十倍。计算机行业普遍认同的摩尔定律说，计算机芯片的处理能力和信息储存量大约每18个月翻一番，而价格减半。软件程序也在不断优化。普林斯顿大学的计算机科学家Edward Feleten承认，算法改进使得计算机应用在过去的几十年里为摩尔定律的发挥起到关键作用。
大量的信息是共享的。通信系统制造商思科预计，到2013年因特网上流动的数据量每年将达到667EB(艾字节，2的60次方)。数据增长的速度将持续超过承载其传送的网络发展速度。
人们一直以来都在抱怨被信息淹没了。早在1917年美国康乃迪克州的一家制造厂的经理就抱怨电话带来的影响：“时间没了，结果乱了，钱也花了。”现下正在发生的已经不是累加增长了，量变正在引起质变。
信息从稀缺到过量的转变带来广泛影响。微软研究和战略主管Craig Mundie说，“我们看到的是围绕着信息的经济形式，对我而言这是社会甚至是宏观经济层面的一个大转变。”数据正成为商业的新原材料：和资本及人力几乎相同的经济投入。沃尔玛的首席信息官Rollin Ford说：“每天我醒来就问自己，'我怎样才能更好地让数据流动，更好地管理数据，更好地分析数据？'”
以前复杂的数据分析仅用于导弹轨迹和财务对冲战略的计算，而现在正用于生活的很多方面。比如，微软搜索引擎Bing的一个组成部分叫Forecast，可以搜索2250亿个航班与价格记录，从而建议顾客现在买飞机票还是等价格降下来。同样的想法可以扩展到宾馆、汽车和类似的东西。个人理财网站和银行在收集客户数据从而显示出宏观经济趋势，帮助其开拓辅助业务。甚至数字玩家被发现操控日本相扑比赛。
取其精华 去其糟粕
“数据排放”——因特网用户留下的点击记录可以发掘商业价值，这正成为网络经济主流。Google搜索引擎是一个例子，一个条目的点击数部分地决定其与一个搜索请求的相关性。如果排名第八的搜索词最多人点，算法就会把它往上放。
随着世界变得数字化，整合与分析数据正给其他领域也带来巨大的好处。例如，微软的Mundie先生和Google老板Eric Schmidt应总统之命改革美国的医疗保健。Mundie解释说，“一开始Eric和我都说：‘看，如果要改革医疗保健，基本上需要构建一个围绕着数据的医保经济，而这些数据和人相关’。这样你就不会把数据当做提供健康服务而产生的东西，而把它当做一项核心资产，以用来研究如何更好地提供健康服务的各个方面。这是一种反向思维。”
当然，数字记录应该可以让医生工作更加轻松，降低医患成本，提高服务质量。而数据经过整合还可以发现有害的药物反应，确认最有效的治疗方法和预测尚未发作的疾病。计算机已经试着做这些事，但还需要精确编程。在大数据的世界里，相互关系几乎自己会浮现出来。
有时数据揭示出的东西超出我们预计。举例来说，加利福尼亚州的奥克兰市在一个似有网站“奥克兰犯罪追踪”发布了罪犯被逮捕的地点和时间。其中一些点击显示警察每晚都在一条热闹的街道检查卖淫，除了礼拜三，对此他们也许想保密。
大数据的危险可能远不止于此。最近的金融危机中，显然银行和信用等级评定机构一直以来它们获得的大量信息，而这些信息不能反映真实世界的金融危机。这是大数据带来的第一次危机，还会有更多的危机。
信息管理涉及生活的所有方面。20世纪初，电报和电话形成的新信息流支撑了大规模生产。今天丰裕的数据使得公司在任何地方都可以进入小的利基市场。经济生产曾经基于工厂，经理们盯着每台机器和每个生产工艺使其更加高效。现在统计学家们从业务中产出的信息中挖掘新的想法。
微软的Mundie先生说，“以数据为中心的经济还处于发展初期，你可以看到它的轮廓，但它的技术上的、基础结构的、甚至商业模型的影响还没有被完全理解。”本组特别报道将指向它开始浮现的地方。