未卜先知的神器：关于大数据的观察与思考

rchina

未卜先知的神器：关于大数据的观察与思考

转自科学网

所有评论家都喜欢提到“尿片与啤酒”的故事，认为它是大数据分析的开始：1960年代，沃尔玛连锁超市研究销售记录发现，给孩子买纸尿片的男人都会顺便买几瓶啤酒。为此，超市在尿布旁边摆上了啤酒架，方便顾客。这是半个世纪前的事了。

1980年代著名的未来学书籍《第三次浪潮》，预言未来信息时代必然有“big data（大数据）”应用。不过，就在5年前，网上百科全书Wikipedia还不愿开辟“big data”的词条，认为这不过是两个单词的组合而已。当时网上普遍认为，大数据更多的是概念和憧憬，其志向不小，成就却不多。

而就在近两年，大数据应用突然爆炸，五彩缤纷的创意都变成现实。即使最谨慎的观察家也承认，大数据的商业应用时代已经来临，正因为它前所未有的能力——准确预测。

数据大爆发，带来“新石油”

去年，演绎白宫政治的《纸牌屋》成了美国收视率第一的电视剧，这丝毫不出制片人的意料——计算机分析了多年的数据，发现一部电视剧如果具备三个元素，就必定大卖：导演大卫·芬奇、奥斯卡影帝凯文·史派西、BBC剧风格。《纸牌屋》就是在数据指导下，如法炮制，果然红透半边天。这个例子很能说明大数据应用的特点：从海量数据里发掘出从前没意识到的联系，并且将它转化为利润。

迈尔-舍恩伯格和库克耶合著的《大数据时代》一书认为，数据量一旦变“大”，根据数据预测就会十分可靠，而不再是小数据时代的模糊推测了。他们认为，大数据的核心就是预测。

美国工程师爱奇奥尼搭飞机时，发现旁边的旅客买票比他便宜。于是他开发了一个系统，预测机票价格的涨跌。截至2012年，他的“faircast”系统用网上的10万亿条价格记录去推测机票何时价格为何，预测准确度达75%，帮助旅客平均每张机票节省50美元。

爱奇奥尼并不懂航空业，他所做的仅仅是查阅过去的数据，就能从中做出有价值的判断。

还有一个例子广为人知。google能从网民搜索关键词中推断出一场流感正在蔓延。工程师实验了4.5亿个不同的数学模型，最后发现，45条检索词条组合用于某个数学模型，与过去的流感数据十分吻合。由此，google第一时间发现了2009年甲型H1N1流感的传播，比官方确认早一两周。

无独有偶，美国政府为了公布CPI数据，雇用很多人调查90个城市的8万种价格信息，每年要花费2.5亿美元。而麻省理工学院的两位经济学家，通过一个软件在网上捕捉50万种商品的价格信息去做同样的事情。金融危机时，雷曼刚破产他们就发现了通货紧缩的趋势，比政府早发现两个月。

大数据预测并不复杂，不论是价格预测，还是疫情预测，只要有海量的数据就行。Word程序中语法检查使用的4种算法，随着其依靠的数据量从500万变为10亿，表现都大为提高。彼得·诺威格，谷歌公司的人工智能专家写道：“大数据基础上的简单算法比小数据基础上的复杂算法更有效。”

但在“尿片与啤酒”的年代，10亿条级别的信息量还很难获得。人们只能建立数据库，将一部分信息分门别类地入库，其他的丢弃。直到最近，计算机处理速度的飞跃和低成本的存储，才实现了“一切尽录”，让大数据分析成为现实。

目前，美国股市三分之二的交易，是计算机程序根据海量数据预测和自动做出的。由此来看，美国2012年3月的《大数据研究和发展计划》中提出的“大数据是新石油”，并不完全是理想，已经部分成真。

记录一个人的过去，就知道他的未来

即使是普通人也能注意到，各个领域收集的数据量都在爆发。人类存储信息量的增长速度比经济增速快4倍，而计算机数据处理能力的增速更比经济增速快了9倍。

信息爆炸的端倪参见美国“斯隆数字巡天望远镜”：运行短短几周，斯隆收集的数据比天文学历史上总共的数据还多；而预计2016年，智利的“大视场全景巡天望远镜”5天就能收集同样多的信息。不光是科学仪器，互联网、视频监控网，以及传感器网（物联网），都在提供海量信息。有人甚至预测，不需太久，信息爆炸造成的一年数据量就将超过人类历史上积攒的所有数据量。

如今，一个人的电子邮件、手机通话记录、网购记录、网上发布内容等等，全都在各家公司的硬盘里存储着；同时，他的行踪被手机记下；身影被街头的监控器捕捉……一旦这些数据串联起来，这个人的一举一动几乎无从遁形。

让人吃惊的是，根据《爆发》一书的作者巴拉巴西的论证，人的行为是高度重复和可预测的（巴拉巴西甚至算出，93%的行为是可预测的）。因此一旦明白了人的过去，就掌握了他的未来。

大大小小的机构，都想利用大数据时代这个神奇的现象获利。其中一些对人类行为的预测，已经显示出威力。今年的奥斯卡金像奖颁奖礼之前，微软纽约研究院的大卫·罗斯柴尔德通过大数据分析，预测了各大奖项的归属。结果除了最佳导演奖外，他全部猜中。而他在2012年美国总统大选中，就根据过去的数据，准确预测了51个选区中50个地区的选举结果。

大型超市Target公司根据20多种购买物，判断顾客的孕期阶段，并适时寄去推荐清单。有时，甚至顾客还不知道自己已经怀孕了，Target的系统就能从其购买偏好的改变上判断出来。

美国一家个人消费评估公司推出了“遵从医嘱评分”，这个评分会帮助医疗机构知道哪些人更需要被提醒及时用药。这个评分是分析一系列变量来确定的，比如某人在某地居住多久，是否结婚，多久换一个工作及有没有私家车。

要知道一个人是否会及时吃药，为何要查阅他的工作简历或者私家车？谁都说不上来。但事实是，只要过去的数据显示，有私家车、很少换工作的人更愿意按时服药，那么今后肯定也是如此。

而微软跟华盛顿中心医院合作，发现充血性心力衰竭病人如果初诊中有类似“压抑”这种暗示心理疾病的词，再度入院的可能性也会增大。

知道如此就够了，不必问为何如此

《大数据时代》一书中强调，大数据不关心“因果”，只在乎“相关”。这一点也被此书的拥趸们反复强调。因为大数据分析，人们理解世界，不再需要探讨“内在机理”。大数据不是教机器像人一样思考，而是简单的数学算法用在海量数据上，让数据自己说话。

在最难确定因果关系的人体科学领域，大数据分析同样屡有斩获。中英人寿保险公司用几百种生活方式的数据，比如爱好、常浏览的网站、常看的节目以及收入等，找出更可能患高血压、糖尿病和抑郁症的人。

丹麦癌症协会2011年发表文章，利用1985年以来的全部手机用户数据，与同期所有癌症患者数据结合来看，发现癌症跟使用手机并没有关系。

还有美国研究者通过16个不同数据，发现早产儿稳定的生命体征不是病情好转的标志，而是暴风雨前的宁静。研究者并不知道具体原因，只知道数据显示出是如此。

有了大数据，分析不必知其所以然。著名的谷歌翻译小组，竟然不需要语言学家。他们完全是让计算机根据网上的数据，去判断一段英文可能对应于哪一段中文。一开始这种翻译质量不会太好，随着信息量的增加，机器会翻译得越来越让人满意。

有了大数据，分析也不需要太精确，因为批量处理允许瑕疵存在。ZestFinance是一家由计算机决定是否为客户提供贷款的公司。它的客户信息表中有大量空白。甚至有10%的客户属性是“已去世”，这显然是错的，实际上这些客户是还贷款的。这家公司不会太精确地对待它的数据，然而其贷款拖欠率比行业平均水平低三分之一。

英国石油公司在美国的一个炼油厂里，安装了很多无线感应器，因为高温和电器干扰，不少感应器读数是错的，但数据一多，这些错误就可以弥补。通过随时监测管道承压，厂方发现某些原油更具腐蚀性，就可以发现和防止。

UPS快递公司在所有卡车上安装传感器，如果发现数据异常，他们就提前更换零件，这样节省了好几百万美元修理费用。他们并不在乎传感器数据是否准确。但这样做的确有效。

像那句老话所说：“量变引起质变”。数据量极多时，数据分析就呈现出我们所不熟悉的属性——因果关系淡出；单个数据准确不再重要；而预测几乎必然准确。大数据如同巫师一样的神力，既让我们陌生，又让我们激动。

alansmith

作为介绍数据分析的帖子，却有定性分析的味道

mukvin

顶楼上的

海底神龟

真正的在社会各行各业实现大数据的分析应用，却有非常长的路要走。

rangoo

好贴，好东西，引来无限的兴趣

zhenzhenyi

好东西，感兴趣

守望

其实只问相关，不问原因是一种很危险的举动，容易造成很多统计上的误判，比如因果倒置，第三因素干扰等。大数据更多的是从社会科学的事实特征中指引我们发现规律的方向，就像我们以前观察自然一样

wwwzbb

学习！！！

wwwzbb

学习！！！