商学院关注大数据的承诺与陷阱

商学院关注：“大数据”的承诺与陷阱

商学院关注：“大数据”的承诺与陷阱 MBAChina 　　MBAChina网讯 时下最流行的术语要数“大数据”了。根据国际商业机器公司（IBM）估计的数据来看，现在我们每天生成的数据高达250兆亿个字节，超过过去两年里生成的数据总量的90%。

信息的指数型增长有时被人们视为万灵药，就好比20世纪70年代出现的计算机一样。《连线》杂志的前主编克里斯?安德森曾经在2008年的一篇文章中说：“数量庞大的数据会使人们不再需要理论，甚至不再需要科学的方法。”

本书着重介绍了前沿科学和高端技术，我认为其内容是积极乐观的，却被严重曲解了。虽然那些数字不能为自己辩护，但我们却可以作为数字的发言人，赋予它们意义。这就好比对恺撒密码解码一样，我们可能会以对自己有利的方式对这些数据进行分析和解释，而这些方式很可能与这些数据（所代表）的客观现实不相吻合。数据驱动预测机制可能会成功，也可能会失败。一旦我们否认数据处理过程中存在着主观因素，失败的概率就会增加。要提高数据分析的质量，首先要对我们自身提出更高的要求。如果对我的情况不甚了解，你可能就会对前面的提法颇感意外。我在数据和统计学领域还算小有建树，曾经据此做出不少成功的预测。2003年，由于厌倦了咨询工作，我设计了一个名为“PECOTA”的系统，主要用来预测美国职业棒球联盟球员的各项数据。这个系统有很多创新点——其预测是概率性的，比方说其中为每位球员都列出了一系列可能出现的结果——当我们将这些预测结果与比赛系统给出的结果进行比较时，发现这套系统的性能更加优越。2008年，我建立了“FiveThirtyEight”（538网站，因538张选举人总票数得名）网站，试图对即将举行的美国总统大选进行预测。该网站对两位美国总统候选人在美国50个州中的竞选结果进行了预测，结果命中49次竞选，只有1次失手。另外，我的网站还预测出美国参议院选举的35个席位归属。

美国总统大选过后，很多出版商找到我，希望我能为《点球成金》和《魔鬼经济学》这类关于小人物征服大世界的书籍估个价。本书涵盖很多行业和领域，从金融领域，到国家安全，对这些行业和领域中的数据驱动预测机制进行了调查。

在4年时间里，我曾与十几个领域中的100多位专家交流过，读过数百篇期刊文章和论文，为了实地调查，我跑遍了从拉斯韦加斯到哥本哈根的许多地方，却发现“大数据”时代的预测活动发展得并不顺利。我的成功也只是因为我在某种程度上比较幸运，一是尽管出现了本书中提到的一些错误，但还是取得了成功；二是选对了调查案例。

本书提到了几个值得研究的例子，集人类判断与计算机功能为一体的天气预报就是其中之一。虽然气象学家的名声不好，可是他们也取得过显著的进步，比如他们预测飓风着陆位置的准确度比25年前提高了3倍。与此同时，我还拜访过一些在赌城拉斯韦加斯轰动一时的扑克牌玩家和（体育赛事）赌徒。

但是，这些预测成功的案例必然是建立在一系列失败案例的基础之上的。

如果让我们用一个特点来定义美国人——一个令其与众不同的特质——那就是美国人对卡修斯精神的信仰：我们的命运由我们自己主宰。一些宗教叛逆者迎着工业革命的曙光建立了美国，他们认为自由流动的思想不仅有助于传播其宗教信仰，也有助于传播科学和商业贸易，“作为一个民族，我们的智慧、我们的勤劳、我们的傲慢和急躁、我们所有的强项和弱项，都源自我们那不可动摇的信念，那就是我们要为自己做主”。

新千年给美国人带来的是噩梦般的开始。我们没有预测到“9?11”恐怖袭击事件，而这一惨剧的出现并非因为我们的信息匮乏。正如60年前的“珍珠港事件”一样，其实所有的信号都在那里，只是我们没能将它们联系起来。因为对恐怖分子可能会有的举动不够了解，所以我们对那些数据视而不见，不知道大难将至。

近期，对全球金融危机的预测也总是失败。我们天真地相信各种（预测）模式，却没有认识到这些模式在我们进行假设选择时根本不堪一击，因此总会带来惨痛的后果。在日常生活中，我发现尽管人们也在努力尝试，却仍然无法提早预测出经济衰退。幸好在控制通胀方面，我们已经取得长足进步，否则那些经济决策者就只能“盲目飞行”了。

与20世纪70年代一样，近来人们十分热衷于对地震进行预测，其中大部分高度依赖数学方法和数据处理技术。但是，这些预测只是假想一些从未发生过的地震，对真正发生的那些地震却没有预测到。福岛核反应堆的设计可以抵抗8.6级地震，因为一些地震学家称不可能发生更高级别的地震。但是，2011年3月日本却发生了9.1级的特大地震。

错误地预测整个学科的发展常会危及整个社会。以生物医药学的研究为例。2005年，一位土生土长的雅典人，医学研究者约翰?P?埃尼迪斯，发表了一篇颇具争议性的论文，题为“为什么大多数发表的研究成果都是骗人的”。该文对那些行业期刊中刊载的积极的研究成果进行了研究（这些成果认为那些在实验室实验中得到验证的医学假设堪称成功预测），认为大多数成果在实际生活中很可能是毫无用处的。德国拜耳制药公司最近证实了埃尼迪斯的这个推断，他们通过实验亲自对那些医学期刊中提到的积极研究成果进行验证，但发现其中近2/3的医学假设根本不能成立。

这些大数据终将推动社会进步，至于这种进步的速度有多快，或者进步的同时是否还会倒退，这些都取决于我们自己。

光学轴类测量机

光学影像

影像测量系统