|
- UID
- 1029342
- 性别
- 男
|
大数据已经不再是计算、统计学科的专宠，商学院开始的广泛应用，表明大数据正式进入各行业的广泛应用。统计学家纳特·西尔弗在著名的《信号和噪声》一书中说：“大数据中大多数都是不相干的噪音。除非有很好的技术信息进行过滤和处理，否则将惹上麻烦。”
杜克大学富卡商学院今年秋季开始招收大数据商业分析方向的硕士生，西安交通大学管理学院也将录取海外大数据分析的博士生作为新录取教职人员的重点之一。大数据已经不再是计算、统计学科的专宠，商学院开始的广泛应用，表明大数据正式进入各行业的广泛应用。
统计学家纳特·西尔弗在著名的《信号和噪声》(Nate Silver, The Signal and the Noise)一书中说：“大数据中大多数都是不相干的噪音。除非有很好的技术信息进行过滤和处理，否则将惹上麻烦。”也就是说，大数据为我们提供了观察世界的新方式，但它往往还是类似原油粗糙的形式，没有商学院的提炼与应用，它就无法变成汽油、胶粘剂、阿司匹林，唇膏等各种现代工业产品。对于大数据来说，我们今天的时代，就像是德州刚发现油田的时代，它在信息时代的广泛应用与消费，需要各个学科的通力协作、更换思维，正如石油的发现催生工业时代的能源革命一样。
从因果分析到相关性分析
在“前信息时代”，商学院分析消费者行为、市场结构、竞争动态、组织行为、供应链管理时，都局限于有限的样本。因为收集消费者、员工、股票、工厂等的数据都非常耗时，需要承担各种成本。即使像IBM这样的巨型公司，有能力将《人民日报》历年的文本输入电脑，试图破译中文的语言结构，例如实现中文的语音输入或者中英互译，这项技术在上世纪90年代就取得突破，但进展缓慢，在应用中还是有很多问题。
谷歌采取了不同的方法进入这个市场，它不是依赖高品质的翻译，而是利用更多的数据。这家搜索巨头收集各种企业网站的翻译、欧盟的每一种语言的文本、巨大的图书扫描项目中的翻译文件。超越IBM以百万级的文本分析，谷歌的大数据是以十亿万级计的。其结果是，它的翻译质量优于IBM，能涵盖65种语言，而且翻译质量在云端不断优化。谷歌凌乱的大数据战胜了IBM少量的干净数据。
那怎样将凌乱的大数据进行对石油一样的提炼与应用呢?一项重要的思维转换就是从传统的因果分析向相关性分析转换。在传统的统计分析中，一个重要的因素是因果关系的可靠性，在有限的样本下，科学家在假设检验中往往用各种专业统计软件进行假设检验，根据概率P值(P-Value, Probability)进行检验决策。P值反映某一事件发生的可能性大小，一般以P < 0.05 为显著，从而确认两个变量间可能存在因果关系。
但大数据的出现改变了这种在科学界普遍追求的因果关系的检验。大数据主要从相关性着手，而不是因果关系，这从本质上改变了传统数据的开采模式。例如2009年2月，谷歌的研究人员在《自然》发表了一篇论文，预测季节性流感的暴发，在医疗保健界引起了轰动。谷歌对2003年和2008年间的5000万最常搜索的词条进行大数据“训练”，试图发现某些搜索词条的地理位置是否与美国流感疾病预防和控制中心的数据相关。疾病预防控制中心往往跟踪全国各地的医院和诊所病人，但它发布的信息往往会滞后1～2个星期，但谷歌的大数据却是发现实时的趋势。
谷歌并没有直接推断哪些查询词条是最好的指标。相反，为了测试这些检索词条，谷歌总共处理了4.5亿个不同的数字模型，将得出的预测与2007年和2008年疾病预防控制中心记录的实际流感病例进行对比后，谷歌公司发现，它们的大数据处理结果发现了45条检索词条的组合，一旦将它们用于一个数学模型，它们的预测与官方数据的相关性高达97%。
数据往往都是不完美的，拼写错误和不完整短语很普遍。为什么谷歌可以实现这么精准的预测?如果从因果关系看，是因为人感到不舒服，或听到别人打喷嚏，或者阅读了相关的新闻后感到焦虑吗?谷歌不是从这种因果关系去考虑，而是从相关性的角度，去预测一个持续发展的大方向，因为大众的搜索词条处于不断变化之中，外界的一个蝴蝶翅膀的扇动，就会使搜索发生系统的、混沌的变化。 |
|
