导读

大数据实践上有三个首要的了解：大数据确实带来了大的时机;大数据也引来了大风险;大数据自身十分像大忽悠。

一、大数据带来大时机

各行各业日新月异地运用大数据

先说大数据，大数据到来之后，包括电子商务、零售企业、交通运输、信息工业、公共卫生、教育以及出产企业对零部件的监测，各个工业实践上都在日新月异地运用大数据。在这傍边，在全球范围内构成了许多重要的事例，我简略介绍几个。

1 TARGET

在大数据范畴做的最好的一个公司叫Target。它用抽样查询和大数据结合，结构了整个智能的广告推送体系，做得十分十分好，后边我会用一个事例来讲。

2 TESCO

有一个在全球范围内影响力十分大的公司叫TESCO，在我国叫乐购。它用的是一个抽样试验加剖析，然后进行大数据推送。TESCO可以确保任何一个人只需在这里有了一个完好的消费之后，你出来的那一片刻看到的广告和你进来时是彻底不相同的。由于他会依据你的需求来推送彻底不同的东西。可是咱们也要留意，这傍边的条件是试验。TESCO每天都在进行上百个试验。

3 ZARA

其他一个是咱们都比较了解的服装品牌ZARA。ZARA玩的是一个比较传统的办法。它用视频监测，不仅仅看你是否偷了衣服，更重要的是记载你的行为。每一个店长便是查询员，每天搜集几千个数据，找寻顾客的需求，这也可以叫查询。历时很长的话就有数据量的影响。

4 亚马逊

在整个信息工业傍边，特别电商中做得比较好的是亚马逊。它在大数据运用中最典型的传统的办法是行为痕迹的建模和文本发掘的结合，构建它的数据体系。

5 沃尔玛

还有一个是沃尔玛。它花钱买了一个不到100人的做交际大数据剖析的公司Kosmix，一起还建了一个仓储的大数据东西。

这是几个十分典型的国外的比方。

二、大数据引来的大风险

处处都是假规则

实践上大数据带来了几个十分重要的风险。

1.核算速度不抱负

Hadoop速度十分快，是调取、存储和归整数据的极好的东西。可是对发掘数据来讲，这个东西并没有那么好。前一段时刻，咱们做了一个历时半年的900万用户的智能手机运用习气的研讨。在数据建模的时分咱们发现，核算速度实践是一个十分大的问题。咱们把16台尖端服务器连成一个超级核算机，在这个基础上把模型建好，运算全数据的进程花了整整21天。我信任航天这些的运算速度没有问题，可是学界的，商用的的东西中，核算速度存在着十分大的问题。

2.海量数据十分风险

只需玩大数据的人会发现处处都是假规则。我拿一个小数据举例。

比方，五千个样本做一个十分简略的线性回归的时分发现有三个变量线性明显。可是没做任何改动，把这个变量仿制倍，明显的份额或许五个了，到33万的时分或许一切变量之间的联络都明显了。问题是核算上都明显了，但一切这些成果都是错的。当数据运算量大到大约33万到70万之间时，咱们会发现一个十分重要的哲学问题，这个哲学问题是什么呢?——万物都是有联络的。这件工作十分可怕!十分费事!究竟什么是真的规则?

1970年有一个学者安德森说过“多带来不同”，那个年代提出这个观念十分好。可是现在“多”带来的真的是不同吗?有时分带来的还有苍茫，自我高潮和假规则。这点十分风险。

斯坦福大学的Trevor Hastie说了一句闻名的话，“在稻草里找一根针”。问题是许多稻草长得跟针是相同的，这是一切大数据研讨面对的最大风险。数据太大之后带来的实践上是规则的丧失和失真，所以千万不要忽视了抽样。咱们在900万用户的剖析中，假如其时直接拿出900万的数据，用6个月的时刻，进行移动互联网行为建模，估量到今日我这个模型也建不出来。咱们用的事不断勘探的进程办法，等于先在里边抽了40万，然后在40万中又抽了2000人做问卷查询，来了解这套数据的逻辑。用40万进行常识性建模，然后再在900万中进行建模，再优化它，构成最终的成果。不要忽视抽样，不要由于咱们有了大数据就把传统的常识去掉。

3.数据是开裂而关闭的

比方腾讯说我有全数据，你是很全，但你究竟有没有百度的?有没有京东的?阿里的?假如没有怎样谈得上全呢?最近呈现了一个好的形象性的词汇——“数据孤岛”。咱们在喊大数据的进程中构成一个个数据孤岛，在这些孤岛没有打破之前，咱们基本上谈不上“全”这个词，更甭说这个数据内部的开裂结构。

4.缺失风险

对一切的大数据来讲，剖析一个小问题的时分，数据量都不大。几百万，一千万，这个数据量都是可控可选的。关于一切人来讲，要是进行一个全剖析时都是残缺永久多于数据。在这种建构进程中，在数学核算学上有两个很重要的词，一个叫技术矩阵，一个叫程序矩阵。独自剖析都问题不大，最怕的是这两个混合。微博、微信合在一起必定是简略的。可是微博和一个十分小的技术合在一起，便是一个信息一个技术，怎样剖析它?这点难度是极大的。

5.其他风险

风险这一块儿许多人在谈，有治安的问题，有侵略个人隐私的问题。现在特别在车联网、物联网的开展进程中，乃至今后咱们买的任何一个东西，咱们的油烟机、冰箱、洗衣机、电视里边都有定位。由于那时一个定位设备或许就十块钱，十分廉价。你的方位，你在这个城市大约的掩盖的逻辑我都知道了，然后我可以传到网络上去。假如所在的环境中处处都是Wifi的时分，会不会构成公共健康问题?这些都有待各个范畴的专家予以弥补。

三、大数据自身很像大忽悠

精准营销怎样变成了精准打扰?

咱们看下面的事例

假定一个人买了A牌的卫生纸，B牌的护手霜，他买C牌牛奶的或许性是其他人的4.84倍，买某种饼干的或许性是其他人的4.82倍。假如他买了某种牌子的盐，那他买某品牌卷烟的或许性是其他人的4.44倍。这仅仅把它切断出来，实践上这个数据是一个十分长的购物篮技术。在这类剖析中，咱们会发现它自身依靠的确实有大数据的源头，可是真实在剖析傍边也会面对其他问题。

所以，我今日更重要的是要讲大数据与大忽悠。

只见数据不见人是十分风险的

许多人没搞了解，数据收拾、展现、描绘和发掘是彻底不同的概念。收拾、描绘、展现一个数据，用CRM、ERP很简略，它是简略问题。可是发掘是一个复杂问题。假如咱们收拾数据会发现有一些所谓大数据模型是这样的：用一个模型代替重要的开展用户。可是问题是相同一种行为或许同一个人，咱们的主意彻底不相同，怎样或许用一个模型可以代替了呢?这个实践上你会发现它便是一个海市蜃楼相同，由于只见数据不见人是十分风险的。

“云”究竟是浮云仍是真实的核算云不好说

现在“云”许多，究竟是浮云仍是真实的核算云不好说。假如咱们要剖析的话，大数据引领的一个年代是一个十分有意思的工作。在没有总结总体性规则的时分，咱们直接对个别进行了解，这实践上跟咱们常识性的学术研讨的逻辑相违反。这种办法简略、有用、粗犷，实践验证的成果不必定有用。

数据可视化不能只流于形式

数据展现构成一个十分重要的门户叫数据可视化，我对这些朋友心存敬意。由于国外的可视化技术到最终基本上是艺术。美丽吗?很美丽，可是得出了什么定论呢?谁粉丝多谁转化率高。于建嵘教师比我粉丝多多了，他的转发量必定比我高，转发率呢?可视化的感触十分好，但它只归于展现，并没有剖析内涵的规则。

咱们从前做过一个简略的抽样查询。咱们建模剖析的是2003年淘宝在全我国运转之后，对我国网络带来的影响。这个时分总共用一张图展现不了，得用16张图展现一个现象。我或许有点儿坐井观天，但现在还没有见到其他研讨运用这种比较深化的剖析办法。

世上最远的路，是从精准推送到精准打扰的套路

真实数据发掘在国外的经典事例傍边，Target的事例最有典型含义。日子改动会导致购物行为的改动，然后会有一些大数据推送办法的改动。营销学、广告学、公共卫生学、心理学、数据剖析、数据发掘，一切这些常识是混合性常识，大数据恰恰需求这种混合才或许做好。

前两天我买了一个5升的洗衣液，家里人再多，我至少也得用一个月。一起你也要知道我买的时分我是其他什么都没看，直接到那儿下完单就走了，这说明我是品牌忠实者。你应该做的不是在我一上网的时分就推送一大堆各种品牌的洗衣，你应该告诉我这个品牌洗衣液在什么时刻打折，这才叫大数据剖析。

数据发掘的商业实质要简略不能再简略，可是进程十分复杂。不是简略的CRM、ERP跑一圈儿就给你推送。那是从精准营销蜕变为精准打扰。

四、大数据的中心是重视人道

感觉、领会、灵机一动、领会、内省，都是大数据的思维。

所以，数据发掘不是黑箱，不是一个调集数据的办法，也不是收拾数据的办法，它实践上需求在思维的基础上做。真实进行跟人相关的大数据发掘的时分必定要重视人道。许多人说网购起来之后实体店不行了。假如实体店真的不行了，年青女孩到哪儿挥洒芳华?逛街的中心在“逛”，不在于“买”。要了解人道再去建那种模型才会有含义。

苹果

许多人说乔布斯不信任查询。乔布斯最基本的习气，常常整天躲在苹果领会店前的灌木丛中看领会店里的人在干嘛。这是典型的观察法，是人类研讨问题最前期的研讨办法。所以，感觉、领会、灵机一动、领会、内省，一切这些看起来跟大数据无关的东西或许恰恰是大数据的中心，由于它是思维。

谷歌

谷歌在2008年的时分开发一个十分重要的东西，叫流感趋势猜测，开始它猜测的成果比美国疾控中心的猜测成果还准，轰动了全球。成果接下来你会发现它那个东西越来越乱，严峻高估了流感的状况。为什么?便是由于方才谈到的维克多·迈尔-舍恩伯格这一门户在谈大数据的时分重相关不重因果。不管真相关假相关，相关就重，正是假相关造就了谷歌的失利。假相关怎样来的?某一次流感发病的时刻点，比方跟美国中学生篮球赛那个时刻点是彻底一致的。你说这俩概念能有联络吗?问题是只需查找中学生的篮球赛，就构成了流感猜测的一个首要的词之一。相似的东西太多了，为什么?由于在谷歌猜测的时分，没有找疾控专家。这些东西才是进行大数据猜测的一个很重要的条件。

这里边便是过度拟合、虚伪相关和人道这几个问题造就了谷歌的过错。

这时你也会发现这些商业公司在做的时分，更多是跟商业逻辑相关的一个概念。它真的不是纯的研讨，并且咱们并不知道它整个核算的完好进程。所以，把握大数据自身并不等于是具有杰出的数据。这是美国《科学》杂志在体系评价谷歌的时分说出来的一句话。

五、把握大数据自身并不等于是具有杰出的数据

大数据仅仅一个东西，不能代替基础常识。

在实践的商业运用中，现在这个年代，要一揽子把大数据这个概念说透，我觉得神仙也做不到。在实际的运用中，大数据小运用是一个中心办法。前面我说到的五个国外的比较好的成功事例傍边，没有一个不包括抽样，没有一个不包括小数据。也便是说大数据不能忽视各个专业的基础常识，比方前史学、法学、政治学、社会学、心理学，大数据自身不构成带来常识的堆集，它仅仅带来一个数的改动。

算法假如依靠了对这个独立范畴的深度了解，再去跟IT、数学的技术连在一起，会做出一个比较好的大数据剖析。只靠一个算法得到得那种常识十分快，可是从现来看，过错率也是极高的。算法自身仍是依靠于人。所以，人工智能的中文翻译真是挺好的，没有人工，无法智能，所以叫“人工智能”，这是确确实实有道理的一个概念。

总结

从我个人了解来讲，大数据运算自身结构给咱们一个有更多才能的新的算盘，你说算盘有用吗?确确实实有用，可是算盘代表了一切常识吗?不或许。它是给咱们供给了一个各个范畴都可以用的一个东西。

商业实质傍边，纯IT人员或许真的无法做好发掘这个概念。能做好收拾、展现、调取，可是发掘很难，或许需求商场研讨的、营销方面的专业人员。其他假如是前史就让前史学家一起介入，假如社会就让社会学家一起介入，这个时分或许能把东西做好。