大数据年代，数据发掘变得越加重要，从前做了许多，成功有之，失利的却更多，举一些比方，探究其失利原因，或许于咱们都有启示吧。

数据缺失总是存在。

为什么数据发掘的数据预备工作要这么长期，能够了解成取数时刻很长、转换成所需的数据方法和格局时刻很长，究竟只需这样做，才干喂给数据发掘引擎处理。

但数据预备的实在意图，其实是要从特定事务的视点去获取一个实在的数据国际，数据的获取比处理重要，技巧却是其次了。

离网猜测一直是许多事务范畴重视的焦点，特别是电信职业，但这么多年做下来，其构建的离网模型却难言成功，为什么?

因为数据获取太难了。

离网猜测期望用客户前史的行为数据来断定未来一段时刻离网的或许性，但国内的电信商场并不安稳，不只资费套餐杂乱，许多的促销方针不时轰炸眼球，咱们看得是热烈，但关于数据发掘人员来讲，却是事务了解和数据预备的凶讯了。

因为事务的了解很困难，数据彻底被事务歪曲，假如要猜测精确，不只自身事务促销的要素要考虑进去，还要考虑竞争对手策反方针、地域影响等等，你练习时看到的是一个简略的离网成果数据，但诱导要素反常杂乱，这类要素相关的数据底子取不到或许难以量化。

比方电信离网很大程度是竞争对手策反、客户迁徙离网等等，你知道竞争对手何时推出的促销方针吗?你知道客户什么时分搬的家吗?你如何用数据来表达这种影响?你的数据能习惯商场改变的节奏吗?

因此，假如某个合作伙伴来跟你说，我能够做电信职业的离网模型，那是个伪***，离网模型现已被电信职业做烂了，几乎没有成功的事例，即便一时成功也继续不了多久，只需事务不一致，就不大或许呈现一个根本适用的离网模型，你无法幻想全国10万个电信资费方针会对猜测建模形成怎样的影响。

与互联网大一统的数据比较，其搞的风控模型显着要简略的多了，因为数据的获取难度和安稳度不在一个量级上。

数据发掘，难就难在要为猜测的事务供给跟这个事务相关的数据环境，因此，有时离网模型做欠好，并不是模型师的错，也不是算法的问题，而是事务惹的祸，是数据问题。

你让开宣布Alphgo的DEEP MIND团队来做离网模型，也是一个死字，这或许也是传统职业数据发掘很难出作用的一个原因。

阿里的蚂蚁金服，所以能算法制胜，一个原因是它天然生成具有线上的资金来往数据，假如让它去剖析传统银行的线下数据，估量难度也很大。

数据发掘师特别强调要了解事务，便是期望你根据事务的了解能找到所需的解说数据，外来的和尚所以做欠好，也是这个要素，因为打一枪换一个当地的方法，跟扎根了解事务的建模文明各走各路。

数据预备，不确定性总是存在，因此必定程度上讲，这个国际是不行猜测的，猜测的才能，跟咱们收集数据的才能成必定的正相关联系。

大数据的含义，就在于能够收集到更多的数据，这个决议了咱们用机器解说国际的或许程度。

假数据真剖析。

仍是拿离网的比方，你就知道许多时分，所谓的解说数据，都是假数据，尽管你不是故意的，你还很仔细，但因为受限于事务才能，决议了你只能运用假数据，成果可想而知。

从前新手，在做离网猜测的时分，总喜爱拿订货成功的数据作为练习的数据，但这个显着是个大错误。

要知道，许多的事务订货是套餐顺便订货的，并不能反映用户的实在志愿，拿这个数据去练习，能练习出什么东西?这便是事务才能不行形成的现象。

现在互联网上估量这个现象很严峻，比方刷单，这些假数据严峻打乱了模型，去伪存真是数据发掘师的一个必修课。

但这个，惋惜又跟事务才能相关，依赖于实践和经历，假如让商场部司理转行去做数据发掘师，估量也很牛逼。

数据发掘，难就难在这里，其是事务、数据乃至是技能的结合体，在大数据年代，这个趋势会越加显着。

缺少关于“常理”的感觉。

以下是一个交际网络的事例，场景是需求关于两个通话(或其它)往来圈进行重合度断定，以辨认两个手机号码是否归于同一个人。

规矩好像很简略，但发掘出来的成果却不尽善尽美，精确率只需12%，百思不得其解。

后来发现断定重合度的阈值是30%，这个也不能阐明有问题，但问题出在关于基数的断定上，许多的用户总的往来圈只需3-4个，也便是说，重合1个就或许到达这个阈值，许多新手或许过于迷信技巧的人，往往忽视事务实质的知道。

数据发掘不只仅是一门发掘言语，还要有满足的日子认知和数据感觉，这个很难短期能够提高，依赖于长期实践，乃至以为，这个跟情商相关，有些人便是有感觉，一眼能发现问题。

缺少迭代的才能。

许多传统企业，数据发掘作用欠好，跟企业的安排、机制、流程等相关，举个比方：

从前给外呼部分做了一个外呼偏好模型，便是关于一切客户的外呼偏好排个序，在外呼资源有限的条件下，依照这个排序进行外呼，能够提高外呼功率，然后发布到标签库，然后让外呼部分去用，等候反应的时刻总是很长，咱们都懂的，然后就杳无音信了。

最近想起来，再去要成果，发现作用很不错，能实在提高10个百分点啊，但现已2个月过去了。

这还算一个较为成功的发掘，但又有多少模型因为线下流程的原因此被抛弃了，谁都知道，数据发掘靠的是迭代，很难***次就成功，但有多少星星在开端之时，就被掐灭了。

传统企业冗长的线下流程，确实成为了模型优化的大杀器，互联网公司天然生成的在线性让其算法发挥出巨大的价值，而传统企业的建模，往往还在为取得反应数据而尽力，安排、体系和运营上的距离很大。

推行是永远的痛。

许多传统企业不同地域上的事务差异，不只仅形成办理难度加大、体会不一致、体系过于杂乱、运营本钱昂扬，也让模型的建造和推行反常困难。

从模型自身的视点，不同地域的数据差异有时很大，在一个当地成功的模型，在另一个当地则彻底失利，过拟合现象举目皆是。

从事务了解的视点，建模团队要面临几个乃至十多个做相似事务的团队，各个团队的事务了解上的差异和关于建模的要求各不相同，形成了建模团队的莫衷一是。

模型推行，成为了建模团队巨大的担负，仿制模型，往往变成了重做模型，收集成果数据也难上加难，数据发掘，现已不是一项朴实的活。

提了以上五点，仅仅为了阐明数据发掘所以难，是归纳多种要素的成果，或许不是靠树立一个渠道，懂得一些算法，把握一个东西就能简略处理的，往往具有更深层次的原因。

咱们在尽力把握好“器”的一起，也要抬起头来，更全面的看待数据发掘这个工作，量体裁衣的拟定合适自己企业特色的数据发掘机制和流程。

当然，大数据年代的到来，让渠道，东西和算法也变得越加重要，这对数据建模师的知识结构也带来了新的冲击。