编者注：纽约时报曾撰文称大数据年代现已降临，数据科学家曾被冠以最性感作业之称，可是电子商务咨询公司 Baynote 的创始人兼 CTO Scott Brave 却说咱们不需求更多的数据科学家，让大数据更方便运用就够了。

以下是他的观点：

大数据是本年的抢手，以至于纽约时报等媒体均声称大数据年代现已降临。发掘大数据能够产出洞察力以及运用大数据进行知情决议计划和举动所需的鼓励和架构。而发掘这些金矿的矿工，便是数据科学家，所以这种矿工也被冠以未来最性感作业的称谓。可是，今日任何一篇有关大数据的文章***都不可避免地得出这样一个定论，即数据科学家严峻缺少。麦肯锡 2011 年被热议的一项查询就指出，许多安排遍及缺少这类娴熟技能的人才。

可是怎么绕开这一瓶颈，让大数据直接为商业***所用却很少有人评论。软件产业此前现已做过这样的作业，现在咱们还能够再仿效。

为了完成这一方针，首要有必要了解数据科学家在大数据中的人物。现在，大数据便是相似于相似 Hadoop、NoSQL、Hive 以及 R 那样的分布式数据架构和东西的一个大熔炉。在这种高技能环境下，数据科学家充当了这些体系和事务侧范畴专家之间信息传递者与中介。

总的来说数据科学家有三个首要人物：数据架构、机器学习以及剖析。尽管这些人物都很重要，可是并非一切的公司都需求像 Google 和 Facebook 那样具有一支高度专业的数据团队。只需能开宣布与意图相符的产品，并让技能的复杂性尽或许的低，那么大数据的威力就能够直接交到事务用户手上。

作为比如，咱们能够回忆一下世纪之交的 web 内容管理革新。网站曾风行一时，但范畴专家却屡次受阻，由于 IT 是瓶颈。常常有新内容增加时都需求进行编列，有时候乃至需求 IT 精英硬编码进去。这个问题后来是怎么处理掉的?咱们把这些根本需求归纳并笼统进内容管理体系之中，然后让它们简略到连不明白技能的人也懂运用。瓶颈所以被打破了。

接下来，咱们以网上贸易为布景别离看看数据科学家的这三种人物。

数据架构

下降复杂性的要害是束缚规模。简直一切的电商都关怀用户行为的捕捉—活动、购物、离线买卖以及社会化数据，简直每一个电商也都会有产品目录和客户档案。

只需把规模束缚到这一根本功能上，就能够为规范数据输入创立模板，然后大大简化数据捕捉与管道衔接。在 2/8 准则下(80% 的大数据用例可运用 20% 的技能完成)，咱们不需求把一切不同的数据架构和东西(Hadoop、Hbase、 Hive、Pig、Cassandra 以及 Mahout)都打包进来。

机器学习

好吧，数据架构好像能够用体系搞定，机器学习总得要人来调教吧。假如需求是高度定制化的话，或许数据科学家是必要的。这儿面的许多作业都能够笼统出来，像引荐引擎和个性化体系等。比方说，数据科学家的很大一部分作业是做出“特征”形式，即把输入数据组合好，让机器有用学习。进程差不多便是数据科学家把数据摆弄好然后塞进机器，再按一下“发动”即可，数据科学家的作业仅仅需求协助机器以一种有意义的方法来审视这个国际。

可是假如依照单个范畴来看，特征创立也是能够模板化的。比方说，每个电子商务网站都有购买流和用户细分的概念。假如范畴专家能够直接将其思路编码进体系，将范畴表现到体系里边去，那么数据科学家这个翻译和中介是不是就能够省掉了?

剖析

从数据傍边主动剖分出最有价值的东西历来都不是一件易事。可是供给针对单个范畴的透视镜是有或许的—这能够让事务专家做试验，就像数据科学家那样。这好像是一个最简单处理的问题，由于市场上早现已有了各种特定范畴的剖析产品。

可是这些产品关于范畴专家来说束缚太多，不易挨近。界面友好性肯定还有改善的空间。咱们还需求考虑机器怎么从剖析得出的成果中学习。这是要害的反应环路，事务专家希望能修正这个环路。这又是一个供给模板化界面的时机。

正如 CMS 范畴的状况相同，这些处理方案也不能包治百病。可是针对泛化的一组数据问题选用技能处理方案能够缓解数据科学家的瓶颈问题。一旦范畴专家能够直接跟机器学习体系协作，咱们就能够进入大数据的新年代—一个人和机器能够彼此学习的新世纪。或许到了那个时候，大数据能处理的问题就能多于它制作的问题了。