Spark 在 6 月份取得了激动人心的成果。在圣何塞举行的 Hadoop 峰会上，Spark 成了人们常常提及的论题和许多讲演的主题。IBM 还在 6 月 15 号宣告，将对 Spark 相关的技能进行巨额出资。

　　这一声明协助推进了旧金山Spark 峰会的举行。在这里，人们会看到有越来越多的工程师在学习 Spark，也有越来越多的公司在实验和选用 Spark。

　　对 Spark 的出资和选用形成了一个正向循环，敏捷推进这一重要技能的老练和开展，让整个大数据社区获益。可是，人们对 Spark 的日益重视让一些人发生了古怪、顽固的误解：即 Spark 能代替 Hadoop，而不是对 Hadoop 的弥补。这一误解从《公司纷繁扔掉大数据技能 Hadoop 》这样的新闻标题上就能看出来。

　　作为大数据长时间践行者、现任大数据即服务公司***执行官，我想就这一误解宣布观点，进行一些弄清。

　　Spark 和 Hadoop 合作得很好。

　　Hadoop 正日益成为公司处理大数据的企业渠道之选。Spark 则是运转在 Hadoop 之上的内存中处理解决方案。Hadoop ***的用户（包含易趣和yahoo）都在自己的 Hadoop 集群中运转 Spark。Cloudera 和 Hortonworks 在其 Hadoop 包中也加入了 Spark。咱们 Altiscale 的客户在咱们最开端推出时就运用运转着 Spark 的 Hadoop。

　　将 Spark 放到 Hadoop 的对立面就像是在说你的新电动车十分酷，底子不需要电相同。但事实上，电动车会推进对更多电力的需求。

　　为什么会发生这种混杂？现在的 Hadoop 由两大部分组成。***部分是名为 Hadoop 分布式文件体系（HDFS）的大规模存储体系，该体系能高效、低成本地存储数据，且针对大数据的容量、多样性和速度进行了优化。第二部分是名为 YARN 的核算引擎，该引擎能在 HDFS 存储的数据上运转很多并行程序。

　　YARN 能保管恣意多的程序结构。开始的结构是由谷歌创造的 MapReduce，用来协助处理海量网络抓取数据。Spark 是另一个这样的结构，还有一个名为 Tez 的新结构。当人们议论 Spark 与 Hadoop 的“对决”时，他们实际上是在说现在程序员们更喜爱用 Spark 了，而非之前的 MapReduce 结构。

　　可是，MapReduce 不应该和 Hadoop 同等起来。MapReduce 仅仅 Hadoop 集群处理数据的许多方法之一。Spark 能够代替 MapReduce。商业剖析们会防止运用这两个本来是供程序员运用的底层结构。相反，他们运用 SQL 等高档言语来更方便地运用 Hadoop。

　　在曩昔四年中，根据 Hadoop 的大数据技能呈现出了让人眼花缭乱的立异。Hadoop 从批处理 SQL 进化到了交互操作；从一个结构（MapReduce）变成了多个结构（如 MapReduce、Spark 等）。

　　HDFS 的功能和安全也得到了巨大改善，在这些技能之上呈现了很多东西，如Datameer 、 H20 和Tableau 。这些东西极大地扩展了大数据基础设施的用户规模，让数据科学家和企业用户也能运用。

　　Spark 不会代替 Hadoop。相反，Hadoop 是 Spark 的柱石。跟着各个安排寻求运用规模最广、最强健的渠道来将自己的数据财物转变为可举动的商业洞见，它们对 Hadoop 和 Spark 技能的选用也会越来越多。