比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求,目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm; 这三个框架各有优势,现在都属于 Apache 基金会下的顶级项目,下文将对三个框架的特点与适用场景进行分析,以便开发者能快速选择适合自己的框架进行开发。

Storm、Spark和MapReduce 开源分布式核算体系结构比较(对比mapreduce说明spark技术特点)  Storm Spark MapReduce 第1张

比较项 Storm Spark Streaming 分布式核算在许多范畴都有广泛需求,现在盛行的分布式核算结构首要有 Hadoop MapReduce, Spark Streaming, Storm; 这三个结构各有优势,现在都归于 Apache 基金会下的***项目,下文将对三个结构的特色与适用场景进行剖析,以便开发者能快速挑选合适自己的结构进行开发。

Hadoop MapReduce 是三者中呈现最早,知名度***的分布式核算结构,最早由 Google Lab 开发,使用者遍及全球(Hadoop PoweredBy);首要适用于大批量的集群使命,由所以批量履行,故时效性偏低,原生支撑 Java 言语开发 MapReduce ,其它言语需求使用到 Hadoop Streaming 来开发。Spark Streaming 保留了 Hadoop MapReduce 的长处,并且在时效性上有了很大进步,中心成果能够保存在内存中,从而对需求迭代核算和有较高时效性要求的体系供给了很好的支撑,多用于能忍受小延时的引荐与核算体系。Storm 一开始便是为实时处理规划,因此在实时剖析/功能监测等需求高时效性的范畴广泛选用,并且它理论上支撑一切言语,只需求少数代码即可完结适配器。

下面的表格是对三者部分特性的比较,描绘时刻为 2015-5-3,三个项目均处于快速迭代中,文中描绘特性会随时发生改变,假如与官方文档发生收支以官方文档为准。

Storm、Spark和MapReduce 开源分布式核算体系结构比较(对比mapreduce说明spark技术特点)  Storm Spark MapReduce 第2张

表格阐明:

开源时刻以 github 上最早的 commit 或许官网上最早发布版别的时刻为准。

当时版别与特性描绘截止 2015-5-3。

相关资料量经过比较官方文档、搜索引擎、论坛等途径得出。

部分比较数据来源于实践或相关文章(未找到出处)。

本文会坚持更新,假如数据发现有收支,欢迎纠正。

转载请说明出处
知优网 » Storm、Spark和MapReduce 开源分布式核算体系结构比较(对比mapreduce说明spark技术特点)

发表评论

您需要后才能发表评论