Apache Beam 的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。

Apache Beam 是 Apache 软件基金会越来越多的数据流项目中***增加的成员,是 Google 在2016年2月份贡献给 Apache 基金会的孵化项目。

这个项目的称号表明晰规划:结合了批处理(Batch)形式和数据流(Stream)处理形式。它根据一种一致形式,用于界说和履行数据并行处理管道(pipeline),这些办理随带一套针对特定言语的SDK用于构建管道,以及针对特定运行时环境的Runner用于履行管道。

Apache Beam 的首要方针是一致批处理和流处理的编程范式,为***,乱序,web-scale的数据集处理供给简略灵敏,功用丰厚以及表达能力非常强壮的SDK。Apache Beam项目要点在于数据处理的编程范式和接口界说,并不触及详细履行引擎的完成,Apache Beam期望根据Beam开发的数据处理程序能够履行在恣意的分布式核算引擎上。

大数据一致的批处理和流处理规范 Apache Beam(大数据流处理和批处理区别)  大数据 批处理 流处理 第1张

转载请说明出处
知优网 » 大数据一致的批处理和流处理规范 Apache Beam(大数据流处理和批处理区别)

发表评论

您需要后才能发表评论