一个实时流处理结构一般需求两个根底架构：处理器和行列。处理器从行列中读取事情，履行用户的处理代码，假如要继续对成果进行处理，处理器还会把事情写到别的一个行列。行列由结构供给并办理。行列做为处理器之间的缓冲，传输数据和事情，这样处理器能够独自操作和扩展。例如，一个web 服务拜访日志处理运用，或许是这样的：

结构之间的首要差异在于行列语义，一般不同之处有以下几点：

• 调度保障机制: 至少一次，至多一次，只要一次。

• 容灾机制: 失利对用户和主动康复是通明的。

• 可用性: 数据在呈现过错后能够保存并重启。

• 可扩展性:产品/用户添加时的局限性。

• 功能Performance: 行列操作的吞吐量和推迟。

咱们想在开源的Cask Data Application Platform(CDAP)上供给一个动态可扩展，强一致性而且有一次性交易机制的实时流处理结构，在这个强壮的机制维护下，开发者能够自在操作任何方法的数据操作而不必忧虑不一致性，潜在的返工和失利。它能够协助开发者在没有分布式体系布景的情况下树立他们的大数据运用。此外，假如需求能够封闭这种强壮的维护机制交换高功能。它总是比其他方法更简单运用。

可扩展行列

行列有两种根本操作：入队和出队。出产者将音讯写到队头（入队），顾客从队尾读取数据（出队）。假如做为一个全体你添加更多生成者时的入队速度和添加更多顾客时的出队速度足够快，咱们说这个行列是可扩展的。

抱负状态下，扩展是线性的，这意味着两倍的出产者 /顾客，会产生两位速度的出队/入队，添加只受集群的规划约束。为了支撑出产者的线性扩展，行列需求一个存储体系而且需求当时写入者的数量线性扩展。为了应对顾客的线性扩展，行列能够分区，例如一个顾客只处理行列中的一段数据。

行列扩展的另一个方面是它应该能够横向扩展。这意味着行列功能的上限能够经过添加集群结点的方法来提高。这是很重要的，它能够确保行列不受当时集群巨细约束依据数据的添加而扩展。

分区的 HBase 行列

咱们挑选Apache HBase做为行列的存储层。它为存储强一致性，可横向扩展的行数据做了规划和优化。它的并发写操作功能十分好，并供给了有序扫描以支撑分区顾客。咱们运用HBase Coprocessors 的高效扫描滤波和行列清洗。为了内行列上运用一次性语义，咱们用Tephra’s为 HBase 供给传输支撑。

出产者和顾客具有操作独立性。每个出产者经过 Hbase puts 批处理履行入队操作，顾客经过履行 Hbase Scans 履行出队操作。出产者和顾客的数量之间没有相关，他们能够别离。

此行列存在一个顾客组的概念。一个顾客组，是由相同的关键字区分的顾客调集，这样，每个发布到行列的事情，就会由此顾客组中的顾客去消费。运用顾客组，能够经过不同的关键字区分同一个行列，一起，也能够经过数据的操作性特点来拓宽。依照上面拜访日志剖析的比如，出产者和顾客组或许看起来像这样：

行列行值格局

当一个事情经过一个出产者被发布出去，一个或多个顾客组合将收到音讯，咱们把事情写入 HBase 表的一个或多个行上，那么这条记载就被规划成适用于每个顾客组。事情的有用负荷和元数据被存储在独立的列上，那么行的值便是下面这样的格局：

两个风趣的部分是行的值是分区 ID 和整个 ID。分区 ID 经过限制行值前缀再供给给顾客。顾客只被答应读数据，并在出队的时分运用前缀扫描。分区 ID 由两部分组成：一个顾客组 ID 和一个顾客 ID。出产者计算出每个顾客组的分区 ID，并经过入队写到那些行。

行关键字中的进口 ID（Entry ID）包括了业务信息。它由 Tephra 触发的出产者业务写指针和单向添加的计数器组成。这个计数器由本地的出产者生成，一起，针对事情，计数器需求让行关键字仅有，因为出产者能够在同一个业务中将多个事情参加行列。

出行列的时分，计数器会运用业务写指针来决议，行列进口是否现已提交，以及是否能够消费了。业务写指针和计数器的组合，使得行关键字总是仅有的。这让出产者能够独立的操作，而不会有写抵触。

为了生成分区 ID（Partition ID），出产者需求知道巨细和每个顾客组的分区关键字。当运用程序发动，以及组巨细产生任何改动的时分，顾客组信息都会被记载下来。

改动出产者和顾客

添加或削减出产者是很直接的，因为每个出产者都是独立操作的。添加或削减出产者进程就能够满意这个要求。但是，当顾客组的巨细需求改动的时分，就需求和谐来正确更新顾客组的信息。能够用下面的图表来归纳所需的进程：

因为暂停和康复是由 Apache ZooKeeper 来和谐的，一起它们也是并行履行的，所以它们是两个十分快速的操作。例如，之前咱们说到的 Web 拜访日志剖析运用程序，改动顾客组信息的进程或许看起来像这样：

根据这个行列的规划，入行列和出行列的功能，与独自的批量 HBase Puts 和 HBase Scans 平起平坐，这样也带来与 Tephra 服务器进行通讯的开支。经过在同一个业务处理中将多个事情批量处理，能够大大下降这个开支。

最终，为了防止“热门聚集（hotspotting）“，咱们根据簇的巨细提早分割了 HBase 表，一起，内行关键字（row key）上选用加盐（salting）的方法来更好的分配写。不然，因为是单调的添加业务处理写指针，行关键字就会是接连的。

功能值

咱们在小型的 10 节点的 HBase 集群上现已测试过功能，成果令人形象深入。运用 1K 字节负载，以 500 个事情为一个批次巨细，咱们完成了出产和消费 100K 个事情/秒的吞吐量，其间运转了 3 个出产者和 10 个顾客。咱们也观察到当咱们添加顾客和顾客的时分，吞吐量线性添加：例如，当咱们将出产者和顾客数量加倍的时分，吞吐量添加到 200K 个事情/秒。

在 HBase 的协助下，结合最佳实践，咱们成功的创建了一个线性可弹性的，分布式业务行列体系。一起，在 CDAP 中运用这个体系供给实时流处理结构：动态可弹性，强一致性，以及一次交给的传输确保。