本文我们将学习如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts构建实时分析Dashboard。
本文咱们将学习怎么运用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts构建实时剖析Dashboard。
问题描绘
电子商务门户期望构建一个实时剖析仪表盘，对每分钟发货的订单数量做到可视化，然后优化物流的功率。
解决方案
解决方案之前，先快速看看咱们将运用的东西：
- Apache Spark – 一个通用的大规模数据快速处理引擎。Spark的批处理速度比Hadoop MapReduce快近10倍，而内存中的数据剖析速度则快近100倍。更多关于Apache Spark的信息。
- Python – Python是一种广泛运用的高档，通用，解说，动态编程言语。 更多关于Python的信息。
- Kafka – 一个高吞吐量，分布式音讯发布订阅体系。 更多关于Kafka的信息。
- Node.js – 根据事情驱动的I/O服务器端JavaScript环境，运转在V8引擎上。 更多关于Node.js的信息。
- Socket.io – Socket.IO是一个构建实时Web应用程序的JavaScript库。它支撑Web客户端和服务器之间的实时、双向通信。
- Highcharts – 网页上交互式JavaScript图表。 更多关于Highcharts的信息。
- CloudxLab – 供给一个实在的根据云的环境，用于操练和学习各种东西。你能够经过在线注册当即开端操练。
怎么构建数据Pipeline?
下面是数据Pipeline高层架构图
咱们的实时剖析Dashboard将如下所示
实时剖析Dashboard
让咱们从数据Pipeline中的每个阶段的描绘开端，并完结解决方案的构建。
阶段1
当客户购买体系中的物品或订单办理体系中的订单状况变化时，相应的订单ID以及订单状况和时刻将被推送到相应的Kafka主题中。
数据集36大数据(http://www.36dsj.com/)
因为没有实在的在线电子商务门户网站，咱们准备用CSV文件的数据集来模仿。让咱们看看数据集：
数据集包括三列别离是：“DateTime”、“OrderId”和“Status”。数据会集的每一行表明特定时刻时订单的状况。这儿咱们用“xxxxx-xxx”代表订单ID。咱们只对每分钟发货的订单数感兴趣，所以不需求实践的订单ID。
能够从CloudxLab GitHub库房克隆完好的解决方案的源代码和数据集。
数据集坐落项目的Spark-streaming/data/order_data文件夹中。
推送数据集到Kafka
shell脚本将从这些CSV文件中别离获取每一行并推送到Kafka。推送完一个CSV文件到Kafka之后，需求等候1分钟再推送下一个CSV文件，这样能够模仿实时电子商务门户环境，这个环境中的订单状况是以不同的时刻距离更新的。在实际国际的情况下，当订单状况改动时，相应的订单详细信息会被推送到Kafka。
运转咱们的shell脚本将数据推送到Kafka主题中。登录到CloudxLab Web操控台并运转以下指令。
阶段2
在第1阶段后，Kafka“order-data”主题中的每个音讯都将如下所示
阶段3
Spark streaming代码将在60秒的时刻窗口中从“order-data”的Kafka主题获取数据并处理，这样就能在该60秒时刻窗口中为每种状况的订单计数。处理后，每种状况订单的总计数被推送到“order-one-min-data”的Kafka主题中。
请在Web操控台中运转这些Spark streaming代码
阶段4
在这个阶段，Kafka主题“order-one-min-data”中的每个音讯都将类似于以下JSON字符串
阶段5
运转Node.js server
现在咱们将运转一个node.js服务器来运用“order-one-min-data”Kafka主题的音讯，并将其推送到Web浏览器，这样就能够在Web浏览器中显现出每分钟发货的订单数量。
请在Web操控台中运转以下指令以发动node.js服务器
现在node服务器将运转在端口3001上。假如在发动node服务器时呈现“EADDRINUSE”过错，请修改index.js文件并将端口顺次更改为3002…3003…3004等。请运用3001-3010范围内的恣意可用端口来运转node服务器。
用浏览器拜访
发动node服务器后，请转到http://YOUR_WEB_CONSOLE:PORT_NUMBER拜访实时剖析Dashboard。假如您的Web操控台是f.cloudxlab.com，而且node服务器正在端口3002上运转，请转到http://f.cloudxlab.com:3002拜访Dashboard。
当咱们拜访上面的URL时，socket.io-client库被加载到浏览器，它会敞开服务器和浏览器之间的双向通信信道。
阶段6
一旦在Kafka的“order-one-min-data”主题中有新音讯抵达，node进程就会消费它。消费的音讯将经过socket.io发送给Web浏览器。
阶段7
一旦web浏览器中的socket.io-client接纳到一个新的“message”事情，事情中的数据将会被处理。假如接纳的数据中的订单状况是“shipped”，它将会被添加到HighCharts坐标系上并显现在浏览器中。
咱们还录制了一个关于怎么运转上述一切的指令并构建实时剖析Dashboard的视频。
咱们已成功构建实时剖析Dashboard。这是一个根本示例，演示怎么集成Spark-streaming，Kafka，node.js和socket.io来构建实时剖析Dashboard。现在，因为有了这些基础知识，咱们就能够运用上述东西构建更杂乱的体系。
