MLlib是Spark的机器学习(ML)库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。

MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优化原语和高层的管道API。

MLllib目前分为两个代码包：spark.mllib 包含基于RDD的原始算法API。

spark.ml ，提供了基于DataFrames高层次的API，可以用来构建机器学习管道，FEA-spk技术的机器学习就是基于spark.ml 包。

spark.ml 包，是基于DataFrame的，未来将成为Spark机器学习的主要API。它可以在分布式集群上进行大规模的机器学习模型训练，并且可以对数据进行可视化。

一、随机森林分类算法的介绍

随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入时，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类(对应分类算法)，然后看看哪一类被选择最多，就预测这个样本为那一类。

使用Spark MLlib随机森林算法存在不足，需要改进!

具体来讲，使用Spark MLlib进行模型的训练，需要进行大量的数据转化，列聚合为向量等。非常麻烦，并且不能做数据的可视化。

而FEA-spk技术可以很好的解决这些问题。对模型进行训练只需要一句命令就行了，并且可以对结果数据进行可视化展示。

二、Iris 数据分类训练案例

下面列举一个用随机森林分类算法进行Iris 数据分类的例子。

1. 数据准备

原始的数据以及相应的说明可以到https://pan.baidu.com/s/1c2d0hpA下载。 我在这基础之上，增加了header信息。

这里将下载好的数据放到hdfs上面进行读取。

2. Iris 数据进行训练的具体步骤

(1)要使用FEA-spk技术，首先要创建一个spk的连接，所有的操作都是以它为上下文进行的。在fea界面运行以下命令

(2)加载数据，数据在hdfs上面，数据的格式为csv文件格式，目录为/data/iris_data.txt

(3)使用ML_si方法将字符型的label变成index

(4)将特征列的类型转化为double类型，因为spark.ml只支持double类型,使用 ML_double方法

(5)使用随机森林模型进行训练

在训练RandomForest模型的时候，我们需要设置好几个参数：

• maxBins

***装箱数，为了近似统计变量，比如变量有100个值，我只分成10段去做统计，默认值是32;

• numTrees

森林里有几棵树，默认值是20;

• minInstancesPerNode

每个节点最少实例，默认值是1;

• minInfoGain

最小信息增益，默认值是0.0;

• maxDepth

***树深度，默认值是5;

• maxMemoryInMB

***内存MB单位，这个值越大，一次处理的节点划分就越多，默认值是256;

• cacheNodeIds

是否缓存节点id，缓存可以加速深层树的训练，默认值是False;

• checkpointInterval

检查点间隔，就是多少次迭代固化一次,默认值是10;

• impurity

随机森林有三种方式，entropy，gini,variance,回归肯定就是variance,默认值是gini;

• seed

采样种子，种子不变，采样结果不变，默认值None;

• featureSubsetStrategy

auto: 默认参数。让算法自己决定，每颗树使用几条数据。

使用的参数如下图所示

(6)对训练好的模型进行打分

可以看到准确率达到了97%

(7)将训练好的模型保存到hdfs上面，以供下次使用

这个非常实用，对于模型比较大的情况下，利用HDFS的分布式结构就可以提高加载性能。

(8)将hdfs上面保存的模型加载进来

(9)对加载后的模型做预测

其中prediction列就是预测的结果

以上就是使用FEA-spk技术进行机器学习的步骤，它非常适合数据分析处理大规模的数据，简单、强大、可视化，不懂Java\Python同样可以玩转Spark!