决议计划树分类算法

决议计划树概括是经典的分类算法。它选用自顶向下递归的各个击破办法结构决议计划树。树的每一个结点上运用信息增益衡量挑选测验特点。能够从生成的决议计划树中提取规矩。

KNN法(K-Nearest Neighbor)：

KNN法即K最近邻法，开始由Cover和Hart于1968年提出的，是一个理论上比较老练的办法。

该办法的思路十分简略直观：假如一个样本在特征空间中的k个最类似(即特征空间中最附近)的样本中的大多数归于某一个类别，则该样本也归于这个类别。

该办法在定类决议计划上只依据最附近的一个或许几个样本的类别来决议待分样本所属的类别。

KNN办法尽管从原理上也依赖于极限定理，但在类别决议计划时，只与极少量的相邻样本有关。

因而，选用这种办法能够较好地防止样本的不平衡问题。

别的，因为KNN办法主要靠周围有限的附近的样本，而不是靠判别类域的办法来确认所属类别的，因而关于类域的穿插或堆叠较多的待分样本集来说，KNN办法较其他办法更为合适。

该办法的不足之处是核算量较大，因为对每一个待分类的文本都要核算它到整体已知样本的间隔，才干求得它的K个最近邻点。

现在常用的处理办法是事前对已知样本点进行编排，事前去除对分类作用不大的样本。

别的还有一种Reverse KNN法，能下降KNN算法的核算复杂度，进步分类的功率。

该算法比较适用于样本容量比较大的类域的主动分类，而那些样本容量较小的类域选用这种算法比较简单发生误分。

SVM法：

SVM法即支撑向量机(Support Vector Machine)法，由Vapnik等人于1995年提出，具有相对优秀的性能指标。

该办法是树立在核算学习理论基础上的机器学习办法。

通过学习算法，SVM能够主动寻觅出那些对分类有较好区别才能的支撑向量，由此结构出的分类器能够***化类与类的间隔，因而有较好的适应才能和较高的分准率。

该办法只需求由各类域的鸿沟样本的类别来决议***的分类成果。

支撑向量机算法的意图在于寻觅一个超平面H(d),该超平面能够将练习会集的数据分隔，且与类域鸿沟的沿垂直于该超平面方向的间隔***，故SVM法亦被称为***边际(maximum margin)算法。

待分样本会集的大部分样本不是支撑向量，移去或许削减这些样本对分类成果没有影响，SVM法对小样本情况下的主动分类有着较好的分类成果

VSM法：

VSM法即向量空间模型(Vector Space Model)法，由Salton等人于60年代末提出。这是最早也是最知名的信息检索方面的数学模型。

其基本思想是将文档表明为加权的特征向量：D=D(T1，W1；T2，W2；…；Tn，Wn)，然后通过核算文本类似度的办法来确认待分样本的类别。

当文本被表明为空间向量模型的时分，文本的类似度就能够凭借特征向量之间的内积来表明。

在实践使用中，VSM法一般事前依据语料库中的练习样本和分类系统树立类别向量空间。

当需求对一篇待分样本进行分类的时分，只需求核算待分样本和每一个类别向量的类似度即内积，然后选取类似度***的类别作为该待分样本所对应的类别。

因为VSM法中需求事前核算类别的空间向量，而该空间向量的树立又很大程度的依赖于该类别向量中所包括的特征项。

依据研讨发现，类别中所包括的非零特征项越多，其包括的每个特征项关于类别的表达才能越弱。

因而，VSM法相对其他分类办法而言，更合适于专业文献的分类。

Bayes法：

Bayes法是一种在已知先验概率与类条件概率的情况下的形式分类办法，待分样本的分类成果取决于各类域中样本的整体。

设练习样本集分为M类，记为C=｛c1，…，ci，…cM}，每类的先验概率为P(ci)，i=1，2，…，M。当样本集十分大时，能够以为P(ci)=ci类样本数/总样本数。

关于一个待分样本X，其归于cj类的类条件概率是P(X|ci)，则依据Bayes定理，可得到cj类的后验概率P(ci|X)：

P(ci|x)=P(x|ci)·P(ci)/P(x)(1)

若P(ci|X)=Ma**(cj|X)，i=1，2，…，M，j=1，2，…，M，则有x∈ci(2)

式(2)是***后验概率判定准则，将式(1)代入式(2)，则有：

若P(x|ci)P(ci)=Maxj［P(x|cj)P(cj)］，i=1，2，…，M，j=1，2，…，M，则x∈ci

这便是常用到的Bayes分类判定准则。通过长时间的研讨，Bayes分类办法在理论上证明得比较充沛，在使用上也是十分广泛的。

Bayes办法的薄弱环节在于实践情况下，类别整体的概率散布和各类样本的概率散布函数(或密度函数)常常是不知道的。为了取得它们，就要求样本足够大。

别的，Bayes法要求表达文本的主题词彼此独立，这样的条件在实践文本中一般很难满意，因而该办法往往在作用上难以到达理论上的***值。

神经网络：

神经网络分类算法的重点是结构阈值逻辑单元，一个值逻辑单元是一个目标，它能够输入一组加权系数的量，对它们进行求和，假如这个和到达或许超过了某个阈值，输出一个量。

如有输入值X1, X2, …, Xn 和它们的权系数：W1, W2, …, Wn，求和核算出的 Xi*Wi ，发生了激起层 a = (X1 * W1)+(X2 * W2)+…+(Xi * Wi)+…+ (Xn * Wn)，其间Xi 是各条记载呈现频率或其他参数，Wi是实时特征评价模型中得到的权系数。

神经网络是根据经历危险最小化准则的学习算法，有一些固有的缺点，比方层数和神经元个数难以确认，简单堕入部分极小，还有过学习现象，这些自身的缺点在SVM算法中能够得到很好的处理.