k-最临近分类算法（kNN）：假定每个类包含多个训练数据，且每个训练数据都有一个唯一的类别标记，k-最临近分类的主要思想就是计算每个训练数据到待分类元组的距离，取和待分类元组距离最近的k个训练数据，k个数据中哪个类别的训练数据占多数，则待分类元组就属于哪个类别。复杂度为O(nq)。
具体描述：

输入：	训练数据T；最临近数目k；待分类的元组t。
输出：	输出类别c。
N = σ;
for each d∈T do beginif |N|≤k thenN = N∪{d};elseif 存在u∈N such that sim(t,u) < sim(t,d) thenbeginN = N-{u};N = N ∪{d};end
end
c = class related to such u∈N which has the most number;

决策树分类方法

决策树：采用自顶而下的递归方式，在决策树内部结点进行属性值的比较并根据不同的属性值判断从该节点向下的分支，在决策树的叶节点得到结论。

决策树基本算法概述

决策树生成：决策树生成算法的输入是一组带有类别标记的例子，构造的结果是一棵二叉树或多叉树。

Generate_decision_tree//决策树生成算法
输入：训练样本sample，由离散值属性表示；候选属性的集合attribute_list。
输出：一棵决策树//由给定的训练数据产生一棵决策树
创建结点N
if sample 都在同一个类C then返回N作为叶节点，以类C标记；
if attribute_list 为空 then返回N作为叶节点，标记为samples中最普通的类；//多数表决
选择attribute_list中具有最高信息增益的属性test_attribute;
标记结点N为test_attribute;
for each test_attribute中的已知值ai//划分samples由结点N长出一个条件为test_attribute=ai的分支；
设si是samples中test_attribute=ai的样本的集合；//一个划分
if si 为空 then加上一个树叶，标记为samples中最普通的类；
else 加上一个由Generate_decision_tree(si,attribute_list-test_attribute)返回的结点；

决策树修剪：剪枝是一种克服噪声的基本技术，同时也能使树变得简化。
预先剪枝：子生成树的同时决定是继续对不纯的训练子集进行划分还是停机。
后剪枝：为一种拟合-化简的两阶段方法。首先生成于训练数据完全拟合的决策树，然后从树的叶子开始剪枝，逐步向根的方向剪。如果存在某个叶子剪去后使得在测试集上的准确度或其他测度不降低，则减去该叶子；否则停机。

ID3算法

ID3：决策树中每个非叶节点对应一个非类别属性，树枝代表这个属性的值。一个叶结点代表从树根到叶结点之间的路径对应的记录所属的类别属性值。每个非叶结点都将与属性中具有最大信息量的非类别属性相关联。采用信息增益来选择出能够最好地将样本分类的属性。
信息增益基于信息论中熵的概念，ID3总是选择具有最高信息增益的属性作为当前结点的测试属性。