分类
分类是用于识别什么样的事务属于哪一类的方法，可用于分类的算法有决策树、bayes分类、神经网络、支持向量机等等。
决策树
例1
一个自行车厂商想要通过广告宣传来吸引顾客。他们从各地的超市获得超市会员的信息，计划将广告册和礼品投递给这些会员。
但是投递广告册是需要成本的，不可能投递给所有的超市会员。而这些会员中有的人会响应广告宣传，有的人就算得到广告册不会购买。
所以最好是将广告投递给那些对广告册感兴趣从而购买自行车的会员。分类模型的作用就是识别出什么样的会员可能购买自行车。
自行车厂商首先从所有会员中抽取了1000个会员，向这些会员投递广告册，然后记录这些收到广告册的会员是否购买了自行车。 数据如下：
事例列 会员编号 婚姻状况 性别 收入 孩子数 教育背景 输入列 职业 是否有房 汽车数 上班距离 区域 年龄 12496 Married Female 40000 1 Bachelors 14177 Married Male 80000 5 24381 Single Male 70000 0 25597 Single Male 30000 0 Partial College Bachelors Bachelors Skilled Manual Professional Professional Clerical ………… Yes 0 0-1 Miles Europe 42 No 2 2-5 Miles Europe 60 No Yes 1 No 0 5-10 Miles 0-1 Miles Pacific 41 Yes Europe 36 Yes 预测列 是否购买自行车 No
在分类模型中，每个会员作为一个事例，居民的婚姻状况、性别、年龄等特征作为输入列，所需预测的分类是客户是否购买了自行车。
使用1000个会员事例训练模型后得到的决策树分类如下：
※图中矩形表示一个拆分节点，矩形中文字是拆分条件。
※矩形颜色深浅代表此节点包含事例的数量，颜色越深包含的事例越多，如全部节点包含所有的1000个事例，颜色最深。经过第一次基于年龄的拆分后，年龄大于67岁的包含36个事例，年龄小于32岁的133个事例，年龄在39和67岁之间的602个事例，年龄32和39岁之间的229个事例。所以第一次拆分后，年龄在39和67岁的节点颜色最深，年龄大于67岁的节点颜色最浅。
※节点中的条包含两种颜色，红色和蓝色，分别表示此节点中的事例购买和不购买自行车的比例。如节点“年龄>=67”节点中，包含36个事例，其中28个没有购买自行车，8个购买了自行车，所以蓝色的条比红色的要长。表示年龄大于67的会员有74.62%的概率不购买自行车，有23.01%的概率购买自行车。 在图中，可以找出几个有用的节点：
1. 年龄小于32岁，居住在太平洋地区的会员有72.75%的概率购买自行车； 2. 年龄在32和39岁之间的会员有68.42%的概率购买自行车；
3. 年龄在39和67岁之间，上班距离不大于10公里，只有1辆汽车的会员有66.08%的概率购买自行车；
4. 年龄小于32岁，不住在太平洋地区，上班距离在1公里范围内的会员有51.92%的概率购买自行车；
在得到了分类模型后，将其他的会员在分类模型中查找就可预测会员购买自行车的概率有多大。随后自行车厂商就可以有选择性的投递广告册。
数据挖掘的一般流程
第一步，建立模型，确定数据表中哪些列是要用于输入，哪些是用于预测，选择用何种算法。这时建立的模型内容是空的，在模型没有经过训练之前，计算机是无法知道如何分类数据的。
第二步，准备模型数据集，例子中的模型数据集就是1000个会员数据。通常的做法是将模型集分成训练集和检验集，比如从1000个会员数据中随机抽取700个作为训练集，剩下300个作为检验集。 第三步，用训练数据集填充模型，这个过程是对模型进行训练，模型训练后就有分类的内容了，像例子图中的树状结构那样，然后模型就可以对新加入的会员事例进行分类了。由于时效性，模型内容要经常更新，比如十年前会员的消费模式与现在有很大的差异，如果用十年前数据训练出来的模型来预测现在的会员是否会购买自行车是不合适的，所以要按时使用新的训练数据集来训练模型。
第四步，模型训练后，还无法确定模型的分类方法是否准确。可以用模型对300个会员的检验集进行查询，查询后，模型会预测出哪些会员会购买自行车，将预测的情况与真实的情况对比，评估模型预测是否准确。如果模型准确度能满足要求，就可以用于对新会员进行预测。
第五步，超市每天都会有新的会员加入，这些新加入的会员数据叫做预测集或得分集。使用模型对预测集进行预测，识别出哪些会员可能会购买自行车，然后向这些会员投递广告。
Na?ve Bayes
Na?ve Bayes是一种由统计学中Bayes法发展而来的分类方法。 例1
有A、B两个政党对四个议题进行投票，A政党有211个国会议员，B政党有223个国会议员。下表统计了政党对四个议题赞成或反对的票数。
国家安全法
个人财产保护法
遗产税
反分裂法
赞成
反对 赞成 反对 赞成 反对 赞成 反对A政党 41 166 87 114 184 11 178 B政党 214
4 211
6 172
36 210
A政党
20%
80%
43%
57%
94%
6%
89%
23 1
11%