1.4 数据仓库和数据库有何不同?有哪些相似之处?
答:区别:数据仓库是面向主题的,集成的,不易更改且随时间变化的数据集合,用来支持管理人员的决策,数据库由一组内部相关的数据和一组管理和存取数据的软件程序组成,是面向操作型的数据库,是组成数据仓库的源数据。它用表组织数据,采用ER数据模型。
相似:它们都为数据挖掘提供了源数据,都是数据的组合。
1.3 定义下列数据挖掘功能:特征化、区分、关联和相关分析、预测聚类和演变分析。使用你熟悉的现实生活的数据库,给出每种数据挖掘功能的例子。
答:特征化是一个目标类数据的一般特性或特性的汇总。例如,学生的特征可被提出,形成所有大学的计算机科学专业一年级学生的轮廓,这些特征包括作为一种高的年级平均成绩(GPA:Grade point aversge)的信息, 还有所修的课程的最大数量。
?? 区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。例如,具有高GPA 的学生的一般特性可被用来与具有低GPA 的一般特性比较。最终的描述可能是学生的一个一般可比较的轮廓,就像具有高GPA 的学生的75%是四年级计算机科学专业的学生,而具有低GPA 的学生的65%不是。
?? 关联是指发现关联规则,这些规则表示一起频繁发生在给定数据集的特征值的条件。例如,一个数据挖掘系统可能发现的关联规则为:major(X, “computing science”) ? owns(X, “personal computer”)
[support=12%, confidence=98%] 其中,X 是一个表示学生的变量。这个规则指出正在学习的学生,12%
(支持度)主修计算机科学并且拥有一台个人计算机。这个组一个学生拥有一台个人电脑的概率是98%(置信度,或确定度)。
?? 分类与预测不同,因为前者的作用是构造一系列能描述和区分数据类型或概念的模型(或功能),而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。它们的相似性是他们都是预测的工具:
分类被用作预测目标数据的类的标签,而预测典型的应用是预测缺失的数字型数据的值。 ?? 聚类分析的数据对象不考虑已知的类标号。对象根据最大花蕾内部的相似性、最小化类之间的相似性的原则进行聚类或分组。形成的每一簇可以被看作一个对象类。聚类也便于分类法组织形式,将观测组织成类分
层结构,把类似的事件组织在一起。
?? 数据演变分析描述和模型化随时间变化的对象的规律或趋势,尽管这可能包括时间相关数据的特征化、区分、关联和相关分析、分类、或预测,这种分析的明确特征包括时间序列数据分析、序列或周期模式匹配、和基于相似性的数据分析
2.3 假设给定的数据集的值已经分组为区间。区间和对应的频率如下。
――――――――――――――――――――――――――――――――――――― 年龄 频率
――――――――――――――――――――――――――――――――――――― 1~5 200 5~15 450 15~20 300 20~50 1500 50~80 700 80~110 44
――――――――――――――――――――――――――――――――――――― 计算数据的近似中位数值。
解答: 先判定中位数区间:N=200+450+300+1500+700+44=3194;N/2=1597 ∵ 200+450+300=950<1597<2450=950+1500; ∴ 20~50 对应中位数区间。
∴ median=32.97 岁。
2.2 假定用于分析的数据包含属性age。数据元组的age 值(以递增序)是:13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,35,35,35,35,36,40,45,46,52,70。
答:(a) 该数据的均值是什么?中位数是什么? 均值
=(13+15+16+16+19+20+20+21+22+22+25+25+25+25+30+33+33+35+35+35+35+36+40+45+46+52+70)/27
=29.96
中位数应是第14个,即x14=25=Q2。
(b) 该数据的众数是什么?讨论数据的峰(即双峰、三峰等)。
这个数集的众数有两个:25 和35,发生在同样最高的频率处,因此是双峰众数。 (c) 数据的中列数是什么?
数据的中列数是最大数和最小数的均值。即:midrange=(70+13)/2=41.5。
(d) 你能(粗略地)找出数据的第一个四分位数(Q1)和第三个四分位数(Q3)吗?
数据集的第一个四分位数应发生在25%处,即在(N+1)/4=(27+1)/4=7 处。所以:Q1=20。 而第三个四分位数应发生在75%处,即在3×(N+1)/4=21 处。所以:Q3=35 (e) 给出数据的五数概括。
一个数据集的分布的5 数概括由最小值、第一个四分位数、中位数、第三个四分位数、和最大值构成。它给出了分布形状良好的汇总+并且这些数据是:13、20、25、35、70。 (f) 画出数据的盒图。
(g) 分位数—分位数图与分位数图的不同之处是什么?
分位数图是一种用来展示数据值低于或等于在一个单变量分布中独立的变量的粗略百分比。这样,他可以展示所有数的分位数信息,而为独立变量测得的值(纵轴)相对于它们的分位数(横轴)被描绘出来。但分位数—分位数图用纵轴表示一种单变量分布的分位数,用横轴表示另一单变量分布的分位数。两个坐标轴显示它们的测量值相应分布的值域,且点按照两种分布分位数值展示。一条线(y=x)可画到图中+以增加图像的信息。落在该线以上的点表示在y 轴上显示的值的分布比x 轴的相应的等同分位数对应的值的分布高。反之,对落在该线以下的点则低。 2.4假设医院检测随机选择的18个成年人年龄和身体脂肪数据,得到如下结果:
(a)计算年龄和脂肪百分比的均值、中位数和标准差. 年龄均值=(23+23+27+27+39+41+47+49+50+
52+54+54+56+57+58+58+60+61)/18=836/18=46.44, 中位数= (50+52)/2=51,
22
标准差=方差的平方根=开根号( 1/n[∑(Xi)-1/n(∑Xi)])=开根号 1/18[2970.44]=12.85. 脂肪百分比均值=28.78, 中位数=30.7, 标准差= 8.99. (b)绘制年龄和脂肪百分比的盒图
(c)根据这两个属性,绘制散布图,各q-q图
q-q图 散布图 (d)根据z-score 规范化来规范化这两个属性(P46)
(e)计算相关系数(皮尔逊积矩系数). 这两个变量是正相关还是负相关?
ra,b=∑(ai-A)(bi-B)/NσAσB=(∑(aibi)-NAB)/NσAσB=(∑(aibi)-18*46.44*28.78)/18*12.85*8.99=0.82
相关系数是0.82。变量呈正相关。
3.3 使用习题2.4 给出的age 数据回答下列问题:
(a) 使用分箱均值光滑对以上数据进行光滑,箱的深度为3。解释你的步骤。 评述对于给定的数据,该技术的效果。
(b) 如何确定数据中的离群点?
(c) 对于数据光滑,还有哪些其他方法?