模式识别实验(一)
Problem—1
实验结果:
(a) 对实验数据中W1的三个特征进行计算,利用最大似然估计得到的均值和方差为:
(u1, u2 ,u3)=(-0.0709,-0.6047,-0.9110);(δ11,δ22,δ33) =(1.0069,4.6675,5.0466);
(b) 对W1中的特征两两组合,得到的均值和协方差见下表3—5行; (c) 对W1中的三个特征的组合,得到的均值和协方差见下表第6行;
(d) 在三维高斯模型可分离的条件下,类别W2中的均值和协方差矩阵中的3个参数见
下表第7行;
Problem—1 特征组合 x1-x2-x3 X(1,2) X(1,3) X(2,3) X(1,2,3) 均值 (-0.0709,-0.6047,-0.9110) (-0.0709,-0.6047) (-0.0709, -0.9110) (-0.6047, -0.9110) 方差 (1.0069,4.6675,5.0466) 数据集 (W1) ?1.00690.6309? ??0.63094.6675?????1.00690.4379? ??0.43795.0466?????4.66750.8152? ??0.81525.0466????(-0.0709,-0.6047,-0.9110) ?1.00690.63090.4379??? ?0.63094.66750.8152??0.43790.81525.0466???数据集 (W2) 可分离的高斯模型 (-0.1126,0.4299, 0.0037) ?0.0599??? 0.0511???0.0081??? (e) 由上表可看出,如果对于同一个数据集,前四种方式计算出来的均值是相同的。这
是因为数据集的均值不依赖于特征集是否相关;
(f) 由表中可看出,如果对于同一个数据集:(1)第一种方式和第四种方式计算出来的
方差是相同的,应为在高斯可分离的条件下,数据的各个特征之间是独立的,可对每一个特征进行独立计算方差;(2)第一种方式、第四种方式计算出来的协方差和第二种方式、第三种方式计算出的协方差是不相同的,因为前者假定特征之间是不相关的,而后者假定特征集之间是相关的。
Problem—9
实验结果:
(a)、用FISHER线性判别方法,对三维数据求最优投影方向w的通用程序如下;
function w=fisher(w1,w2) %%w1,w2为两类数据集 u1=mean(w1(1:10,:)); u2=mean(w2(1:10,:));
S1=(w1(1,:)-u1).'*(w1(1,:)-u1); S2=(w2(1,:)-u2).'*(w2(1,:)-u2); for i=2:10
S1=S1+(w1(i,:)-u1).'*(w1(i,:)-u1); S2=S2+(w2(i,:)-u2).'*(w2(i,:)-u2); end
Sw=S1+S2;
w=inv(Sw)*(u1-u2).'; return;
(b)、对表格中的类别W2和W3,出的最优投影方向为:
w= [-0.3832,0.2137,-0.0767]';
(c)、画出最优投影方向w的直线,并且标记出投影后的点在直线上的位置如下:
(d)、对每种分布用一维高斯函数拟合后,求出的分类决策面为:g(x)=-0.0614 (e)、(b)中得到的分类器的训练误差是Error=0.2000=20%
(f)、使用非最优方向w=(1.0,2.0,-1.5)’,在这个非最优子空间中,训练误差是
Error=0.3500=35%。