信息论部分习题参考解答-2010 下载本文

2-1 同时掷两个正常的骰子,也就是各面呈现的概率都是1/6,求: (1)“3和5同时出现” 这事件的自信息量。 (2)“两个1同时出现” 这事件的自信息量。

(3)两个点数的各种组合(无序对)的熵或平均信息量。 (4)两个点数之和(即2,3,…,12构成的子集)的熵。 (5)两个点数中至少有一个是1的自信息。 解:

(1)设X为‘3和5同时出现’这一事件,则P(X)=1/18,因此 I(X)??log2p(x)?log218?4.17 (比特) (2)设‘两个1同时出现’这一事件为X,则P(X)=1/36,因此 I(X)??log2p(x)?log236?5.17 (比特)

(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 H(X)?(4)

615log236?log218?4.337(比特/组合) 3618111111log236?log218?(?)log212?(?)log29?36181836181811136111(??)log2]?2?(??)log26?3.44(比特/两个点数之和)1818365181818H(X)?[

(5)两个点数至少有一个为1的概率为P(X)= 11/36 I(X)??log211?1.71(比特) 362-6设有一离散无记忆信源,其概率空间为

?X??x1?0x2?1x3?2x4?3????????? ?P??3/81/41/41/8??

该信源发出的信息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032

011 223 210),求:

(1) 此信息的自信息量是多少?

(2) 在此信息中平均每个符号携带的信息量是多少? 解:(1)由无记忆性,可得

(比特/序列) I?14I(0)?13I(1)?12(2)?6I(3)?87.18

(2)H?I/45?1.91 (比特/符号)2-9在一个袋中放有5个黑球、10个白球,以摸一个球为一次实验,摸出的球不再放进去。求:

(1)一次实验包括的不确定度。

(2)第一次实验X摸出的是黑球,第二次实验Y给出的不确定度; (3)第一次实验X摸出的是白球,第二次实验Y给出的不确定度; (4)第二次实验Y包含的不确定度。

123 log23?log2?0.92(比特/一次实验)3324141014 (2)H(X) ?log2?log2?0.86(比特/一次实验)1441410514914(3)H(X) ?log2?log2?0.94(比特/一次实验)14514912(4)H(X) ?H(X1)?H(X2)?0.91(比特/一次实验)33解:(1)H(X)?2-11两个试验X和Y,X??x1,x2,x3?,Y??y1,y2,y3?,联合概率p(xiyj)?pij已给出,

(1) 如果有人告诉你X和Y的试验结果,你得到的平均信息量是多少? (2) 如果有人告诉你Y的试验结果,你得到的平均信息量是多少?

(3) 在已知Y试验结果的情况下,告诉你X的试验结果,你得到的平均信息量

是多少?

?p11??p21?p?31 解:

p12p22p32p13??7/241/240????p23???1/241/41/24?

?p33?1/247/24???0?72411 log2?2?log24??4log224?2.(比特3/符号)247424111(2)H(Y) ?log23?log23?log23?1.58(比特/符号)333(1)H(XY)??H(XY)?H(Y)?0.72(比特/符号)(3)H(X/Y)

2-12有两个二元随机变量X和Y,他们的联合概率如表所示,并定义另一随机变量

Z=XY(一般乘积)。试计算: (1) H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)。

2

(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y ),H(X/YZ)

H(Y/XZ)和H(Z/XY)。 (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。

X Y 0 1 0 1/8 3/8 1 3/8 1/8 解:

(1)P(X11)?P(X2)?P(0)?P(1)?2 H(X)?12log122?2log22?1 (比特/符号) H(Y)?1比特/符号

2H(Z)???p(zi)log2p(zi)i?1 ?(?p(0)log2p(0)?p(1)log2p(1))

?7818log27?8log28?0.54(比特/符号) 由表得H(XY)?(18log3828?8log23)?2?1.81(比特/符号) H(XZ)?1.41比特/符号 H(YZ)?1.41比特/符号 H(XYZ)?1.81比特/符号

(2)H(X/Y)?H(XY)?H(Y)?1.81?1?0.81(比特/符号)

H(Y/X)?H(XY)?H(X)?1.81?1?0.81(比特/符号) H(X/Z)?H(XZ)?H(Z)?1.41?0.54?0.87(比特/符号) H(Z/X)?H(XZ)?H(X)?1.41?1?0.41(比特/符号)

H(Y/Z)?0.87(比特/符号)

3

H(Z/Y)?0.41(比特/符号)H(X/YZ)?H(XYZ)?H(YZ)?1.81?1.41?0.(比特4/符号) H(Z/XY)?H(XYZ)?H(XY)?1.81?1.81?(比特0/符号)

?H(X)?H(X/Y)?1?0.81?0.19(比特/符号)(3) I(X;Y)

I(X;Z)?H(X)?H(X/Z)?1?0.87?0.13(比特/符号) I(Y;Z)?H(Y)?H(Y/Z)?1?0.87?0.13(比特/符号)

I(X;Y/Z)?I(X;YZ)?I(X;Z) ?H(X)?H(X/YZ)?I(X;Z)?1?0.4?0.13?0.47(比特/符号)(IY;X/Z)?I(Y;ZX)?I(Y;Z)?H(Y)?H(Y/ZX)?I(Y;Z)?1?0.4?0.13?0.47(比特/符号)I(X;Z/Y)?0.41?0.41(比特/符号)

2-13一个信源发出二重符号序列消息(i , j),其中第一个符号i 可以是A,B,C中

的任一个,第二个符号j可以是D,E,F,G中的任一个。已知各个

P(i)和P(j/i)值列成如下表。求这个信源的熵(联合熵H(IJ))。

P(i)D P(j/i)E F G 解:H(I)?A 1/2 1/4 1/4 1/4 1/4 B 1/3 3/10 1/5 1/5 3/10 C 1/6 1/6 1/2 1/6 1/6 111 log22?log23?log26?1.46(比特/符号序列)2364

H(J/I)????p(i)p(j/i)log2p(j/i)i?0j?0231110111011?(log24)?4?log2?(log25)?2?log2?log26?log22810315103361211?log26?log26?1.96(比特/符号序列)3636

H?IJ??H(I)?H(J/I)??3.41(比特/符号序列)214117?log23??log25?log23 32303602-14在一个二进制信道中,信源消息集X={0,1},且p(1)=p(0),信宿的消息集Y={0,

1},信道传输概率p(1/0)=1/4,p(0/1)=1/8。求:

(1)在接收端收到y=0后。所提供的关于传输信息x的平均互信息量I(X;y=0)。 (1) 该情况所能提供的平均互信息量I(X;Y)。 解:

0?X???(1)??P??=?1???21?1? ?2?143?4信道转移概率矩阵为(p(yj|xi))??1?8? 7?8?3/401/41/817/810由p(xi,yj)?p(yj|xi)p(xi)得

?(X,Y):?1?1638? 7?16?1? 9?16?18?0关于y的边际分布为Y:?7?166?7由p(xi|yj)?得信道逆向转移概率矩阵(p(xi|yj))??1p(yj)?7p(xi,yj)? 7?9?29所以

5