2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。 （2）“两个1同时出现” 这事件的自信息量。

（3）两个点数的各种组合（无序对）的熵或平均信息量。 （4）两个点数之和（即2，3，…，12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。 解：

（1）设X为‘3和5同时出现’这一事件，则P（X）=1/18，因此 I(X)??log2p(x)?log218?4.17 (比特) （2）设‘两个1同时出现’这一事件为X，则P（X）=1/36，因此 I(X)??log2p(x)?log236?5.17 (比特)

(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 H(X)?（4）

615log236?log218?4.337(比特/组合) 3618111111log236?log218?(?)log212?(?)log29?36181836181811136111(??)log2]?2?(??)log26?3.44(比特/两个点数之和)1818365181818H(X)?[

（5）两个点数至少有一个为1的概率为P（X）= 11/36 I(X)??log211?1.71（比特） 362-6设有一离散无记忆信源，其概率空间为

?X??x1?0x2?1x3?2x4?3????????? ?P??3/81/41/41/8??

该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032

011 223 210），求：

（1） 此信息的自信息量是多少？

（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得

（比特/序列） I?14I(0)?13I(1)?12(2)?6I(3)?87.18

（2）H?I/45?1.91 （比特/符号）2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求：

（1）一次实验包括的不确定度。

（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度； （3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度； （4）第二次实验Y包含的不确定度。

123 log23?log2?0.92（比特/一次实验）3324141014 （2）H（X） ?log2?log2?0.86（比特/一次实验）1441410514914（3）H（X） ?log2?log2?0.94（比特/一次实验）14514912（4）H（X） ?H（X1）?H（X2）?0.91（比特/一次实验）33解：（1）H（X）?2-11两个试验X和Y，X??x1,x2,x3?,Y??y1,y2,y3?，联合概率p(xiyj)?pij已给出，

（1） 如果有人告诉你X和Y的试验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y的试验结果，你得到的平均信息量是多少？

（3） 在已知Y试验结果的情况下，告诉你X的试验结果，你得到的平均信息量

是多少？

?p11??p21?p?31 解：

p12p22p32p13??7/241/240????p23???1/241/41/24?

?p33?1/247/24???0?72411 log2?2?log24??4log224?2.（比特3/符号）247424111（2）H（Y） ?log23?log23?log23?1.58（比特/符号）333（1）H（XY）??H(XY)?H(Y)?0.72（比特/符号）（3）H（X/Y）

2-12有两个二元随机变量X和Y，他们的联合概率如表所示，并定义另一随机变量

Z=XY（一般乘积）。试计算： (1) H（X），H（Y），H（Z），H（XZ），H（YZ）和H（XYZ）。

2

(2) H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y ），H（X/YZ）

H（Y/XZ）和H（Z/XY）。 (3) I（X；Y），I（X；Z），I（Y；Z），I（X；Y/Z），I（Y；Z/X）和I（X；Z/Y）。

X Y 0 1 0 1/8 3/8 1 3/8 1/8 解：

（1）P（X11）?P（X2）?P（0）?P（1）?2 H（X）?12log122?2log22?1 (比特/符号) H（Y）?1比特/符号

2H（Z）???p(zi)log2p(zi)i?1 ?（?p(0)log2p(0)?p(1)log2p(1)）

?7818log27?8log28?0.54（比特/符号） 由表得H（XY）?(18log3828?8log23)?2?1.81（比特/符号） H（XZ）?1.41比特/符号 H（YZ）?1.41比特/符号 H（XYZ）?1.81比特/符号

（2）H（X/Y）?H(XY)?H(Y)?1.81?1?0.81（比特/符号）

H（Y/X）?H(XY)?H(X)?1.81?1?0.81（比特/符号） H（X/Z）?H(XZ)?H(Z)?1.41?0.54?0.87（比特/符号） H（Z/X）?H(XZ)?H(X)?1.41?1?0.41（比特/符号）

H（Y/Z）?0.87（比特/符号）

3

H（Z/Y）?0.41（比特/符号）H（X/YZ）?H(XYZ)?H(YZ)?1.81?1.41?0.（比特4/符号） H（Z/XY）?H(XYZ)?H(XY)?1.81?1.81?（比特0/符号）

?H(X)?H(X/Y)?1?0.81?0.19（比特/符号）(3) I（X;Y）

I（X;Z）?H(X)?H(X/Z)?1?0.87?0.13（比特/符号） I（Y;Z）?H(Y)?H(Y/Z)?1?0.87?0.13（比特/符号）

I（X;Y/Z）?I(X;YZ)?I(X;Z) ?H(X)?H(X/YZ)?I(X;Z)?1?0.4?0.13?0.47（比特/符号）（IY;X/Z）?I(Y;ZX)?I(Y;Z)?H(Y)?H(Y/ZX)?I(Y;Z)?1?0.4?0.13?0.47（比特/符号）I（X;Z/Y）?0.41?0.41（比特/符号）

2-13一个信源发出二重符号序列消息（i , j），其中第一个符号i 可以是A，B，C中

的任一个，第二个符号j可以是D，E，F，G中的任一个。已知各个

P（i）和P（j/i）值列成如下表。求这个信源的熵（联合熵H（IJ））。

P（i）D P（j/i）E F G 解：H（I）?A 1/2 1/4 1/4 1/4 1/4 B 1/3 3/10 1/5 1/5 3/10 C 1/6 1/6 1/2 1/6 1/6 111 log22?log23?log26?1.46（比特/符号序列）2364

H（J/I）????p(i)p(j/i)log2p(j/i)i?0j?0231110111011?(log24)?4?log2?(log25)?2?log2?log26?log22810315103361211?log26?log26?1.96(比特/符号序列)3636

H?IJ??H（I）?H（J/I）??3.41（比特/符号序列）214117?log23??log25?log23 32303602-14在一个二进制信道中，信源消息集X={0，1}，且p(1)=p(0)，信宿的消息集Y={0，

1}，信道传输概率p(1/0)=1/4,p(0/1)=1/8。求：

（1）在接收端收到y=0后。所提供的关于传输信息x的平均互信息量I（X；y=0）。 （1） 该情况所能提供的平均互信息量I（X；Y）。 解：

0?X???（1）??P??=?1???21?1? ?2?143?4信道转移概率矩阵为(p(yj|xi))??1?8? 7?8?3/401/41/817/810由p(xi,yj)?p(yj|xi)p(xi)得

?(X,Y):?1?1638? 7?16?1? 9?16?18?0关于y的边际分布为Y:?7?166?7由p(xi|yj)?得信道逆向转移概率矩阵(p(xi|yj))??1p(yj)?7p(xi,yj)? 7?9?29所以

5