信息论与编码理论习题答案 下载本文

第二章 信息量和熵

2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的

信息速率。

解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?log8=2?3=6 bit

因此,信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信

息量。

解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一,为 {6,6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克(52张),问:

(a) 任何一种特定的排列所给出的信息量是多少?

(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?

1解:(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列 (b) ?13

?4??花色任选13!?413413 p(b)==13 13C52A5213 信息量=logC52?log413=13.208 bit

2.9 随机掷3颗骰子,X表示第一颗骰子的结果,Y表示第一和第二颗骰子的

点数之和,Z表示3颗骰子的点数之和,试求H(Z|Y)、H(X|Y)、

H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。

解:令第一第二第三颗骰子的结果分别为x1,x2,x3,x1,x2,x3相互独立,

则X?x1,Y?x1?x2,Z?x1?x2?x3

H(Z|Y)=H(x3)=log6=2.585 bit H(Z|X)=H(x2?x3)=H(Y)

12345366log36+log18+log12+log9+loglog6 )+3636363636536 =3.2744 bit

=2?(

H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]

而H(Y|X)=H(X),所以H(X|Y)= 2H(X)-H(Y)=1.8955 bit

或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)

而H(Y|X)=H(X) ,所以H(X|Y)=2H(X)-H(Y)=1.8955 bit

H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit

H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805 bit

2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0.5的概

率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。

解:

XY信道i?1,3,5,7,9Χi?0,2,4,6,8√

I(X;Y)=H(Y)-H(Y|X)

因为输入等概,由信道条件可知,

1?p(y?ii为奇数)???10 ??p(y?ii为偶数)?1(1?1?1?1?1)?1?102888810?即输出等概,则H(Y)=log10

H(Y|X)=??i?p(xyijj)logp(yj|xi)

=???p(xiyj)logp(yj|xi)-??p(xiyj)logp(yj|xi)

ji偶ji奇 =0-??p(xiyj)logp(yj|xi)

ji奇 = - =

i?1,3,5,7,9?p(x)p(yii|xi)logp(yi|xi)-?i?ji=1,3,5,7,9?p(x)p(yij|xi)logp(yj|xi)

11111?log2?5+??log8?4?5 102102413 =?=1 bit

44I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit

2.11 令{u1,u2,?,u8}为一等概消息集,各消息相应被编成下述二元码字 u1=0000,u2=0011,u3=0101,u4=0110,

u5=1001,u6=1010,u7=1100,u8=1111 通过转移概率为p的BSC传送。求:

(a)接收到的第一个数字0与u1之间的互信息量。 (b)接收到的前二个数字00与u1之间的互信息量。 (c)接收到的前三个数字000与u1之间的互信息量。 (d)接收到的前四个数字0000与u1之间的互信息量。 解: