第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列 (b) ?13

?4??花色任选13!?413413 p(b)==13 13C52A5213 信息量=logC52?log413=13.208 bit

2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的

点数之和，Z表示3颗骰子的点数之和，试求H(Z|Y)、H(X|Y)、

H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。

解：令第一第二第三颗骰子的结果分别为x1,x2,x3，x1，x2，x3相互独立，

则X?x1，Y?x1?x2，Z?x1?x2?x3

H(Z|Y)=H(x3)=log6=2.585 bit H(Z|X)=H(x2?x3)=H(Y)

12345366log36+log18+log12+log9+loglog6 )+3636363636536 =3.2744 bit

=2?(

H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]

而H(Y|X)=H(X)，所以H(X|Y)= 2H(X)-H(Y)=1.8955 bit

或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)

而H(Y|X)=H(X) ，所以H(X|Y)=2H(X)-H(Y)=1.8955 bit

H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit

H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805 bit

2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概

率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：

XY信道i?1,3,5,7,9Χi?0,2,4,6,8√

I(X;Y)=H(Y)-H(Y|X)

因为输入等概，由信道条件可知，

1?p(y?ii为奇数)???10 ??p(y?ii为偶数)?1(1?1?1?1?1)?1?102888810?即输出等概，则H(Y)=log10

H(Y|X)=??i?p(xyijj)logp(yj|xi)

=???p(xiyj)logp(yj|xi)-??p(xiyj)logp(yj|xi)

ji偶ji奇 =0-??p(xiyj)logp(yj|xi)

ji奇 = - =

i?1,3,5,7，9?p(x)p(yii|xi)logp(yi|xi)-?i?ji＝1，3，5，7，9?p(x)p(yij|xi)logp(yj|xi)

11111?log2?5+??log8?4?5 102102413 =?=1 bit

44I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit

2.11 令{u1,u2,?，u8}为一等概消息集，各消息相应被编成下述二元码字 u1=0000，u2=0011，u3=0101，u4=0110，

u5=1001，u6=1010，u7=1100，u8=1111 通过转移概率为p的BSC传送。求：

(a)接收到的第一个数字0与u1之间的互信息量。 (b)接收到的前二个数字00与u1之间的互信息量。 (c)接收到的前三个数字000与u1之间的互信息量。 (d)接收到的前四个数字0000与u1之间的互信息量。 解：