信息与编码理论课后习题答案

2.1 莫尔斯电报系统中,若采用点长为0.2s,1划长为0.4s,且点和划出现的概率分别为2/3和1/3,试求它的信息速率(bits/s)。

214?0.2??0.4?秒 3315231 每个符号的熵为?log??log3?0.9183比特/符号

32315所以,信息速率为0.9183??3.444比特/秒

4解: 平均每个符号长为:

2.2 一个8元编码系统,其码长为3,每个码字的第一个符号都相同(用于同步),若每秒产生1000个码字,试求其信息速率(bits/s)。 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特;

所以,信息速率为

6?1000?6000比特/秒

2.3 掷一对无偏的骰子,若告诉你得到的总的点数为:(a) 7;(b) 12。试问各得到了多少信息量?

66 所以,得到的信息量为 log2()?2.585 比特

363611 (b) 一对骰子总点数为12的概率是 所以,得到的信息量为 log2?5.17 比特

3636 解: (a)一对骰子总点数为7的概率是

2.4

经过充分洗牌后的一付扑克(含52牌),试问:(a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13牌,所给出的点数都不相同时得到多少信息量?

解: (a)任一特定排列的概率为

11?225.58 比特 , 所以,给出的信息量为 ?log252!52!13!?413413 (b) 从中任取13牌,所给出的点数都不相同的概率为 ?1313A52C5213C52所以,得到的信息量为 log213?13.21 比特.

4

2.5 设有一个非均匀骰子,若其任一面出现的概率与该面上的点数成正比,试求各点出现时所给出的信息量,并求掷一次平均得到的信息量。

i,i?1,2,3,4,5,621I(x?1)?4.392比特I(x?i)??log2I(x?2)?3.392比特I(x?3)?2.807比特i 解:易证每次出现i点的概率为,所以

I(x?4)?2.392比特21I(x?5)?2.070比特I(x?6)?1.807比特H(X)???i?16

iilog2?2.398比特21212.6 园丁植树一行,若有3棵白、4棵白桦和5棵梧桐。设这12棵树可随机地排列,且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时,你得到了多少关于树的排列的信息?

解: 可能有的排列总数为

12!?277203!4!5! 没有两棵梧桐树相邻的排列数可如下图求得, Y X Y X Y X

Y X Y X Y X Y X Y 图中X表示白或白桦,它有

?7??8???种排法,Y表示梧桐树可以栽种的位置,它有??种

?5??3?????排法,所以共有

?8??7???5??*??3??=1960种排法保证没有两棵梧桐树相邻,因此若告诉你没有两棵梧桐树相邻时,得到关于树排列的????=3.822 比特

信息为log227720?log219602.7 某校入学考试中有1/4考生被录取,3/4考生未被录取。被录取的考生中有50%来自本市,而落榜考生中有10%来自本市,所有本市的考生都学过英语,而外地落榜考生中以及被录取的外地考生中都有40%学过英语。 (a) 当己知考生来自本市时,给出多少关于考生是否被录取的信息? (b) 当已知考生学过英语时,给出多少有关考生是否被录取的信息? (c) 以x表示是否落榜,y表示是否为本市学生,z表示是否学过英语,x、y和z取值为0或1。试求H(X),H(Y|X),H(Z|YZ)。

解: X=0表示未录取,X=1表示录取; Y=0表示本市,Y=1表示外地;Z=0表示学过英语,Z=1表示未学过英语,由此得

31p(x?0)?,p(x?1)?,44p(y?0)?p(x?0)p(y?0x?0)?p(x?1)p(y?0x?1)31111?????,41042514p(y?1)?1??,55p(z?0)?p(y?0)p(z?0y?0)?p(y?1)p(z?0y?1)144013????,55100251312p(z?1)?1??,2525

(a)p(x?0y?0)?p(y?0x?0)p(x?0)/p(y?0)?1313?/?104581115p(x?1y?0)?p(y?0x?1)p(x?1)/p(y?0)??/?2458p(x?0y?0)p(x?1y?0)I(X;y?0)?p(x?0y?0)log2?p(x?1y?0)log2

p(x?0)p(x?1)3535?log28?log28381844?0.4512比特(b)p(x?0z?0)?(p(z?0y?0,x?0)p(y?0x?0)?p(z?0y?1,x?0)p(y?1x?0))p(x?0)/p(z?0)19431369?(??)?/?101010425104p(x?1z?0)?(p(z?0y?0,x?1)p(y?0x?1)?p(z?0y?1,x?1)p(y?1x?1))p(x?1)/p(z?0)11211335?(??)?/?225425104I(X;z?0)?p(x?0z?0)log2p(x?0z?0)p(x?1z?0)?p(x?1z?0)log2p(x?0)p(x?1)69356935?log2104?log21043104110444?0.02698比特341(c)H(X)?log2?log24?0.8113比特434H(YX)?p(x?0)p(y?0x?0)log2p(y?0x?0)?p(x?0)p(y?1x?0)log2p(y?1x?0)p(x?1)p(y?0x?1)log2p(y?0x?1)?p(x?1)p(y?1x?1)log2p(y?1x?1)3139101111??log210??log2??log22??log2241041094242?0.6017比特2.8 在A、B两组人中进行民意测验,组A中的人有50%讲真话(T),30%讲假话(F),20%拒绝回答(R)。而组B中有30%讲真话,50%讲假话和20%拒绝回答。设选A组进行测验的概率为p,若以I(p)表示给定T、F或R条件下得到的有关消息来自组A或组B的平均信息量,试求I(p)的最大值。 解:令

X??A,B?,Y??T,F,R?,则

P(T)?P(TA)P(A)?P(TB)P(B)?0.5p?0.3?(1?p)?0.3?0.2p同理P(F)?0.5?0.2p,P(R)?0.2I(p)?I(X;Y)?H(Y)?H(YX)??(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)?0.2log20.2?(0.5plog22?0.3plog210?0.2plog25?0.3(1?p)log210?0.5(1?p)log22?330.2(1?p)log25)?0.3log20.3?0.5log20.5?(0.3?0.2p)log2(0.3?0.2p)?(0.5?0.2p)log2(0.5?0.2p)令I'(p)?0.2log2(0.5?0.2p)?0,得p?0.50.3?0.2p?I(p)max?I(p)p?0.5?0.03645比特2.9 随机掷三颗骰子,以X表示第一颗骰子抛掷的结果,以Y表示第一和第二颗骰子抛掷的点数之和,以Z表示三颗骰子的点数之和。试求H(Z|Y)、H(X|Y)、H(Z|XY),H(XZ|Y)和H(Z|X)。 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)=log2 H(Y)= H(X2+X3)

= 2(6 比特 H(X)= H(X) =log26=2.585 比特

1

12363364365361log236?log2?log2?log2?log2)?log26 363623633643656= 3.2744比特 H(Z)= H(X1+X2+X3)

?2(1321662161021615216log2216?log2?log2?log2?log2216216321662161021615212162521627216log2?log2?log2)216212162521627 = 3.5993 比特

所以

H(Z/Y)= H(X3)= 2.585 比特 H(Z/X) = H(X2+X3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特

H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 2.12

计算习题2.9中的I (Y;Z),I (X;Z),I (XY;Z),I (Y;Z|X)和I (X;Z|Y)。 解:I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特

I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =0

2.10

设有一个系统传送10个数字:0, 1, …, 9。奇数在传送时以0.5的概率错成另外的奇数,而其它数字总能正确接收。试求收到一个数字平均得到的信息量。

解:设系统输出10个数字X等概,接收数字为Y,

191p(ji)?, H(Y)=log10 显然 w(j)??Q(i)p(ji)??10i?110i?0H(Y/X)????p(x,y)log2p(yx)???p(x,y)log2p(yx)yx?偶yx?奇9?0??p(x)p(xx)log2p(xx)?i?奇y?x,奇x?奇??p(x)p(yx)log2p(yx)

1111??log22?5?4???log28102108?1比特?5?所以 I(X;Y)= log210?1?2.3219比特

2.11 令{ul, u2, …, u8}为一等概消息集,各消息相应被编成下述二元码字:

ul=0000,u2=0011,u3=0101,u4=0110 u5=1001,u6=1010,u7=1100,u8=1111 通过转移概率为p的BSC传送。试求:(a) 接收的第一个数字0与ul之间的互信息量。

(b) 接收的前二个数字00与ul之间的互信息量。(c) 接收的前三个数字000与ul之间酌互信息量。 (d) 接收的前四个数字0000与ul之间的互信息量。

解:(a)接收前一个数字为0的概率 w(0)??q(ui)p(0ui)?i?0812

I(u1;0)?log28p(0u1)1?p?log21?1?log2(1?p)bits

w(0)214

(b)同理 w(00)??q(ui)p(00ui)?i?0p(00u1)(1?p)2I(u1;00)?log2?log2?2?2log2(1?p)bits

1w(00)4(c)同理 w(000)??q(ui)p(000ui)?i?0818

p(000u1)(1?p)3I(u1;000)?log2?log2?3?3log2(1?p)1w(000)8(d)同理 w(0000)bits

??q(ui)p(0000ui)?1((1?p)6?6p2(1?p)2?p4) 8i?08

联系客服:779662525#qq.com(#替换为@) 苏ICP备20003344号-4