信息论与编码姜丹第三版答案 下载本文

2002 Copyright EE Lab508

信息论与编码习题参考答案 第一章 单符号离散信源

信息论与编码作业是74页,1.1的(1)(5),1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子,试求:

(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;

(5)“两个点数中至少有一个是1”的自信息量。 解:

11样本空间:N?c6c6?6?6?36n12

??I(a)??logP1?log18?4.17bitN36n1(2)P2?2??I(a)??logP2?log36?5.17bitN36(1)P1?(3)信源空间:

X P(X) X P(x) X P(x) X P(x) X P(x) (1,1) 1/36 (2,2) 1/36 (3,3) 1/36 (4,4) 1/36 (5,5) 1/36 (1,2) 2/36 (2,3) 2/36 (3,4) 2/36 (4,5) 2/36 (5,6) 2/36 (1,3) 2/36 (2,4) 2/36 (3,5) 2/36 (4,6) 2/36 (1,4) 2/36 (2,5) 2/36 (3,6) 2/36 (6,6) 1/36 (1,5) 2/36 (2,6) 2/36 (1,6) 2/36 2361?log?6??log36?4.32bit 36236(4)信源空间: X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 ?H(x)?15?2436636836?log36+?log??log??log 36362363364 1036636 ??log+?log?3.71bit365366n1136(5) P3?3??I(a)??logP3?log?1.17bit

N3611 ?H(x)??H.F.

2002 Copyright EE Lab508

1.2如有6行、8列的棋型方格,若有两个质点A和B,分别以等概落入任一方格内,且它们的坐标分别为(Xa,Ya), (Xb,Yb),但A,B不能同时落入同一方格内。 (1) 若仅有质点A,求A落入任一方格的平均信息量; (2) 若已知A已落入,求B落入的平均信息量; (3) 若A,B是可辨认的,求A,B落入的平均信息量。 解:

1(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log4848

?H(a)???P(ai)logP(ai)?log48?5.58biti?148(2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47?H(b)???P(bi)logP(bi)?log47?5.55biti?148147(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)48?47i?111?4847

H(ABi)???P(ABi)logP(ABi)?log(48?47)?11.14bit1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解: 对于男士:回答“是”的信息量:I(my)??logP(my)??log7%?3.84bit回答“不是”的信息量:I(mn)??logP(mn)??log93%?0.105bit平均每个回答信息量:H(m)??P(my)?logP(my)?P(mn)?logP(mn) ?-7%?log7%-93%?log93%?0.366bit对于女:回答“是”的信息量:I(wy)??logP(wy)??log0.5%回答“不是”的信息量:I(mn)??logP(mn)??log99.5%平均每个回答信息量:H(m)??P(wy)?logP(wy)?P(wn)?logP(wn) ?-0.5%?log0.5%-99.5%?log99.5%?0.0454bit

?H.F.

2002 Copyright EE Lab508

1.4某一无记忆信源的符号集为{0,1},已知p0?13,p1?23 。(1) 求符号的平均信息量;

(2) 由1000个符号构成的序列,求某一特定序列(例如有m个“0”,(1000-m)个“1”)

的自信量的表达式;

(3) 计算(2)中序列的熵。 解:

1122(1)H(x)??p0logp0?p1logp1???log??log?0.918 bit/symble333312(2)I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)log bit

33(3)H(A)?1000H(X)?1000?0.918?918 bit/sequence H(A)???p0logp0?i?1m1000?m?i?1p1logp1??m12(1000?m)2log?log33331.5设信源X的信源空间为:

a1 a2 a3 a4 a5 a6 ?X: [x?p]:??p(X) 0.17 0.19 0.18 0.16 0.18 0.3 求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。 解:

H(X)???p(ai)logp(ai)i?16 ??0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3 ?2.725 bit/symble 可见H(X)?2.725?log6?2.585 不满足信源熵的极值性, 这是因为信源熵的最大值是在?pi?1 的约束条件下求得的,但是本题中i?1r

?pi?16i?1.18不满足信源熵最大值成立的约束条件,所以H(X)?log6。

1.6为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s)。 解:

由于亮度电平等概出现,由熵的极值性:每个像素的熵是: H(x0)??p(ai)logp(ai)?log10?3.322 bit/pelsi?110每帧图像的熵是: H(X)?5?105?H(x0)?5?105?3.322?1.661?106 bit/frame?所需信息速率为:R?r(frame/s)?H(X)(bit/frame)?30?1.661?106?4.983?107 bit/s

?H.F.