信息论部分习题参考解答-2010 下载本文

U1U2U3U4U5U6U7U801U2U3U4U5U6U7U8U101U3U4U5U6U7U8U201U4U5U6U7U8U301U5U6U7U8U401U6U7U8U501U7U8U601U7U8

费诺码为:0 10 110 1110 11110 111110 1111110 1111111

同样??H(X)?1

K3-7已知符号集合?x1,x2,x3?}为无限离散集合,它们的出现概率分别为

p(x3)?1/8,p(xi)?1/2i,?。 p(x1)?1/2,p(x2)?1/4,(1)用香农编码方法写出各个符号的码字。 (2)计算码子的平均信息传输率。 (3)计算信源编码效率。 解:(1)香农编码如表

11

信源消息符号xi 符号概率累加概率p(xi) pi ??log2p(xi)? 码字 码字长度 x1 1/2 0 1 0 1 x2 ?1/4 1/2 2 10 2 ? ? ? ? ?xi 1/2 i2i?1?1 2i?1 ?i 11??110 ??i?1个i ?(2)

? ? ? ?111ilog2?log4?L?log2222H(X)42iR??2?1(比特/码元)?K?p(xi)kii?1

(3) k?1

??

HL(X)HL(X)HL(X)HL(X)????1

Kklog2mk?1k3-8某信源有6个符号,概率分别为3/8,1/6,1/8,1/8,1/8,1/12,试求三进码元

(012)的费诺码,并求出编码效率。 解:费诺码编码过程

12

信源消息符号xi 符号概率p(xi) 第一次分组 第二次分组 码字 码字长度 x1 3/8 0 0 1 x2 x3 1/6 1 0 10 2 1/8 1 1 11 2 x4 x5 x6 1/8 2 0 20 2 1/8 2 1 21 2 1/12 2 2 22 2 38111p(x)logp(x)?log?log6?(log8)?3?log212?Li2i222836812i(比特/符号) ?2.385 H(X)??L=1

6平均码长 k???p(x)kii?1i13?(比特/码元) 813log23?2.58(比特/码元) 8平均输出信息率 K?klog2m?编码效率 ??HL(X)K?92.44%

13

3-10设有离散无记忆信源

P(X)?{0.37,0.25,0.18,0.10,0.07,0.03}.(1)求该信源符号熵H(X)。

(2)用哈夫曼编码成二元变长码,计算其编码效率。 解:(1)

6iH(???p(xi)log2p(xi)?0.37log2LX)?0.07log2 (2)

11?0.25log24?0.18log2?0.1log2100.370.1811?0.03log2?2.23(比特/符号)0.070.031.00

0.38010.6200.200.2510.37

01

0.18

0.10010.1010.0700.03故码字分别为11,10,00,010,0111,0110

k?(0.37?0.25?0.18)?2?0.1?3?(0.07?0.03)?4?2.3(比特/符号)

??14

HL(X)2.23??96.96%

2.3k

3-11 信源符号X有6种字母,效率为(0.32,0.22,0.18,0.16,0.08,0.04)。

(1)求符号熵

H(X)

(2)用香农编码编成二进制变长码,计算其编码效率。 (3)用费诺编码编程二进制变长码,计算其编码效率。 (4)用哈夫曼编码编程二进制变长码,计算其编码效率。 (5)用哈夫曼编码编程三进制变长码,计算其编码效率。

(6)若用单个信源符号来编定长二进制码,要求能不出差错的译码,求所需要的每符号的平均信息率和编码效率。 解:(1)

6 H(???p(xi)log2p(xi)?0.32log2LX)i1111?0.22log2?0.18log2?0.16log20.320.220.180.16

?0.08log2 (2) 信源消息符号xi 11?0.04log2?2.35(比特/符号)0.080.04符号概率累加概率p(xi) pi ??log2p(xi)? 码字 码字长度 x1 0.32 0 1.64386 00 2 x2 x3 0.22 0.32 2.18442 010 3 0.18 0.54 2.47393 100 3 x4 0.16 0.72 2.64386 101 3 15