U1U2U3U4U5U6U7U801U2U3U4U5U6U7U8U101U3U4U5U6U7U8U201U4U5U6U7U8U301U5U6U7U8U401U6U7U8U501U7U8U601U7U8

费诺码为：0 10 110 1110 11110 111110 1111110 1111111

同样??H(X)?1

K3-7已知符号集合?x1,x2,x3?}为无限离散集合，它们的出现概率分别为

p(x3)?1/8，p(xi)?1/2i,?。 p(x1)?1/2，p(x2)?1/4，（1）用香农编码方法写出各个符号的码字。 （2）计算码子的平均信息传输率。 （3）计算信源编码效率。 解：（1）香农编码如表

11

信源消息符号xi 符号概率累加概率p(xi) pi ??log2p(xi)? 码字 码字长度 x1 1/2 0 1 0 1 x2 ?1/4 1/2 2 10 2 ? ? ? ? ?xi 1/2 i2i?1?1 2i?1 ?i 11??110 ??i?1个i ?(2)

? ? ? ?111ilog2?log4?L?log2222H(X)42iR??2?1(比特/码元)?K?p(xi)kii?1

(3) k?1

??

HL(X)HL(X)HL(X)HL(X)????1

Kklog2mk?1k3-8某信源有6个符号，概率分别为3/8，1/6，1/8，1/8，1/8，1/12，试求三进码元

（012）的费诺码，并求出编码效率。 解：费诺码编码过程

12

信源消息符号xi 符号概率p(xi) 第一次分组 第二次分组 码字 码字长度 x1 3/8 0 0 1 x2 x3 1/6 1 0 10 2 1/8 1 1 11 2 x4 x5 x6 1/8 2 0 20 2 1/8 2 1 21 2 1/12 2 2 22 2 38111p(x)logp(x)?log?log6?(log8)?3?log212?Li2i222836812i（比特/符号） ?2.385 H（X）??L=1

6平均码长 k???p(x)kii?1i13?（比特/码元) 813log23?2.58(比特/码元) 8平均输出信息率 K?klog2m?编码效率 ??HL(X)K?92.44%

13

3-10设有离散无记忆信源

P(X)?{0.37,0.25,0.18,0.10,0.07,0.03}.（1）求该信源符号熵H(X)。

（2）用哈夫曼编码成二元变长码，计算其编码效率。 解：（1）

6iH（???p(xi)log2p(xi)?0.37log2LX）?0.07log2 （2）

11?0.25log24?0.18log2?0.1log2100.370.1811?0.03log2?2.23（比特/符号）0.070.031.00

0.38010.6200.200.2510.37

01

0.18

0.10010.1010.0700.03故码字分别为11，10，00，010，0111，0110

k?(0.37?0.25?0.18)?2?0.1?3?(0.07?0.03)?4?2.3(比特/符号)

??14

HL(X)2.23??96.96%

2.3k

3-11 信源符号X有6种字母，效率为（0.32，0.22，0.18，0.16，0.08，0.04）。

（1）求符号熵

H(X)

（2）用香农编码编成二进制变长码，计算其编码效率。 （3）用费诺编码编程二进制变长码，计算其编码效率。 （4）用哈夫曼编码编程二进制变长码，计算其编码效率。 （5）用哈夫曼编码编程三进制变长码，计算其编码效率。

（6）若用单个信源符号来编定长二进制码，要求能不出差错的译码，求所需要的每符号的平均信息率和编码效率。 解：（1）

6 H（???p(xi)log2p(xi)?0.32log2LX）i1111?0.22log2?0.18log2?0.16log20.320.220.180.16

?0.08log2 （2） 信源消息符号xi 11?0.04log2?2.35（比特/符号）0.080.04符号概率累加概率p(xi) pi ??log2p(xi)? 码字 码字长度 x1 0.32 0 1.64386 00 2 x2 x3 0.22 0.32 2.18442 010 3 0.18 0.54 2.47393 100 3 x4 0.16 0.72 2.64386 101 3 15