一、（10分）设信源发出两个消息 x1和 x2，它们的概率分别为p（x1）=3/4，p（x2）=1/4。求该信源的熵和冗余度。
解： （1）由信源的熵的计算公式有H（X）=0.81比特。
（2）最大熵出现在等概率情况，这时的熵为1比特。 冗余度为19%。
（1）由信源的熵的计算公式有H（X）=H（
13,）=0.81比特/信源符号。 4411,）=1比特。 22（2）最大熵出现在等概率情况，即p（x1）=p（x2）=1/2，这时的熵为H（（3）冗余度为??1?0.81?0.19。 1 二、（15分）已知一个信源包含八个符号消息,它们的概率分布如下表,
s1 1/4 s2 1/4 s3 1/8 s4 1/8 s5 1/16 s6 1/16 s7 1/16 s8 1/16 进行费诺编码并计算信源熵、平均码长以及编码效率。
解： （1）对应的码字分别为00，01，100，101，1100，1101，1110，1111。
（2）信源熵H（S）=2.75比特/信源符号。 （3）平均码长L=2.75码元/信源符号。 （4） 编码效率为1。 s1 1/4 s2 1/4 s3 1/8 s4 1/8 s5 1/16 s6 1/16 s7 1/16 s8 1/16 进行费诺编码并计算信源熵、平均码长以及编码效率。 解： （1）费诺编码如下： Si S1 S2 S3 S4 S5 S6 P（Si） 1/4 1/4 1/8 1/8 1/16 1/16 第 1 页 共 3 页
编码过程 0 0 1 1 0 0 1 1 0 0 1 码字Wi 00 01 100 101 1100 1101 码长Li 2 2 3 3 4 4 S7 S8 1/16 1/16 （2）信源熵H(s)??qi?1q1 0 1 1110 1111 4 4 。 ?p(s)㏒p(s)=2.75（比特/信源符号）
（3）平均码长L??p(s)l?2.75（码元/信源符号）。
iii?1ii （4） 编码效率为??H(S)?1。 L三、（15分）以下以码字集合的形式给出2种不同的编码，第一个码的码符号集合为{x，y，z}，第二个码为二进制编码, {xx，xz，y，zz，xyz}；{01，100，011,00,111,1010，1011，1101}，对上面列出的编码分别回答下述问题：
(1)此码码长是否满足Kraft-McMillan不等式? (2)此码是否是即时码?如果不是，请给出反例。 (3)此码是否是唯一可译码？如果不是，请给出反例。 解：(1)此码不满足克劳夫特不等式：2?2?2?3?2?3?2?2?2?3?2?4?2?4?2?4?17?1； 16(2) 因为此码不满足克劳夫特不等式，此码不是即时码；
(3) 因为此码不满足克劳夫特不等式，此码不是唯一可译码。反例：01100序列就可以有两种译法：011，00或01，100，所以不是唯一可译码。 四、（10分）（1）陈述香农狭义信息论解决了哪几个问题？ （2）请详细阐述香农信息论的三个编码定理。 解：（1） 解决了信息的度量问题，给出了其计算表达式。 （2）香农第一编码定理就是无失真变长信源编码定理。
香农第二编码定理即为有噪信道编码定理。当待传的信息率少于信道容量（R〈C）时，只要码长n足够长，则总存在一种编码可以使译码错误概率任意小。 香农第三编码定理即为限失真信源编码定理。 五、（15分）有二进制对称信道
p=0.01 =0.99
(1) 采用最大似然译码准则确定译码函数, (2) 求出最小平均错误译码概率。
(3) 对该信道进行扩展,采用简单重复编码，000,111, 采用最大似然译码准则确定译码规则。
第 2 页 共 3 页
(4) 求出扩展后的最小平均错误译码概率。 (5) 求出扩展后的信道传输率
?100101???六、（15分）设线性分组码的生成矩阵为G?010110求： ????001011??（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字； （2）求其对应的一致校验矩阵H；
（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式； （4）若接收码字为000110，用伴随式法求译码结果。
七、（10分）若DES体制中8个S盒之一的S6盒选择压缩函数如下： 列号 行号 0 1 2 3 0 12 1 1 2 3 4 9 7 2 9 5 2 12 8 5 6 6 9 12 7 8 5 3 8 0 6 7 9 13 1 0 10 3 11 12 13 14 15 4 14 0 1 6 7 11 13 0 5 3 11 8 11 8 6 13 10 15 4 2 5 12 10 15 9 4 13 14 4 1 10 7 14 15 3 2 15 10 11 14 假设输入S盒的输入矢量为X?(101001)，试求通过选择压缩函数S变换后的输出矢量。 八、（10分）用公开密钥(e,n)=(3,55)将报文BID HIGH用01=A，02=B，…，进行加密。
第 3 页 共 3 页