2002 Copyright EE Lab508

由凸函数的性质，变量函数的平均值小于变量的算术平均值的函数，可得：?i?m?1?pilogpi??(n?m)i?m?1ni?m?1?f(p)inn?m??(n?m)f(i?m?1?pnin?m)??(n?m)i?m?1?pnin?mlogi?m?1?pnin?m??qmlogqmn?m即??plogpini??qmlogqm?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。?H(p1,p2,...,pn)???pilogpi?m?plogpini???pilogpi?qmlogqm?qmlog(n?m)mi?1i?m?1i?1m?H(p1,p2,...,pm,qm)???pilogpi?qmlogqmi?1?H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。

1.10找出两种特殊分布:

p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解：nmH(p1,p2,...,pn)???pilogpi?H(q1,q2,...,qm)???qilogqi

i?1i?1

?H.F.

2002 Copyright EE Lab508

1.15两个离散随机变量X和Y，其和为Z＝X＋Y，若X和Y统计独立，求证： (1) H(X)≤H(Z), H(Y)≤H(Z) (2) H(XY)≥H(Z) 证明：

设X、Y的信源空间为：?Y b1 b2 ... bs?X a1 a2 ... ar[X?P]:? [Y?P]:??P(X) p1 p2 ... pr ?P(Y) q1 q2 ... qs 又X,Y统计独立?H(Z)???pzklogpzk????p(ai?bj)logp(ai?bj) ????(pi?qj)log(pi?qj)?H(XY)

k?1i?1j?1si?1j?1trsrs又H(Z) ＝??pzklogpzk??(??piqj)?log(??piqj)? ?k?1i?1j?1ri?1j?1tsss ????(pilog(pi?qj))???qjlog(pi?qj)i?1j?1rsi?1j?1srss ? ???qjlog(pi?qj)?-?qjlog(qj)i?1j?1j?1第二章 单符号离散信道

2.1设信源[X?P]:??X a1 a2 通过一信道，信道的输出随机变量Y的符号集

?P(X) 0.7 0.3 b1 b2Y:{b1,b2},信道的矩阵：

[P]?a1?5/61/6?

?a2??1/43/4?试求：

(1) 信源X中的符号?1和?2分别含有的自信息量；

(2) 收到消息Y＝b1，Y＝b2后，获得关于?1、?2的互交信息量：I(?1;b1)、I(?1;b2)、I(?2;b1)、

I(?2;b2)；

(3) 信源X和信宿Y的信息熵；

(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；

(5) 接收到消息Y后获得的平均互交信息量I(X;Y)。 解:

?H.F.

2002 Copyright EE Lab508

(1) I(a1)??logp(a1)??log0.7?0.5415 bit I(a2)??logp(a21)??log0.3?1.737 bit(2) I(a1;b1)?log I(a1;b2)?log I(a2;b1)?log I(a2;b2)?log2p(b1a1)p(b1)p(b2a1)p(b2)?log5/6?0.34 bit0.7?5/6?0.3?1/41/6??1.036 bit0.7?1/6?0.3?3/41/4??0.766 bit0.7?5/6?0.3?1/43/4?1.134 bit0.7?1/6?0.3?3/47912041120?logp(b1a2)p(b1)p(b2a2)p(b2)?log?log(3)由上:p(b1)??p(ai)p(b1ai)?i?12 p(b2)??p(ai)p(b2ai)?i?12?H(X)???p(ai)logp(ai)??(0.7log0.7?0.3log0.3)?0.881 bit/symblei?1 H(Y)???p(bj)logp(bj)??(j?122279794141log?log)?0.926 bit/symble12012012012022(4)H(YX)???p(aibj)logp(bjai)???p(ai)p(bjai)logp(bjai)?0.698 bit/symblej?1i?1j?1i?1 又I(X;Y)?H(Y)?H(YX)?H(X)?H(XY) ?H(XY)?H(X)?H(YX)?H(Y)?0.881?0.698?0.926?0.653 bit/symble(5)?I(X;Y)?H(Y)?H(YX)?0.926?0.698?0.228 bit/symble2.2某二进制对称信道，其信道矩阵是：

0 10?0.980.02? [P]??1?0.020.98??设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进

制符号，并设在这消息中p(0)= p(1)=0.5。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。 解:

由于二进制对称信道输入等概信源?I(X;Y)?C?1?H(?)?1??log??(1??)log(1??)?1?0.02log0.02?0.98log0.98?0.859 bit/symble?信道在10秒钟内传送14000个二进制符号最大码率为:Ct?C?14000symble/10s?1201.98 bit/s而输入信源码率为1500bit/s,超过了信道所能提供的最大码率,故不可能无失真传输.?H.F.

2002 Copyright EE Lab508

2.3有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY，试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);

(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解:

131131(1)由题意: X的分布:p(X?0)???;p(X?1)???.882882131131 Y的分布:p(Y?0)???;p(Y?1)???.88288213371 Z?XY的分布为:X的分布:p(Z?0)????;p(Z?1)?.88888131且p(X?0,Z?0)?p(X?0)?;p(X?0,Z?1)?0;p(X?1,Z?0)?;p(X?1,Z?1)?;288131 p(Y?0,Z?0)?p(Y?0)?;p(Y?0,Z?1)?0;p(Y?1,Z?0)?;p(Y?1,Z?1)?;2881111?H(X)??(log?log)?1 bit/symble; 22221111 H(Y)??(log?log)?1 bit/symble22227711 H(Z)??(log?log)?0.544 bit/symble8888H(XZ)????p(xizk)logp(xizk)i?1k?122 ??(pxz(00)logpxz(00)?pxz(10)logpxz(10)?pxz(01)logpxz(01)?pxz(11)logpxz(11))133311??13 ???(?)log(?)?log?0?log??1.406bit/symble888888??88由上面X、Y、Z的概率分布:H(YZ)?H(XZ)?1.406bit/symble

?H.F.