信息论习题答案第二章---陈前斌版

第2章习题

2-3 同时掷两个正常的骰子,也就是各面呈现的概率都是l/6,求: (1) “3和5同时出现”事件的自信息量; (2)“两个1同时出现”事件的自信息量;

(3)两个点数的各种组合(无序对)的熵或平均信息量; (4) 两个点数之和(即 2,3,?,12构成的子集)的熵; (5)两个点数中至少有一个是1的自信息。

解:(1)P(3、5或5、3)=P(3、5)+P(5、3)=1/18

I=log2(18)= 4.1699bit。

(2)P(1、1)=l/36。I=log2(36)=5.1699bit。

(3)相同点出现时(11、22、33、44、55、66)有6种,概率1/36。 不同点出现时有15种,概率1/18。

H(i,j)=6*1/36*log2(36)+15*1/18*log2(18)=4.3366bit/事件。

(4) i+j 2 3 4 5 6 7 8 9 10 11 12 P(i+j) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =3.2744bit/事件。

(5)P(1、1or1、j or i、1)=1/36+5/36+5/36=11/36。 I=log2(36/11)=1.7105bit/

2-5 居住某地区的女孩中有25%是大学生,在女大学生中有75%身高为1.6m以 上,而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学 生”的消息,问获得多少信息量?、

解:P(女大学生)=1/4;P(身高>1.6m / 女大学生)=3/4;P(身高>1.6m)=1/2; P(女大学生 / 身高>1.6m)=P(身高>1.6m、女大学生)/P(身高>1.6m ) =3/4*1/4*2=3/8 I=log2(8/3)=1.4150bit。

2-7两个实验X?{x1,x2,x3}和Y?{y1,y2,y3},联合概率p(xiyj)?pij为

?p11?p?21??p31p12p22p32p13??7/24??p23?1/24??p33????01/241/41/24??1/24

?7/24??0(1)如果有人告诉你X和Y的实验结果,你得到的平均信息量是多少? (2)如果有人告诉你Y的实验结果,你得到的平均信息量是多少?

(3)在已知Y的实验结果的情况下,告诉你X的实验结果,你得到的平均信息量是多少?

解:

P(x,y) x1 X x2 x3 .y

33Y y1 y2 y3 7/24 1/24 0 1/24 1/4 1/24 0 1/24 7/24 1/3 1/3 1/3 .x 1/3 1/3 1/3 (1)

H(X,Y)????p(xi,yj)logP(xi,yj)

i?1j?1 ?2.301bit/symbol

3(2)

H(Y)???p(yj)logp(yj)j?1

?1.5894bit/symbol

H(X|Y)?H(X,Y)?H(Y)(3)

?2.301?1.5894 ?0.7151bit/symbol

2.11某一无记忆信源的符号集为?0,1?,已知p0?1/4,p1?3/4。

(1)求信源符号的平均信息量;

(2)由100个符号构成的序列,求某一特定序列(例如有m个0和100?m个1)的

信息量的表达

(3)计算(2)中的序列熵。

解:(1)因为信源是无记忆信源,所以符号的平均熵

3?13?1??X????,???2??0.415?0.81bit/符号

4?44?4(2)某一特定序列(例如:m个0和100-m个1)出现的概率为 P?XL??P?X1,X2,?,X100???P?0??m?P?1??100-m?1??3???????4??4?m100-m

所以,自信息量为 I?X1,X2,?,X100???logPX3?L?m100-m????1??3????log?????? 44?????????200?(100?m)log2?bit?/序列

(3)序列的熵

?X???100??X??81bitL2-13 有一个马尔可夫信源,已知转移概率为

P(S1|S1)?23,P(S2|S1)?13,P(S1|S2)?1,P(S2|S2)?0。

试画出状态转移图,并求出信源熵。

解:(1)由题意可得状态转移图

2/3

1/3

S1 S2

1

由状态转移图可知:该马尔可夫链具有遍历性,平稳后状态的极限分布存在。

?2一步转移矩阵P??3?1?1?3?0??

由?Wipij?Wj和?pij?1可得方程组

ij2?W??13W1?W2?1? W?W1?23??W1?W2?1???W1?3/4解方程组得到各状态的稳态分布概率?,

W?1/4?2因为??X/S1????,?,?33??21???X/S2????1,0??0,

所以信源的熵

???X???p?s?H?X/s??iii3?21?3H?,???0.92?0.69bit/符号 4?33?4

2-14有一个一阶马尔可夫链X1,X2,?,Xr,?,各Xr取值于集A?{a1,a2,?,aq},已知

起始概率为p1?P(X1?x)?

12,p2?p3?14,其转移概率如下:

j i 1 2 3

1 1/2 2/3 2/3 2 1/4 0 1/3 3 1/4 1/3 0 (1)求X1X2X3的联合熵和平均符号熵; (2)求这个链的极限平均符号熵;

(3)求H0、H1、H2和它们对应的冗余度。

解:(1) 方法一、

因为P?x1x2x3??P?x1?P?x2/x1?P?x3/x1x2??P?x1?P?x2/x1?P?x3/x2?

可以计算得到

P?a1a1a1??P?a1?P?a1/a1?P?a1/a1??P?a1a1a2??P?a1?P?a1/a1?P?a2/a1??P?a1a1a3??P?a1?P?a1/a1?P?a3/a1??11212418,1P?a1a2a1??112124,16116, P?a1a2a2??0,,P?a1a2a3??,

P?a1a3a1??P?a1a3a2??,,

P?a2a1a1??112124124,P?a2a2a1??0,P?a2a2a3??0,,P?a2a3a1??118136,,

P?a2a1a2??P?a2a1a3??,P?a2a2a2??0, P?a2a3a2??

P?a1a3a3??0,P?a2a3a3??0,P?a3a1a1??112124124,P?a3a2a1??118136,P?a3a3a1??0, P?a3a1a2??P?a3a1a3??,P?a3a2a2??0,,P?a3a2a3??, P?a3a3a2??0,

P?a3a3a3??0,所以,

?X1X2X3???X1????P?xX2X31x2x3?logP?x1x2x3?112?log12?6?124?log24?2?118log18?2?136?log36?18?log8?2?116?log16?4??3.967bit/三个符号所以,平均符号熵?3?X3??方法二、

13??X1X2X3??1.322bit/符号

??X1X2X3????X1????X2/X1????X3/X2??1.5?1.209?1.26?3.967bit/三个符号

13所以,平均符号熵?3?X3????X1X2X3??1.322bit/符号

(2)因为这个信源是一阶马尔可夫链,其状态极限概率分布就是信源达到平稳后的符号概率分布.

?1?2?2由题意得到一步转移矩阵P???3?2??3ij140131?4?1?? 3??0??由?Wipij?Wj和?pij?1可得方程组

??W1??W?2???W3???W1???121414W1?W1?W1?231313W2?W3W223W3

?W2?W3?1

联系客服:779662525#qq.com(#替换为@) 苏ICP备20003344号-4