第2章习题
2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量；
(3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，?，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。
解：（1）P（3、5或5、3）＝P（3、5）+P（5、3）＝1/18
I＝log2（18）＝ 4.1699bit。
（2）P（1、1）＝l/36。I＝log2（36）＝5.1699bit。
（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。 不同点出现时有15种，概率1/18。
H（i，j）＝6*1/36*log2（36）+15*1/18*log2（18）＝4.3366bit/事件。
（4） i+j 2 3 4 5 6 7 8 9 10 11 12 P(i+j) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =3.2744bit/事件。
（5）P（1、1or1、j or i、1）＝1/36+5/36+5/36＝11/36。 I＝log2（36/11）＝1.7105bit/
2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以 上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学 生”的消息，问获得多少信息量？、
解：P（女大学生）＝1/4；P（身高>1.6m / 女大学生）=3/4；P（身高>1.6m）＝1/2； P（女大学生 / 身高>1.6m）＝P（身高>1.6m、女大学生）/P（身高>1.6m ） ＝3/4*1/4*2＝3/8 I＝log2（8/3）＝1.4150bit。
2-7两个实验X?{x1,x2,x3}和Y?{y1,y2,y3}，联合概率p(xiyj)?pij为
?p11?p?21??p31p12p22p32p13??7/24??p23?1/24??p33????01/241/41/24??1/24
?7/24??0（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ （2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
解：
P(x,y) x1 X x2 x3 .y
33Y y1 y2 y3 7/24 1/24 0 1/24 1/4 1/24 0 1/24 7/24 1/3 1/3 1/3 .x 1/3 1/3 1/3 （1）
H(X,Y)????p(xi,yj)logP(xi,yj)
i?1j?1 ?2.301bit/symbol
3（2）
H(Y)???p(yj)logp(yj)j?1
?1.5894bit/symbol
H(X|Y)?H(X,Y)?H(Y)（3）
?2.301?1.5894 ?0.7151bit/symbol
2．11某一无记忆信源的符号集为?0,1?，已知p0?1/4，p1?3/4。
（1）求信源符号的平均信息量；
（2）由100个符号构成的序列，求某一特定序列（例如有m个0和100?m个1）的
信息量的表达
（3）计算（2）中的序列熵。
解：（1）因为信源是无记忆信源，所以符号的平均熵
3?13?1??X????,???2??0.415?0.81bit/符号
4?44?4（2）某一特定序列（例如：m个0和100-m个1）出现的概率为 P?XL??P?X1,X2,?,X100???P?0??m?P?1??100-m?1??3???????4??4?m100-m
所以，自信息量为 I?X1,X2,?,X100???logPX3?L?m100-m????1??3????log?????? 44?????????200?(100?m)log2?bit?/序列
（3）序列的熵
?X???100??X??81bitL2-13 有一个马尔可夫信源，已知转移概率为
P(S1|S1)?23,P(S2|S1)?13,P(S1|S2)?1,P(S2|S2)?0。
试画出状态转移图，并求出信源熵。
解：（1）由题意可得状态转移图
2/3
1/3
S1 S2
1
由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。
?2一步转移矩阵P??3?1?1?3?0??
由?Wipij?Wj和?pij?1可得方程组
ij2?W??13W1?W2?1? W?W1?23??W1?W2?1???W1?3/4解方程组得到各状态的稳态分布概率?，
W?1/4?2因为??X/S1????,?,?33??21???X/S2????1,0??0，
所以信源的熵
???X???p?s?H?X/s??iii3?21?3H?,???0.92?0.69bit/符号 4?33?4
2-14有一个一阶马尔可夫链X1,X2,?,Xr,?,各Xr取值于集A?{a1,a2,?,aq}，已知
起始概率为p1?P(X1?x)?
12,p2?p3?14，其转移概率如下：
j i 1 2 3
1 1/2 2/3 2/3 2 1/4 0 1/3 3 1/4 1/3 0 （1）求X1X2X3的联合熵和平均符号熵； （2）求这个链的极限平均符号熵；
（3）求H0、H1、H2和它们对应的冗余度。
解：（1） 方法一、
因为P?x1x2x3??P?x1?P?x2/x1?P?x3/x1x2??P?x1?P?x2/x1?P?x3/x2?
可以计算得到
P?a1a1a1??P?a1?P?a1/a1?P?a1/a1??P?a1a1a2??P?a1?P?a1/a1?P?a2/a1??P?a1a1a3??P?a1?P?a1/a1?P?a3/a1??11212418,1P?a1a2a1??112124,16116, P?a1a2a2??0,,P?a1a2a3??,
P?a1a3a1??P?a1a3a2??,,
P?a2a1a1??112124124,P?a2a2a1??0,P?a2a2a3??0,,P?a2a3a1??118136,,
P?a2a1a2??P?a2a1a3??,P?a2a2a2??0, P?a2a3a2??
P?a1a3a3??0,P?a2a3a3??0,P?a3a1a1??112124124,P?a3a2a1??118136,P?a3a3a1??0, P?a3a1a2??P?a3a1a3??,P?a3a2a2??0,,P?a3a2a3??, P?a3a3a2??0,
P?a3a3a3??0,所以，
?X1X2X3???X1????P?xX2X31x2x3?logP?x1x2x3?112?log12?6?124?log24?2?118log18?2?136?log36?18?log8?2?116?log16?4??3.967bit/三个符号所以，平均符号熵?3?X3??方法二、
13??X1X2X3??1.322bit/符号
??X1X2X3????X1????X2/X1????X3/X2??1.5?1.209?1.26?3.967bit/三个符号
13所以，平均符号熵?3?X3????X1X2X3??1.322bit/符号
（2）因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布.
?1?2?2由题意得到一步转移矩阵P???3?2??3ij140131?4?1?? 3??0??由?Wipij?Wj和?pij?1可得方程组
??W1??W?2???W3???W1???121414W1?W1?W1?231313W2?W3W223W3
?W2?W3?1