《信息论与编码》-曹雪虹-课后习题答案 第二章
2.1一个马尔可夫信源有3个符号?u为：p?u|u??1/2，p?u1121,u2,u3?，转移概率
|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，
p?u2|u2??0，p?u3|u2??2/3，p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，
画出状态图并求出各符号稳态概率。 解：状态图如下
1/2
u11/31/21/32/32/3u2
状态转移矩阵为：
u30??1/21/2??p??1/302/3? ?1/32/30???
设状态u1，u2，u3稳定后的概率分别为W1，W2、W3
11?1W1?W2?W3?W110??2W1?33??2512??W1?W3?W2?WP?W9?由?得?计算可得 W2?23??W1?W2?W3?125??2?6?W2?W3?W3?3??25???W1?W2?W3?1
精选
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，p(1|11)=0.8，
p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。画出
状态图，并计算各状态的稳态概率。 解：p(0|00)?p(00|00)?0.8 p(0|01)?p(10|01)?0.5
p(0|11)?p(10|11)?0.2 p(0|10)?p(00|10)?0.5 p(1|00)?p(01|00)?0.2 p(1|01)?p(11|01)?0.5 p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.5
0??0.80.20??000.50.5? 于是可以列出转移概率矩阵：p???0.50.500???000.20.8??状态图为：
0.8000.50.2010.50.50.50.2
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有
5?W1??14?0.8W1?0.5W3?W1??0.2W1?0.5W3?W2?W2?1?WP?W????470.5W2?0.2W4?W3 得 计算得到 ???Wi?11?0.5W2?0.8W4?W4???W3??i?1??7W1?W2?W3?W4?1???5?W4?14?精选
10110.82.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；
(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；
(5) 两个点数中至少有一个是1的自信息量。 解： (1)
11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18
(2)
111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36
(3)
两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36
精选