?W1?4/7?解方程组得到各状态的稳态分布概率?W2?3/14，

?W?3/14?3?P?a1??4/7?所以信源平稳后的概率分布为?P?a2??3/14

?P?a??3/143?因为信源为一阶马尔可夫信源，所以信源的熵

???X???2??X2/X14?? 3?21?3?21??111??H?,,??H?,0,??H?,,0??1.251bit/符号7?244?14?33?14?33?（3）?0?log3?1.585bit/符号

?433??1???，，??1.414bit/符号?71414??2???X2/X1??1.251bit/符号?????X2/X1??1.251bit/符号

对应的冗余度分别为

?0?1??1?1??2?1??0?0?1?0?2?0?0?0.054?0.145

2-16 一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。

（1）求平稳后的信源的概率分布； （2）求信源熵H?；

（3）求当p?0和p?1时信源的熵，并说明其理由。

pp0 p1 pp2 p

解：（1）由状态转移图可得状态一步转移矩阵

?p?P?p???00ppp??0 ?p??由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。

由?Wipij?Wj和?pij?1可得方程组

ij?W1??W2??W3?W?1?pW1?pW?pW2?pW23?pW1?pW3?W2?W3?1

?W1?1/3? 解方程组得到各状态的稳态分布概率?W2?1/3，

?W?1/3?3?p?0??1/3?所以信源平稳后的概率分布为?p?1??1/3

?p?2??1/3?（2）因为信源为一阶马尔可夫信源，所以信源的熵

???X???13?p?s?H?X/s??p?0?H?X/0??p?1?H?X/1??p?2?H?X/2?iiiH?p,0,p??13H?p,p,0??13

H?0,p,p??H?p,p??H?p?（3）当p?0或p?1时，信源的熵为0。因为此时它表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。

2-19设有一信源，它在开始时以P(a)?0.6,P(b)?0.3,P(c)?0.1的概率发出X1，如果X1为a时，则X2为a,b,c的概率为

13；如果X1为b时，则X2为a,b,c的概率为

1213；如

果X1为c时，则X2为a,b概率为，为c的概率为0。而且后面发出Xi的概率只与

有P(Xi|Xi?1)?P(X2|X1),i?3。试利用马尔可夫信源的图示法画出状Xi?1有关。

态转移图，并且计算信源熵H?。

解：（1）由题目可知，这个信源为一阶马尔可夫信源，状态空间就等于信源符号集合{a,b,c},其状态转移图为

1/3 a 1/3 1/3 1/3 1/2 1/3

（2）由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。

?1?3?1一步转移矩阵P???3?1??2ij1/3 b 1/2 c 1313121?3?1?? 3??0??由?Wipij?Wj和?pij?1可得方程组

??W1??W?2???W3???W1???131313W1?W1?W1?131313W2?W2?W21212W3W3

?W2?W3?1?W1?3/8?解方程组得到各状态的稳态分布概率?W2?3/8，

?W?1/4?3因为信源为一阶马尔可夫信源，所以信源的熵

???X??3?p?s?H?X/s??p?a?H?X/a??p?b?H?X/b??p?c?H?X/c?iii?111?3?111?1?11??H?,,??H?,,??H?,??1.439bit/符号8?333?8?333?4?22?