????????????q0p00???p0?? （2） P???0q0???00q0p??????????????(3)每次游动只有两种可能，向前概率为p，向后概率为q，n次移动的结果是由i到j，若在n次游动中向前m1次，向后m2次，则
n?j?i?m???m1?m2?n?12?? ?m?m?j?in?j?i?12?m?2??2n?j?in?j?i?n?2j?i?(n)?p2?q2,,,n?j?i为偶数?pij??Cn?,,,n?j?i为奇数?0，
nnn?222?(n)pii??Cn?p?q,,,n为偶数?,,,n为奇数?0，
3、设齐次Markov链{Xn,n?0}的状态空间是{1,?,7}，状态转移矩阵为
001/2?0?1/31/31/30??0010?P??1/3000?0100?00?1/20?0003/4?（1）对状态空间进行分解；
（2）求平稳分布
提示：仿照教材中的例题来做。
01/20000000?00??00??02/3? 00??01/2?1/40??E?N?R?1?R?2?{2,5}?{1,4,6,7}?{3}平稳分布
??(
91547?1,0,?2,?1,0,?1,?1)，其中?1??2?1,?1?0,?2?0 46462323
4、设Markov链{Xn,n?0}的状态空间是{0,1,2,?}，转移概率为
p0i?pi?0,pi,i?1?1,i?1,2,?,p00?p0
证明
（1）Markov链{Xn,n?0}是常返的不可约的；
(k)证明：由于所有状态互通，所以所有状态具备相同的状态类型，又由于f00?pk?1,从而
??f00??fk?1(k)00??pk?1?1，即状态0是常返的，所以整个马链也是常返的。
k?1（2）Markov链{Xn,n?0}是零常返的充分必要条件是
???npn?1?n?1??；
证明：注意到?00??nfn?1(n)00??npn?1及其整个马链所有状态互通即得。
n?1（3） Markov链{Xn,n?0}是正常返的充分必要条件是
???p?n????n?i为??i??,i?0,1,??。 ??npn?1???n?1???npn?1?n?1且此时的平稳分布??，
证明
类似于（2），马链正常返的充要条件是 由于?0??npn?1?n?1??
1?00?1?npn?1?，所以利用?0?p0?0??1得
n?1?1?(1?p0)?0??npn?1n?1??p?n
n?1由?1?p1?0??2得
?2?(1?p0?p1)?0??npn?1n?2??p?n
n?1
………………………… 由?i?1?pi?1?0??i得
?i?(1?p0?p1???pi?1)?0??npn?1n?i??p?n
n?1