??(
91547?1,0,?2,?1,0,?1,?1)，其中?1??2?1,?1?0,?2?0 464623234、设齐次Markov链{Xn,n?0}的状态空间是{1,2,3}，状态转移矩阵为
?qP???q??0p0q0?p?? p??其中p(0?p?1)，q?1?p，问该Markov链{Xn,n?0}是否为遍历链，为什么？若是，求极限分布。
?q?解：由P?q???0p0q?q2?pqpq0??(2)22p?2pq，与P?P??q??q2p?pq??p2??p2?， pq?p2??p2P(2)?q2?pqpq??P2??q22pq?q2pq?p0q??p2?种元素都大于0，说明3个状态互通，即具有相同pq?p2??0?p??知道状态1为非周期态，于是3个状态都是正常返非周期p???q?的状态类型，由P?q???0态。由于每个元素都大于 0，从而该Markov链{Xn,n?0}是遍历链，于是极限分布就是平稳分布，设平稳分布为??(?1,?2,?3)，求解方程组
????P ???????123?1可得
?1?1pp1??()2qq;?2?pqpp1??()2qq;p()2q?3?pp 1??()2qq5、设Markov链{Xn,n?0}的状态空间是{1,2,}，转移概率矩阵为
?1?p1?1?p2??1?p3P????1?pk??其中pk?e?1/k,k?1,2,解
(n)f11?p1?p10000p20000p30000pk????? ????，证明状态1为常返状态。
?pn?1?p1??pn?1?pn,n?1,2,??fk?1n(k)11?1?p1??pn?1?pn
?f11??fk?1?(k)11?lim?fn??k?1n(k)111?1?limexp{??}?1n??k?1kn所以状态1为常返状态。
6、某厂的商品销售状态可分为三个：分别用1，2，3表示滞销、正常和畅销，经过对历史资料的整理分析，其销售状态的变化与初始时刻无关，状态转移概率矩阵为
0??1/21/2?
P??1/31/95/9????1/62/31/6??试对经过长时间后的销售状况进行分析。
解：由一步转移概率矩阵可知状态互通，且pii?0，所以所有状态都是遍历状态，于是极限分布为平稳分布，设平稳分布为??(?1,?2,?3)，求解方程组
????P ???????123?1可得
?1?即极限分布为??(
二、证明题 1、设Yk,k?1,2,896,?2?,?3? 232323896,,) 232323为相互独立的随机变量，证明
（1）{Yk,k?1,2,n}是Markov链；
}是Markov链。
（2）{?Y,n?1,2,kk?1（课堂讲过，答案略。）
2、设某人有r把伞，分别放在家里和办公室里。如果他出门遇到下雨（概率为p(0?p?1)），手边也有伞，他就带一把用，如果天晴他就不带伞，证明 长时间后，此人遇到下雨手边却无伞可用的概率?解：
令状态为此人身边所有的伞数，，则转移概率为
1。 4rp0r?1因为此时此人手头无伞可带！当手头有i把伞，而天不下雨，pi,r?i?1?p所以也就无需带伞，因此另外一处有r-i把伞；
当手头有i把伞，而天下雨，pi,r?i?1?p所以也就需带伞至另一处，因此另外一处有r-i+1把伞；i?1,2,,r,?r}，求解
可知状态0,1，……，r互通，且每个状态周期都为1，因此存在平稳分布，此时平稳分布就是极限分布。设平稳分布为??{?0,??r??0??1P????q??jr?jr?j?1p,j?1,2,????0??rq?r????1k??k?0得到
,r?1
??{q1,,r?qr?q,1} r?q
所以长时间后此人遇到下雨但无伞可带的概率为
p?0?pq1?r?q4r因为p，q必定有一个?0.5,一个?0.5
从而乘积?0.25,
3、设Markov链{Xn,n?0}的状态空间是{0,1,2,}，转移概率为
p0i?pi?0,pi,i?1?1,i?1,2,证明
（1）Markov链{Xn,n?0}是常返的不可约的； （2）Markov链{Xn,n?0}是零常返的充分必要条件是
,p00?p0
?npn?1??n?1??；
（3）Markov链{Xn,n?0}是正常返的充分必要条件是
??pn???为??i??n?1,i?0,1,?npn?1??n?1??npn?1n?1??，且此时的平稳分布
????。 ???
(k)证明：（1）由于所有状态互通，所以所有状态具备相同的状态类型，又由于f00?pk?1,从
而
f00??fk?1?(k)00??pk?1?1，即状态0是常返的，所以整个马链也是常返的。
k?1?（2）注意到?00??nfn?1?(n)00??npn?1及其整个马链所有状态互通即得。
n?1?（3）类似于（2），马链正常返的充要条件是 由于?0??npn?1?n?1??
1?00?1?npn?1?，所以利用?0?p0?0??1得
n?1
?1?(1?p0)?0??npn?1n?1??p?n
n?1由?1?p1?0??2得
?2?(1?p0?p1)?0??npn?1n?2??p?n
n?1
………………………… 由?i?1?pi?1?0??i得
?i?(1?p0?p1??pi?1)?0??npn?1n?i??p?n
n?1