随机过程-C4马尔可夫链

练习四：马尔可夫链随机过程练习题1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1停留在原处，在其它整数点分别以概率31向左、右移动一格或停留在原处。求质点随机游动的一步和二步转移的概率矩阵。2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为p，对于2n求，令nX=0，1，2或3，这些值分别对应于第1n次和第n次抛掷的结果为（正，正），（正，反），（反，正）或（反，反）。求马尔可夫链},2,1,0,{nXn的一步和二步转移的概率矩阵。3．设}0,{nXn为马尔可夫链，试证：（1）},,,|,,,{11002211nnmnmnnnnniXiXiXiXiXiXP}|,,,{2211nnmnmnnnnniXiXiXiXP（2）}|,,,,,,{11221100nnmnmnnnnniXiXiXiXiXiXP}|,,,{111100nnnniXiXiXiXPmnnnXiXP,,{22}|11nnmniXi4．设}1,{nXn为有限齐次马尔可夫链，其初始分布和转移概率矩阵为0{XPpi4,3,2,1,41}ii，4/14/14/14/18/34/18/14/14/14/14/14/14/14/14/14/1P，试证}41|4{}41,1|4{12102XXPXXXP5．设}),({TttX为随机过程，且)(11tXX，,),(22tXX),(nntXX为独立同分布随机变量序列，令2,,)(,011110nXcYYXtYYYnnn，试证}0,{nYn是马尔可夫链。6．已知随机游动的转移概率矩阵为5.005.05.05.0005.05.0P，求三步转移概率矩阵)3(P及当初始分布为1}3{,0}2{}1{000XPXPXP时经三步转移后处于状态3的概率。7．已知本月销售状态的初始分布和转移概率矩阵如下：（1）)4.0,2.0,4.0()0(TP，6.02.02.02.07.01.01.08.08.0P；（2）)3.0,3.0,2.0,2.0()0(TP，5.02.01.01.02.06.01.01.01.02.06.01.01.01.01.07.0P；求下一、二个月的销售状态分布。8．某商品六年共24个季度销售记录如表（状态1——畅销，状态2——滞销）季节123456789101112销售状态112122111212季节131415161718192021222324销售状态112211212111以频率估计概率。求（1）销售状态的初始分布；（2）三步转移概率矩阵及三步转移后的销售状态分布。10．讨论下列转移概率矩阵的马尔可夫链的状态分类。（1）010006.04.0000000100003.07.0005.03.02.0P；（2）02.02.06.0007.03.000010100P；（3）1000000000001prqprqprqP，其中1prq，},,1,0{bI11．设马尔可夫链的转移概率矩阵为（1）3/23/12/12/1；（2）332211000pqqpqp；计算)(11nf，)(12nf，3,2,1n12．设马尔可夫链的状态空间}7,,2,1{I，转移概率矩阵为2.08.0000007.03.000000003.05.02.000006.004.0000004.06.0001.01.01.02.02.03.01.01.01.01.001.02.04.0P求状态的分类及各常返闭集的平稳分布。13．设马尔可夫链的转移概率矩阵为000000102211pqpqP，求它的平稳分布。14．艾伦菲斯特(Erenfest)链。设甲乙两个容器共有N2个球，每隔单位时间从这N2个球中任取一球放入另一容器中，记nX为在时刻n甲容器中球的个数，则}0,{nXn是齐次马尔可夫链，称为艾伦菲斯特链，求该链的平稳分布。15．将2个红球4个白球任意地分别放入甲、乙两个盒子中，每个盒子放3个，现从每个盒子中各任取一球，交换后放回盒中（甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中），以)(nX表示经过n次交换后甲盒中红球数，则}0),({nnX为一齐次马尔可夫链，（1）求一步转移概率矩阵；（2）证明}0),({nnX是遍历链；（3）求2,1,0,lim)(jPnijn16．设}1),({nnX为非周期不可约马尔可夫链，状态空间为I，若对一切Ij，其一步转移概率矩阵满足条件：1Iijip，试证（1）对一切Ij，1)(Iinjip；（2）若状态空间},,2,1{mI，计算各状态的平均返回时间。17．设河流每天的BOD（生物耗氧量）浓度为齐次马尔可夫链，状态空间}4,3,2,1{I是按BOD浓度为极低、低、中、高分别表示的，其一步转移概率矩阵（以一天为单位）为4.04.02.001.06.02.01.01.02.05.02.001.04.05.0P。若BOD浓度为高，则称河流处于污染状态。（1）证明该链是遍历链；（2）求该链的平稳分布；（3）河流再次达到污染的平均时间4。答案1．解：质点随机游动的一步转移的概率矩阵为100003/13/13/10003/13/13/10003/13/13/100001P质点随机游动的二步转移的概率矩阵为100009/49/29/29/109/19/29/39/29/109/19/29/2/9/4000012)2(PP2．解：马尔可夫链},2,1,0,{nXn的一步转移的概率矩阵为qpqpqpqpP00000000马尔可夫链},2,1,0,{nXn的一步和二步转移的概率矩阵为222222222)2(qpqpqpqpqpqpqpqpqpqpqpqpPP3．证：（1）},,,|,,,{11002211nnmnmnnnnniXiXiXiXiXiXP},,,{},,,,,,,{110022111100nnmnmnnnnnnniXiXiXPiXiXiXiXiXiXPnnmnmnnnnniiiiiiiiiiiiiipppppppp1100111100mnmnnniiiipp11}{},,,{11nnmnmnnnnniXPiXiXiXP}|,,,{2211nnmnmnnnnniXiXiXiXP（2）}|,,,,,,{11221100nnmnmnnnnniXiXiXiXiXiXP}{},,,,,,,{1122111100nnmnmnnnnnnniXPiXiXiXiXiXiXP},,|,,{}{},,{110022111100nnmnmnnnnnnniXiXiXiXPiXPiXiXP}|,,{1100nnnniXiXiXP}|,,{1122nnmnmnnniXiXiXP4．证：}41,1{},4,41,1{}41,1|4{10210102XXPXXXPXXXP}3,1{}2,1{},4,3,1{}4,2,1{1010210210XXPXXPXXXPXXXP1311213413124121pppppppppp16541414141834141414141}41{}41,4{}41|4{11212XPXXPXXP}3{}2{}4,3{}4,2{112121XPXPXXPXXP}3{}2{}3{}2{11341241XPXPpXPpXP)(34123413441224iiiiiiiiiippppppppp)(34124133441224iiiiiiipppppp187183874160195．解：由题意1nnnCYXY知nY是),,(1nXX的函数，由于,,,1nXX是相互独立的随机变量，故对0n，1nX与),,,(10nYYY独立。},,,0|{11011nnnniYiYYiYP},,,0|{11011nnnnnniYiYYCiiCYYP},,,0|{11011nnnnniYiYYCiiXP}{11nnnCiiXP}|{11nnnnniYCiiXP}|{11nnnniYiYP由ki，1,,2,1nk的任意性知}0,{nYn为马尔可夫链。6．解：25.0375.0375.0375.025.0375.0375.0375.025.0)3(P，25.0)3(2p7．解：)32.0,26.0,42.0()1(TP，)286.0,288.0,426.0()2(TP8．解：249,24150TP，38.062.04.06.0)3(P，)39.0,61.0()3(TP9．解：}9,,2,1{I010003/103/103/102/102/10001000100001002/102/1002/102/10010OOP}4,3,2,1{1C，}9,8,7,6,5{2C两个闭集。10．解：（1）}3,2,1{1C，}5,4{2C两个遍历状态闭集。（2）}3,2,1{C遍历闭集，}4{N非常返态。（3）}0{1C，}{2bC是吸收态闭集，}1,,1{bN是非常返集。11．解：（1）21)1(11f，61)2(11f，91)3(11f；21)1(12f，41)2(12f，81)3(12f；1)1(11pf，0)2(11f，321)3(11qqqf；1)1(12qf，11)2(12qpf，121)3(12qpf。12．解：，}2,1{N非常返集，}5,4,3{1C，}7,6{2C是正常返闭集。由转移矩阵3.05.02.06.004.004.06.0解得1C的平稳分布为}0,0,236,237,2310,0,0{；同理，2C的平稳分布为}157,158,0,0,0,0,0{。13．解：0111jjjqqpp，1j，1101011jjkkkqp14．解：}0,{nXn的转移概率为0iip，NiNpii221,，Nipii21,，Ni2,,1,0，其平稳分布}2,,1,0,{Njj满足方程组NjNjNNNjNjNj2121221211121120解此方程组得02jNjC由条件1jj得02202021NNjjNCN202故}0,{nXn的平稳分布为NjNjC222，Nj2,,2,1,015．解：（1）3/13/209