Markov renewal process；semi-Markov process；Markov renewal counting process；

一、定义

【马尔可夫更新过程】表示转移时期和该时期的状态，是一个二维（状态，时间）随机过程； 【半马尔可夫过程】表示任意时刻马尔科夫更新过程的某个状态，是一个由马尔科夫更新过程产生的一维随机过程，其逗留时间是一般分布的，不具有马尔可夫性，将来取决于现在的状态和在该状态已停留的时间。但在各状态转移时刻({Tn,n>=0}是其更新点，或再生点），具有马尔可夫性。

二、几种随机过程之间的区别和联系

【1、马尔可夫过程和半马尔可夫过程的关系】

在马尔可夫过程中，在每个状态的逗留时间服从指数分布，由于指数分布的无记忆性，故任一时刻t都是更新点，也就是任一时刻都具有马尔可夫性。但是，半马尔可夫过程中，在每个状态的逗留时间是一般分布，因此不是所有时刻都是过程的更新点，而只有状态转移时刻是更新点，所以只有在这些更新点上才具有马尔可夫性。

【2、半马尔可夫过程和连续时间的马尔可夫链的关系】

如果半马尔可夫在各状态的逗留时间都服从指数分布，则得到连续时间马尔可夫链；

P[Xn+1=j，Tn+1-Tn<=t|(X0,T0)，(X1,T1)，...,(Xn=i,Tn)]

=P[Xn+1=j,Tn+1-Tn<=t|Xn=i] （注意，若Tn+1-Tn服从指数分布）

=P[Xn+1=j,|Xn=i] (1-e^-λt) ，（n>=1,t>=0,且i,j属于S）

【3、马尔可夫更新过程和离散时间马尔可夫链的关系】

P[Xn+1=j，Tn+1-Tn<=t|(X0,T0)，(X1,T1)，...,(Xn=i,Tn)] （忽略时间）

=P[Xn+1=j | X0,X1,...,Xn=i]

=P[Xn+1=j |Xn=i]

【4、马尔可夫更新过程和更新过程的关系】

三、马尔可夫更新过程

{X，T}={（Xn,Tn）,n>=0}具有如下性质：

1、X={Xn,n>=0}是状态空间S上的转移矩阵为Q=Q(i,j)的马尔可夫链，且和n无关，即为齐次的。其中Q(i,j)=

2、

马尔可夫更新过程是马尔可夫过程的推广，如果忽略马尔可夫更新过程中的时间变量，即逗留时间假定为1，则得到离散时间的马尔可夫链。如果半马尔可夫在各状态的逗留时间都服从指数分布，就可得到连续时间马尔可夫链。

马尔可夫更新过程是更新过程的推广。

在马尔可夫更新过程中，如果在某一状态的逗留时间（独立于下一状态并服从指数分布），则称为马尔可夫过程；如果逗留时间等于单位时间1，则称为马尔科夫链。

1.马尔可夫更新过程

随机变量Xn取值于状态空间S={0，1,2，......}，Tn是取值[0，无穷）的随机变量，并且0=T1<=T2<=...Tn-1<=Tn<=...，则称随机过程{（Xn,Tn）,n>=0}是马尔可夫更新过程，如果对于任意n>=0，j属于S，t>=0满足

P[Xn+1=j,Tn+1-Tn<=t|（X0，T0）,（X1，T1）,...,（Xn，Tn）]

=P[Xn+1=j,Tn+1-Tn<=t|Xn]

上式为“半马尔科夫性”，含义是，已知现在状态Xn，将来状态Xn+1与逗留在当前状态的时间Tn+1-Tn的联合分布与过去的历史X0,T0，X1,T1，...，Xn-1,Tn-1独立。

马尔可夫更新过程是将连续时间马尔科夫的状态逗留时间分布由指数分布推广到一般分布，故马尔可夫更新更新过程中，序列{Xn，n>=0}只具有半马尔可夫性，即在状态转移时刻{Tn,n>=0}具有马尔可夫性。

2、与马尔可夫更新过程相联系的计数过程 更新过程N(t)是一计数过程，表示到时刻t的更新次数。 用Nk(t)表示guocheng