这里需要注意,在马尔可夫链的标准定义中,转移状态矩阵是固定不变的,这意味着它不随时间变化。这种马尔可夫链被称为时齐的(homogeneous)或者具有稳态转移概率的。在时齐马尔可夫链中,转移概率 pij 从状态 i 转移到状态 j 的概率是恒定的,不论这个转移发生在过程的哪个时间点。
然而,也存在非时齐的(non-homogeneous)或者时变的(time-dependent)马尔可夫链,其中转移状态矩阵可能随时间变化。在这种情况下,转移概率 pij(t) 可以随时间 t 而变化,这意味着在不同时间点,从状态 i 转移到状态 j 的概率可能会有所不同。对于非时齐马尔可夫链,我们必须指定或者计算每个时间步的转移矩阵。
不可约性:如果一个马尔可夫链的任意两个状态之间都存在一定的转移路径,则称该链是不可约的。具体来说,如果状态空间中任何一个状态都可以通过有限步骤到达另一个状态,那么这个状态空间就是连通的,不存在被隔离的状态子集。不可约性可以用数学公式表示为:对于任意两个状态 i 和 j,存在正整数 n,使得 Pn(i,j)>0,其中 Pn(i,j) 表示在 n 步后从状态 i 转移到状态 j 的概率。
常返性:在马尔可夫链中,如果从某个状态出发,最终必然能够以概率1返回该状态,则称此状态为常返状态。相反,如果某状态返回的概率小于1,则称为暂态状态。如果马尔可夫链中的所有状态都是常返的,则称该链为常返链。常返性是衡量状态重访频率的重要指标,可以用数学语言定义为:状态 i 是常返的当且仅当 ∑n=1∞Pn(i,i)=1。
周期性:状态的周期是指从该状态出发经过一系列转移后再次返回该状态所需步数的最大公约数。如果一个状态的周期为1,则称该状态为非周期状态。如果马尔可夫链的所有状态都是非周期的,则该链也是非周期的。周期性的数学定义是:状态 i 的周期 d(i) 是满足 Pn(i,i)>0 的所有 n 的最大公约数。
了解一个马尔可夫链是否具备上述性质,需要对其转移概率矩阵进行深入分析。转移概率矩阵 P 中的元素 P(i,j) 表示从状态 i 转移到状态 j 的概率。根据 P 的具体情况,马尔可夫链的性质会有所不同,因此并不是所有的马尔可夫链都具有这些性质。在实际应用中,通过研究转移概率矩阵,我们可以确定马尔可夫链是否具有遍历性,并预测其长期行为。
代码
python
1import numpy as np
23# 转移矩阵4P = np.array([[0.1,0.4,0.5],5[0.6,0.2,0.2],6[0.3,0.3,0.4]])78# 初始状态9state =[1,0,0]1011# 随机演化100步12for _ inrange(100):13 state = np.dot(state, P)1415# 打印最终状态16print(state)
1import numpy as np
23# 转移矩阵4P = np.array([[0.1,0.4,0.5],5[0.6,0.2,0.2],6[0.3,0.3,0.4]])78# 初始状态9state =[1,0,0]1011# 随机演化100步12for _ inrange(100):13 state = np.dot(state, P)1415# 打印最终状态16print(state)