随机过程总结

概率密度分布：$f(x|y) = \frac{f(u,y)}{f(y)}$
条件分布函数：对$f(x|y)$从负无穷积分到$x$
条件期望：$E(X|y) = \int xdF_{X|Y}(x|y)$
加入条件期望：$E(X_i) = E(E(X_i|X_{j,j\neq i}))$
加入条件方差：$D(X_i) = E(D(X_i|N)) + D(E(X_i|N))$
性质：$g(x)$不含$X_i$时，$E[X_ig(x)|X_{j,j\neq i}] = g(x)E(X_i|X_{j,j\neq i})$（相当于挪出了常数项）

随机过程数学定义

概率空间$\Omega$，参数常为时间$t$，其空间常为$T$
样本函数：$\omega$不变，关于$t$的函数
可列集：$t$取值可数，否则为不可列集

随机过程的分布函数

$F(t_1,t_2;x_1,x_2) = P(X(t_1) \le x_1,X(t_2) \le x_2)$
有限维分布函数族：任意有限个随机变量的分布

对于已知Y分布，求X = g（Y）分布来说，相当于把分布换成了g的反函数带入，便是X的分布了。

随机过程的数字特征

单随机过程

单个随机过程的均值（期望），方差，协方差（不同时间）均与随机变量类似
相关函数：$R_x(s,t) = E(X(s)X(t))$
均方值函数：$\phi_x(t) = E(X^2(t)) = R_x(t,t)$

一般先求相关函数再求协方差

双随机过程

独立：边缘分布相乘等于联合分布
互相关函数：$R_{XY}(s,t) = E(X(s)Y(t))$
互协方差函数：$C_{XY}(s,t) = R_{XY}(s,t) - m_X(s)m_Y(t)$
互协方差函数 = 0时二者不相关

相关是指线性相关，所以独立一定不相关，但不相关不一定独立。

复随机过程

定义：对于同一概率空间的实随机过程$X(t),Y(t)$，复随机过程为$Z(t) = X(t) + jY(t)$

泊松过程

泊松过程定义

计数过程：随机过程$N(t)$表示0到$t$时间里发生时间总数。
独立增量过程：$N(s) - N(t)$相互独立，若$N(t+s) - N(s)$与$s$无关，则称其平稳或者齐次。
泊松过程要求：独立平稳增量过程，初始为0，极小时间内发生一次时间概率与时间成正比
增量服从：$P(N(t) - N(s) = k) = \frac{[\lambda(t-s)]^k}{k!}e^{-\lambda(t-s)}$
泊松分布：$P(N(t) = k) = \frac{(\lambda t)^k}{k!}e^{-\lambda t}$

泊松过程数字特征

$m(t) = \lambda t$
$D(t) = \lambda t$
$Cov(s,t) = \lambda min(s,t)$
$R(s,t) = \lambda ^2st + \lambda min(s,t)$

泊松过程在使用时和开始的那种分布函数不一样，注意所在空间——K还是T，不要混淆。

到达时间与时间间隔分布

第$n$个事件到达时间:$T_n$，时间间隔：$\tau n = T_n - T{n - 1}$
时间间隔分布概率密度：$f_\tau (t) = \lambda e^{-\lambda t}$
时间间隔期望$E[\tau] = \frac{1}{\lambda}$，有点像频率和周期的关系，单位时间平均有$\lambda$个事件，所以周期为倒数。
到达时间的概率密度函数：$f_{T_n}(t) = \lambda e^{-\lambda t}\frac{(\lambda t)^{n-1}}{(n-1)!}$
到达时间期望$E[T] = \frac{n}{\lambda}$，相当于$n$个独立的时间间隔的期望之和，方差为$D[T] = \frac{n}{\lambda^2}$
若已知$t$时间内到达$n$次，则其到达时间的顺序分布概率密度函数为：$f(u_1,u_2,…) = \frac{n!}{t^n}$

相当于均匀独立的$n$个$T$的分布

计算注意：期望和方差的反向利用：$E(N(t)) = \sum k*P(N(t) = k)$

还要注意当前在哪个空间下，$t,k$谁是常数可以提出。

顺序统计量

$x_{(1)}$为最小的观测量
$x_{(n)}$为1到n里最大的观测量
$(x_{(1)},x_{(2)}…)$被称为顺序统计量，它们不独立也不同分布

泊松过程的叠加

泊松可以相加，其$\lambda$ 也等于相加之和，但相减后不是泊松过程。
对二维问题：画图积分（eg：比大小就看中间的$t_x = t_y$）

比快慢的结果形式为：$P(T_k^1 < T_1^2) =( \frac{\lambda_1}{\lambda_2 + \lambda_1})^k$，简记为：快的在上面。

叠加性质

若每次发生的为相互独立的A或B，则其分布相当于每次发生事件时是A的概率$p = \frac{\lambda_a}{\lambda_a + \lambda_b}$

泊松过程的抽样

若在$T$发生的一个事件以$P_i(T)$的概率被分类到$i$中，其均值可以表达为：$E[N_i(T)] = \lambda \int_{0}^{t} P_i(s)ds$

复合泊松过程

定义：$X(t) = \sum_{n = 1}^{N(t)} Y_n$ ，其中$Y_n$是独立同分布的随机变量，$N(t)$为泊松分布。

$Y_n \equiv 1$时，退化为泊松过程。

$Y_n$为泊松分布时，若总数一定，合为泊松分布的叠加。

期望：$E[X(t)] = \lambda t E[Y_n]$
方差：$D[X(t)] = \lambda tE[Y_n^2]$

马尔可夫过程

基本概念

马尔可夫性：只和现在有关，不看过去，不影响未来。
马尔可夫过程：要求$n-1$之前的取值都不影响现在的取值：

$P(X(t_n) \le x_n|X(t_1) = x_1,X(t_2) = x_2, …X(t_{n-1}) = x_{n-1}) = P(X(t_n) \le x_n |X(t_{n-1}) = x_{n-1}) $
马尔科夫链：参数集和状态空间都是离散的马尔可夫过程
一步转移概率：$P(X_n = i|X_{n - 1} = j) = p_{ij}(n)$注意是由$i$到$j$ 。
K步转移概率：$P(X_{n+k} = j|X_n = i) = p_{ij}^{(k)}(n)$
Chapman-Kolmogorov方程：对矩阵，$P^{(k+1)}(n) = P(n)P(n+1)P(n+2)…P(n+k)$，一步跳转，等于按着$n$到$n+k$挨个跳转。
齐次马尔可夫链：$n$没用了，$p_{ij}(n) = p_{ij}(n+1)$

有限维马尔科夫链

分布向量：注意是横着的，$1n$的向量才能去乘$nn$的矩阵

状态分类

可达\不可达：能否从A到B
相通：AB可相互到达
闭集：能进不让出
不可约：除了最大的自己没有闭集了
首达时间：$T_{ij}$为$i$首次到$j$用的时间。
首达概率：$f_{ij}^{(n)}$为从$i$经过$n$步首次到达$j$的概率
迟早概率：$f_{ij} = \sum f_{ij}^{(n)} = P(T_{ij} < \infty)$，从$i$迟早到达$j$的概率
常返态：迟早概率为1，充要条件：$\sum_{n = 0}^\infty p_{ii}^{(n)} = \infty$

非常返态相当于访问次数有限。

有限状态的马尔科夫链，一定有常返态。

常返态$i$的平均返回时间：$\mu_i = \sum_{1\le n < \infty} nf_{ii}^{(n)}$
正常\零常返态：$\mu_i < \infty$为正常，$\mu_i = 0$为零常返态

状态个数有限的马尔科夫链一定有正常返态。

不可约的话，所有的都是正常返态。

相通的时候，常返态和正常返态相关性质共享。（类性质）

周期：指周期性有可能返回，即$p_{ii}^{(n)} > 0$除1外$n$的最小公约数。若没有，则没有周期。可以通过分子类的方式解决。
遍历态：非周期的正常返态。

转移概率的极限

定义：$\lim P^n = \pi$，$\pi$各行相同，要求有一个$P^{(n)}$的元素全不为零。
求法：$\pi P = \pi$，$\sum \pi = 1$
也可以看出，极限分布与初始分布无关
不可约，正常返的马尔可夫链一定存在唯一平稳分布，反过来也是（充要）。
平稳分布后，状态$j$的平均返回时间$\mu_j = \frac{1}{\pi_j} = \frac{1}{\lim p_{ii}^{(n)}}$

模拟退火算法

要求：能量高时向能量低转移，能量低的有一定概率向能量高转移

马尔可夫过程的转移概率

因为没有单位时间，无法求解概率矩阵
连续性条件：$\lim_{t \to 0}P_{ij}(t) = \delta_{ij}$，即$\lim_{t \to 0}P(t) =I$
转移率矩阵：$Q = \frac{d}{dt}P(t)|_{t = 0}$，每个元素分别对时间$t$求导，然后取$t = 0$

Q上每一行和为0，一般通过$Q$算$P$

Kolmogorov 方程：实现由$Q$到$P$：前进：$\frac{d}{dt}P(t) = P(t)Q$，后退：$\frac{d}{dt}P(t) = QP(t)$

前进后退含义：根据所求内容选择，一般前进

一般来说都是给的指数分布\泊松过程，这时候的转移概率就是$\lambda$

求得别人的转移概率后，对自己的转移概率通过和为0解决。

马尔可夫平稳分布

要求：$\pi = \pi P$ 或$\pi Q = 0$
注意$\pi$一般是横着的，有隐含条件和为1

生灭过程

特点：只能向临近转移，$q$为$\lambda_n(t)$，不能同时转移多个状态。
齐次生灭过程：$\lambda_n(t) = \lambda_n$
线性：$\lambda_n = \lambda * n$
纯生：只向多的转移
数字特征（$m$为初始值）：均值：$E[X(t)] = me^{(\lambda - \mu)t}$
极限情况：只有在增加参数$\lambda$大于减少参数$\mu$时，赢的概率为$1-(\frac{\mu}{\lambda})^m$

分类: 笔记
标签: 学习, 数学