Psi - Math - Lycée Alphone Daudet

Liste chapitres

Plan du chapitre

Section

sous-section

IV. Chaine de Markov.

IV.1. Matrices Stochastiques.

Définition.

Une matrice stochastique $($resp.strictement stochastique$)$ est une matrice à coefficients positifs $($resp. strictement positis$)$ dont la somme des coefficients de chaque ligne fait 1. De manière formelle, on a : $$A=(a_{ij})\in\text{Sto}_n(\SetR)\:\:\:\Longleftrightarrow\:\:\: \left\{\begin{array}{cl} \\[-0.2cm] \forall i,j\in[\![1,n]\!],&\ds a_{ij}\geq 0\\ \forall i\in[\![1,n]\!],&\ds\sum_{j=1}^na_{ij}=1\\ \end{array}\right.$$
Une matrice est anti-stochastique $($resp. strictement anti-stochastique$)$ si sa transposée est stochastique $($resp. strictement stochastique$)$

Exercice - Caractérisation et structure.^²⁵

Notons $U$ la matrice colonne de $\mathcal{M}_{n1}(\SetR)$ ne contenant que des 1.

Montrer que la matrice $A=(a_{ij})$ est stochastique si et seulement si : $$\left\{\:\begin{array}{l} \forall i,j\in[\![1,n]\!],\:\:a_{ij}\geq 0\\[0.15cm] AU=U\\ \end{array}\right.$$
Montrer que le produit de matrices stochastiques est encore stochastique.
Montrer que l'ensemble des matrices stochastiques est un convexe de $\mathcal{M_n}(\SetR)$.
Que se passe-t-il dans le cas des matrices anti-stochastiques ?

Exercice - Valeurs propres.^²⁶

Soit $A=(a_{ij})$ une matrice stochastique, $\lambda$ une valeur propre de $A$ et $X=(x_1\:...\:x_n)^T$ un vecteur propre associé.

Soit $i_0$ l'indice vérifiant : $$|x_{i_0}|\=\|X\|_\infty\=\mathop{\text{Max}}\Big\{|x_1|,\:|x_2|,\:...,\:|x_n|\Big\}$$ Montrer que : $$\lambda x_{i_0}\=\sum_{j=1}^na_{i_0j}x_j$$
Montrer que 1 est une valeur propre de $A$. Donner un de ses vecteurs propres.
Montrer que les valeurs propres $\lambda$ de $A$ vérifie $|\lambda|\leq 1$.
Supposons que $A$ est strictement stochastique. Rappeler le cas d'égalité dans l'inégalité triangulaire de la valeur absolue, puis montrer que : $$|\lambda|= 1\hskip0.5cm\Longrightarrow\hskip0.5cm x_1=x_2=...=x_n$$
En déduire que pour une matrice strictement stochastique : $$ \left\{\begin{array}{ll} \lambda=1\:\text{ ou }\:|\lambda|<1 \\ E_1\=\text{Vect}(U)\\ \end{array} \right. $$
Montrer que pour tout $M$ de $\mathcal{M}_n(\SetR)$, on a $\PCar{A}=\PCar{A^T}$. En déduire que les résultats pourtant sur les valeurs propres d'une matrices anti-stochastique sont similaires.

IV. Chaine de Markov.

IV.2. Chaines de Markov.

Définition.

Une chaine de Markov $($homogène et discrète$)$ est une expérience aléatoire caractérisée par un nombre fini d'états. La probabilité pour passer d'un état à un autre est fixe et entièrement déterminé par l'état actuel. On dit que le système est sans mémoire.

De manière formelle, une chaine de Markov est une suite de variables aléatoires $(X_n)_{n\in\SetN}$ à valeurs dans un ensemble $E=[\![1,p]\!]$ appelé l'ensemble des états et vérifiant pour tous $i_0$, $i_1$,..., $i_n$, $i$, $j$ de $E$ et tous $n$ de $\SetN$ : $$ \begin{array}{ll} P(X_{n+1}=i\:|\:X_{0}=i_0, ..., X_{n}=i_n)\=P(X_{n+1}=i\:|\:X_{n}=i_n)&\text{Sans mémoire}\\ P(X_{n+1}=i\:|\:X_{n}=j)\=P(X_{n}=i\:|\:X_{n-1}=j)&\text{Homogène}\\ \end{array} $$

Modélisation et méthode.^²⁷