\section{Chapitre 15: Raisonnement probabiliste sur une période de temps}
\label{sec:ch15}

\subsection{Processus de Markov}
\label{sec:ch15markov}

Une situation dynamique est représentée par un ensemble de \textit{photos} décrivant l'état à un certain instant. Elle comprend:
\begin{itemize}
\item $X_t$, les variables non-observables à $t$
\item $E_t=e_t$, les variables d'évidence au temps $t$
\end{itemize}

On considère:

\begin{itemize}
\item Processus stationnaire: $\mathbf{P}(X_t|Parents(X_t))$ est constant $\forall t$
\item Modèle de transition: processus de Markov: seul un historique fini d'états influence l'état présent
  \begin{itemize}
  \item premier degré: $\mathbf{P}(X|X_{0:t-1})=\mathbf{P}(X|X_{t-1})$
  \item second degré:$\mathbf{P}(X|X_{0:t-1})=\mathbf{P}(X|X_{t-x} \wedge X_{t-1})$
  \end{itemize}
\item Modèle d'observation $\mathbf{P}(E_t|X_t)$: les variables d'évidence ne dépendent que de l'état présent
\end{itemize}

\begin{figure}[ht]
  \centering
  \includegraphics[height=100px]{umbrella.png}
  \caption{Réseau bayesien: exemple du parapluie}
\end{figure}

\begin{mydef}
  Distribution conjointe complète:
  \begin{align}
    \mathbf{P}(X_0,X_1,\ldots,X_t,E_1,E_2,\ldots,E_t)=\mathbf{P}(X_0) \prod_{i=1}^t\mathbf{P}(X_i|X_{i-1})\mathbf{P}(E_i|X_i))
  \end{align}
\end{mydef}

\subsection{Tâches d'inférence}

\begin{itemize}
\item Filtrage: $\mathbf{P}(X_t|e_{1:t})$
\item Prédiction: $\mathbf{P}(X_{t+k}|e_{1:t})$
\item Lissage:$\mathbf{P}(X_{k}|e_{1:t}), 0 \leq l < t$
\item Explication la plus probable: $\argmax_{x_{1:t}}P(x_{1:t}|e_{1:t})$
\end{itemize}

\paragraph{Filtrage}

Probabilité sachant une nouvelle évidence

\begin{align}
  P(X_{t+1}|e_{1:t+1})&=P(X_{t+1}|e_{1:t}e_{t+1})\\
                      &=\alpha P(e_{t+1}|X_{t+1},e_{1:t})P(X_{t+1}|e_{1:t})\\
                      &=\alpha P(e_{t+1}|X_{t+1})P(X_{t+1}|e_{1:t})\\
                      &=\alpha P(e_{t+1}|X_{t+1})\sum_{x_t}P(X_{t+1}|x_t,e_{1:t})P(x_t|e_{1:t})\\
                      &=\alpha P(e_{t+1}|X_{t+1})\sum_{x_t}P(X_{t+1}|x_t)P(x_t|e_{1:t})\\
                      &=\alpha \textsc{Forward}(f_{1:t},e_{t+1})\\
                      &=f_{1:t+1}
\end{align}

\paragraph{Prédiction}

Filtrage sans ajout de nouvelle information

\begin{align}
  P(X_{t+k+1}|e_{1:t})&=\sum_{x_{t+k}}P(X_{t+k+1}|x_{t+k})P(x_{t+k}e_{1:t})
\end{align}

\paragraph{Lissage}

Probabilité d'un certain état dans le passé

\begin{align}
  P(X_k|e_{1:t}) &= P(X_k|e_{1:k},e_{k+1:t})\\
                 &= \alpha P(X_k|e_{1:k})P(e_{k+1:t}|X_k,e_{1:k})\\
                 &= \alpha P(X_k|e_{1:k})P(e_{k+1:t}|X_k)\\
                 &= \alpha f_{1:k}b_{k+1:t}
\end{align}

La seconde probabilité est obtenue par un appel récursif

\begin{align}
  P(e_{k+1:t}|X_k)&=\sum_{x_{k+1}}P(e_{k+1}|x_{k+1})P(e_{k+2:t}|X_{k+1})P(x_{k+1}|X_k)\\
                  &=\textsc{Backward}(b_{k+1:t},e_{k+1})
\end{align}

\paragraph{Explication la plus probable}

Trouver la suite d'évènements la plus probable selon les observations.

$m_{1:t}(i)$ est la probabilité du chemin le plus probable jusqu'à l'état $i$.
\begin{align}
  m_{1:t}=\max_{x_1,\ldots,x_{t-1}}P(x_1,\ldots,x_{t-1},X_t|e_{1:t})\\
  m_{1:t+1}=P(e_{t+1}|X_{t+1})\max_{x_t}(P(X_{t+1}|x_t)m_{1:t})
\end{align}


\subsection{Modèles de Markov cachés}
\label{sec:ch15hiddenmarkov}

Représentation des probabilités du modèle d'observation sous la forme de matrice de transition. On ne considère que le cas observé, donc la matrice est diagonale et les valeurs prennent $P(e_t|X_t=i)$ ou $0$. LLes calculs de filtrage et d'information a posteriori deviennent de simples opérations de base sur des matrices et des vecteurs.

\begin{itemize}
\item Forward: $f_{1:t+1}=\alpha O_{t+1}T^Tf_{1:t}$
\item Backward: $b_{k+1:1}=T O_{k+1}b_{k+2:t}$
\end{itemize}







%%% Local Variables:
%%% mode: latex
%%% TeX-master: "notes_de_cours"
%%% End: