compléter chapitre 13 et 14
This commit is contained in:
parent
b66c3cec3f
commit
c7b3aae7fa
7 changed files with 227 additions and 13 deletions
116
chapitre13.tex
116
chapitre13.tex
|
@ -2,7 +2,7 @@
|
|||
\label{sec:ch13}
|
||||
|
||||
\subsection{Probabilités}
|
||||
\label{sec:prob}
|
||||
\label{sec:ch13prob}
|
||||
|
||||
\paragraph{Types de probabilités}
|
||||
|
||||
|
@ -25,16 +25,16 @@
|
|||
\item Distribution de probabilités:
|
||||
\begin{itemize}
|
||||
\item Probabilité pour chacune des assignations possibles
|
||||
\item Jointe: pour toutes les combinaisons de valeurs possibles
|
||||
\item Conjointe: pour toutes les combinaisons de valeurs possibles
|
||||
\end{itemize}
|
||||
\end{itemize}
|
||||
|
||||
\paragraph{Règle du produit}
|
||||
\paragraph{Règle de Bayes}
|
||||
|
||||
\begin{align}
|
||||
P(a|b)&=\frac{P(a \wedge b)}{P(b)}\\
|
||||
P(a \wedge b)&=P(a|b)P(b)\\
|
||||
&=P(b|a)P(a)
|
||||
&=P(b|a)P(a)
|
||||
\end{align}
|
||||
|
||||
\paragraph{Axiomes probabilistes}
|
||||
|
@ -43,9 +43,115 @@
|
|||
\item $P(x) \in \left[ 0,1 \right]$
|
||||
\item Vrai$\mapsto 1$, Faux$\mapsto 0$
|
||||
\item Disjonsction: $P(a \vee b)=P(a)+P(b)-P(a \wedge b)$
|
||||
\item Théorème de Finetti:
|
||||
\item Théorème de Finetti: Si les croyances de l'agent 1 ne respecte pas les axiomes, alors il existe une combinaison de paris pour un agent 2 qui fait toujours perdre l'agent 1.
|
||||
\end{itemize}
|
||||
|
||||
\subsection{Inférence}
|
||||
\label{sec:ch13inference}
|
||||
|
||||
\paragraph{Inférence par énumération}
|
||||
|
||||
\begin{itemize}
|
||||
\item Utilise la distribution conjointe
|
||||
\item Somme de toutes les probabilités où la proposition est vraie
|
||||
\item Lorsqu'on somme pour une variable aléatoire, on obtient une probabilité marginale
|
||||
\item Probabilité conditionnelle: en utilisant la Règle de Bayes.
|
||||
\end{itemize}
|
||||
|
||||
\paragraph{Normalisation}
|
||||
|
||||
Le dénominateur peut être vu comme une constante de normalisation $\alpha$.
|
||||
|
||||
\begin{align}
|
||||
P(A|B)&=\alpha P(A \wedge B)\\
|
||||
\alpha&=\frac{1}{P(B)}
|
||||
\end{align}
|
||||
|
||||
Idée générale: Fixer les variables d'évidence $\mathbf{e}$ et effectuer la somme sur les variables cachées (sommation partielle).
|
||||
|
||||
\begin{align}
|
||||
P(Y) &= \sum_{z}P(Y \wedge z)\\
|
||||
&= \sum_{z}P(Y|z)P(z)\\
|
||||
P(Y|\mathbf{e})&=\alpha P(Y \wedge \mathbf{e})\\
|
||||
&= \alpha \sum_{y}P(X \wedge \mathbf{e} \wedge y)
|
||||
\end{align}
|
||||
|
||||
\paragraph{Problèmes de l'inférence par énumération}
|
||||
|
||||
\begin{itemize}
|
||||
\item Complexité en temps et en espace de $O(d^n)$
|
||||
\item Difficile de trouver les $d^n$ valeurs de la table
|
||||
\item Plutôt une base théorique pour des méthodes d'approximation
|
||||
\end{itemize}
|
||||
|
||||
\subsection{Règle de Bayes}
|
||||
\label{sec:ch13bayes}
|
||||
|
||||
\begin{mydef}
|
||||
Deux variables sont indépendantes si $P(X|Y)=P(X)$, $P(Y|X)=P(Y)$ ou $P(X \wedge Y) = P(X)P(Y)$
|
||||
\end{mydef}
|
||||
|
||||
\begin{mydef}
|
||||
Règle de Bayes:
|
||||
\begin{align}
|
||||
P(b|a)&=\frac{P(a|b)P(b)}{P(a)}\\
|
||||
P(\mathtt{cause}|\mathtt{effet})&=\frac{P(\mathtt{effet}|\mathtt{cause})P(\mathtt{cause})}{P(\mathtt{effet})}
|
||||
\end{align}
|
||||
\end{mydef}
|
||||
|
||||
En appliquant la normalisation:
|
||||
|
||||
\begin{align}
|
||||
\mathbf{P}(Y|X)=\alpha \mathbf{P}(X|Y)\mathbf{P}(Y)
|
||||
\end{align}
|
||||
|
||||
\begin{mydef}
|
||||
Deux variables sont conditionnellement indépendantes par rapport à une 3e variable si
|
||||
\begin{align}
|
||||
\mathbf{P}(X \wedge Y|Z)=\mathbf{P}(X|Z)\mathbf{P}(Y|Z)
|
||||
\end{align}
|
||||
\end{mydef}
|
||||
|
||||
Avec l'indépendance conditionnelle, la complexité passe de $O(d^n)$ à $O(n)$.
|
||||
|
||||
\begin{align}
|
||||
P(\mathtt{cause},\mathtt{Effet}_1,\ldots,\mathtt{Effet}_n)&=P(\mathtt{cause})\prod_iP(\mathtt{effet}_i|\mathtt{cause})
|
||||
\end{align}
|
||||
|
||||
C'est un classificateur de Bayes naïf.
|
||||
|
||||
\paragraph{Jeu du Wumpus}
|
||||
|
||||
\begin{itemize}
|
||||
\item Un trou cause une brise dans les cases adjacentes.
|
||||
\item Toutes les cases sauf [1,1] contiennent un trou avec une probabilité de $0.2$.
|
||||
\end{itemize}
|
||||
|
||||
La distribution conjointe complète est
|
||||
|
||||
\begin{align}
|
||||
\mathbf{P}(B_{1,1},B_{1,2},B_{2,1}|P_{1,1},\ldots,P_{4,4})\mathbf{P}(P_{1,1},\ldots,P_{4,4})
|
||||
\end{align}
|
||||
|
||||
Par indépendance, on a
|
||||
|
||||
\begin{align}
|
||||
\mathbf{P}(P_{1,1},\ldots,P_{4,4}) = \prod_{i,j=1,1}^{4,4}\mathbf{P}(P_{i,j})
|
||||
\end{align}
|
||||
|
||||
On veut trouver $P(1,3|\mathtt{known},b)$. Par énumération, on obtient:
|
||||
|
||||
\begin{align}
|
||||
\alpha \sum_{\mathtt{unknown}}\mathbf{P}(P_{1,3},\mathtt{unknown},\mathtt{known},b)
|
||||
\end{align}
|
||||
La somme contient $2^{12}=4096$ termes. En utilisant les indépendances conditionnelles:
|
||||
|
||||
\begin{align}
|
||||
P(b|P_{1,3},\mathtt{known},\mathtt{unknown})=P(b|P_{1,3},\mathtt{known},\mathtt{fringe})
|
||||
\end{align}
|
||||
|
||||
|
||||
|
||||
%%% Local Variables:
|
||||
%%% mode: latex
|
||||
%%% TeX-master: "notes_de_cours"
|
||||
|
|
108
chapitre14.tex
Normal file
108
chapitre14.tex
Normal file
|
@ -0,0 +1,108 @@
|
|||
\section{Chapitre 14: Raisonnement probabiliste}
|
||||
\label{sec:ch14}
|
||||
|
||||
\subsection{Réseaux bayesiens}
|
||||
\label{sec:ch14reseauxbayesiens}
|
||||
|
||||
\begin{mydef}
|
||||
Un \textbf{réseau bayesien} est un graphe orienté acyclique. Chaque noeud possède une distribution de probabilités conditionnelle $P(X_i|\mathtt{Parents}(X_i))$.
|
||||
\end{mydef}
|
||||
|
||||
La table de probabilités conditionnelle d'une variable booléenne avec $k$ parents booléens possède $2^k$ rangées.
|
||||
|
||||
\begin{table}[ht]
|
||||
\centering
|
||||
\begin{tabular}[ht]{c|c|c}
|
||||
Parent 1&Parent k&P(X)\\
|
||||
T&T&$p_{X|TT}$\\
|
||||
F&T&$p_{X|FT}$\\
|
||||
T&F&$p_{X|TF}$\\
|
||||
F&F&$p_{X|FF}$\\
|
||||
\end{tabular}
|
||||
\caption{Exemple avec 2 parents}
|
||||
\end{table}
|
||||
|
||||
\begin{itemize}
|
||||
\item Complexité: $O(n(2^k))$, au lieu de $O(2^n)$ pour la table conjointe complète.
|
||||
\item Sémantique globale: Distribution conjointe complète de probabilités:
|
||||
\begin{align}
|
||||
P(X_1,\ldots,X_n)=\prod_{i=1}^nP(X_i|\mathtt{Parents}(X_i))
|
||||
\end{align}
|
||||
\item Construction: Ordonner les variables (tri topologique), sélectionner les parents et définir la table de probabilités. Un modèle causal est préférable, la racine est la cause principale.
|
||||
\item Sémantique locale: Chaque noeud $X$ est
|
||||
\begin{itemize}
|
||||
\item conditionnellement indépendant de ses non-descendants étant donné ses parents.
|
||||
\item indépendant des autres sachant sa couverture de Markov $MB(X)$ (parents+enfants+parents des enfants). Pour $B$ qui n'est pas dans $MB(X)$, $P(X|MB(X),B)=P(X|MB(X)))$
|
||||
\end{itemize}
|
||||
\end{itemize}
|
||||
|
||||
\paragraph{Distribution canonique}
|
||||
|
||||
\begin{itemize}
|
||||
\item Noeuds déterministes: définis exactement par les valeurs de leurs parents ou relation numérique entre des variables continues
|
||||
\item Noisy-OR: Relations incertaines. Une relation causale entre parent et enfant peut être inhibée. La teble entière peut être spécifiée avec une probabilité d'inhibition par cause. $P(\neg \mathtt{Effet}|\mathtt{Cause}_1,\neg \mathtt{Cause}_2,\neg \mathtt{Cause}_3)=p_{1,0,0}$. Le nombre de probabilités à définir est linéaire $O(k)$
|
||||
\end{itemize}
|
||||
|
||||
\paragraph{Variables continues}
|
||||
|
||||
\begin{itemize}
|
||||
\item Discrétisation
|
||||
\item Densité de probabilités:
|
||||
\begin{itemize}
|
||||
\item Variable continue avec parents continus $s$ et discrets $h$
|
||||
\begin{itemize}
|
||||
\item Pour le parent discret $h$, on énumère les valeurs possibles
|
||||
\item Pour la variable continue, on spécifie une fonction de distribution conditionnelle. La plus utilisée est la fonction linéaire gaussienne:
|
||||
\begin{align}
|
||||
P(c|h,s)N(a_th+b_t,\sigma_t^2)(c)=\frac{1}{\sigma_t\sqrt{2\pi}}\exp\left(-\frac{1}{2}\left(\frac{c-(a_th+b_t)}{\sigma_t} \right)^2 \right)
|
||||
\end{align}
|
||||
|
||||
\end{itemize}
|
||||
\item Variable discrète avec parents continus:
|
||||
\begin{itemize}
|
||||
\item Fonction logit ou probit
|
||||
\end{itemize}
|
||||
\end{itemize}
|
||||
\end{itemize}
|
||||
|
||||
\subsection{Inférence exacte}
|
||||
\label{sec:ch14inferenceexacte}
|
||||
|
||||
\begin{itemize}
|
||||
\item Inférence par énumération
|
||||
\begin{align}
|
||||
P(X|e)&=\alpha P(x \wedge e)\\
|
||||
&=\alpha \sum_{y}P(X,e,y)
|
||||
\end{align}
|
||||
\item Inférence par élimination de variables
|
||||
\begin{itemize}
|
||||
\item On effectue la somme de la droite vers la gauche et on garde les probabilités calculées en mémoire. On effecture un produit point par point des vecteurs de probabilités.
|
||||
\item Variable inutile: $Y$ est inutile sauf si $Y \in Ancetres(\lbrace X \rbrace \cup E)$
|
||||
\end{itemize}
|
||||
\end{itemize}
|
||||
|
||||
\subsection{Inférence approximative}
|
||||
\label{sec:ch14inferenceapprox}
|
||||
|
||||
\begin{itemize}
|
||||
\item Échantillonnage direct: Générer des évènements sans variable d'évidence
|
||||
\item Échantillonnage par rejet: Enlever les échantillons où les variables d'évidence n'ont pas la bonne valeur. Estimer la probabilité avec les échantillons restants
|
||||
\item Pondération par vraisemblance:
|
||||
\begin{itemize}
|
||||
\item Fixer les variables d'évidence
|
||||
\item Échantillonner sur les autres variables
|
||||
\item Attribuer un poids aux échantillons selon la probabilité de l'évènement selon l'évidence
|
||||
\end{itemize}
|
||||
\item Markov Chain Monte Carlo (MCMC)
|
||||
\begin{itemize}
|
||||
\item Changement aléatoire dans l'évènement précédent
|
||||
\item Gibbs: Choisir une variable qui n'est pas une variable d'évidence
|
||||
\item La distribution dépend de sa couverture de Markov. On échantillonne les variables une à une et on conserve tous les états. On calcule ensuite les probabilités avec ces états.
|
||||
\end{itemize}
|
||||
\end{itemize}
|
||||
|
||||
|
||||
%%% Local Variables:
|
||||
%%% mode: latex
|
||||
%%% TeX-master: "notes_de_cours"
|
||||
%%% End:
|
|
@ -58,13 +58,13 @@ Exemple: Taxi automatisé (Figure \ref{tab:ch2taxiautomatise})
|
|||
\end{table}
|
||||
\clearpage
|
||||
\subsection{Propriétés de l'environnement}
|
||||
\label{sec:ch2propriere}
|
||||
\label{sec:ch2propriete}
|
||||
|
||||
\begin{figure}[ht]
|
||||
\centering
|
||||
\includegraphics[width=16.5cm]{environnementpropriete.png}
|
||||
\caption{Propriétés}
|
||||
\label{fig:ch2proprieresenv}
|
||||
\label{fig:ch2proprietesenv}
|
||||
\end{figure}
|
||||
|
||||
|
||||
|
@ -132,7 +132,7 @@ Exemple: Taxi automatisé (Figure \ref{tab:ch2taxiautomatise})
|
|||
{{Utilité},{Ajout d'une fonction d'utilité pour chaque état\, utile lorsque les buts sont en conflit ou s'il y a plusieurs buts}},
|
||||
}
|
||||
\caption[Structures]{Structures, de la plus simple à la plus complexe}
|
||||
\label{fig:ch2proprieresenv}
|
||||
\label{fig:ch2structureagent}
|
||||
\end{figure}
|
||||
|
||||
\paragraph{Structure interne des agents}
|
||||
|
|
|
@ -1,5 +1,5 @@
|
|||
\section{Chapitre 3: Recherche non informée}
|
||||
\label{sec:ch3}
|
||||
\label{sec:ch3a}
|
||||
|
||||
\subsection{Agent de résolution de problèmes}
|
||||
\label{sec:ch3agentresolution}
|
||||
|
|
|
@ -1,5 +1,5 @@
|
|||
\section{Chapitre 3: Recherche informée}
|
||||
\label{sec:ch3}
|
||||
\label{sec:ch3b}
|
||||
|
||||
Les algorithmes de recherche informée utilisent une heuristique pour choisir les meilleurs noeuds à visiter.
|
||||
|
||||
|
@ -119,7 +119,7 @@ On a la frontière suivante:
|
|||
}
|
||||
|
||||
\begin{align}
|
||||
\label{eq:astaroptimarbres}
|
||||
\label{eq:astaroptimgraph}
|
||||
h(n) &\leq c(n,a,n^{\prime}) + h(n^{\prime})&&\text{, Inégalité triangulaire}\\
|
||||
g(n) + h(n) &\leq g(n) + \leq c(n,a,n^{\prime}) + h(n^{\prime})&&\\
|
||||
f(n) &\leq f(n^{\prime}) &&\text{, La fonction d'évaluation ne décroit pas le long d'un chemin}\\
|
||||
|
|
|
@ -1,5 +1,5 @@
|
|||
\section{Chapitre 5: Recherche avec un adversaire}
|
||||
\label{sec:ch4}
|
||||
\label{sec:ch5}
|
||||
|
||||
\subsection{Particularités des jeux avec adversaires}
|
||||
\label{sec:ch5jeuxadversaires}
|
||||
|
|
|
@ -101,7 +101,7 @@
|
|||
\include{chapitre5}
|
||||
\include{chapitre6}
|
||||
\include{chapitre13}
|
||||
|
||||
\include{chapitre14}
|
||||
% Ajouter les autres chapitres au besoin
|
||||
|
||||
\bibliography{bibliographie}
|
||||
|
|
Loading…
Reference in a new issue