ift7025-notes-de-cours/chapitre2.tex

\section{Chapitre 2: Agents intelligents}
\label{sec:ch2}

\subsection{Définition}
\label{sec:ch2definition}

\begin{mydef}
  \textbf{Objet}: Entité passive qui possède un état et sur lequel on peut effectuer des opérations
\end{mydef}

\begin{mydef}
\textbf{Agent intelligent}: Entité autonome qui perçoit son environnement à l'aide de capteurs et agit sur ce dernier à l'aide d'effecteurs. Peut être constitué de plusieurs objets.
\end{mydef}

\begin{mydef}
  \textbf{Programmation orientée agents}: met en évidence l'autonomie et les interactions
\end{mydef}

\begin{figure}[h]
  \centering
  \includegraphics[height=5cm]{agentintelligent.png}
  \caption{Agent intelligent}
  \label{fig:ch2agentintelligent}
\end{figure}

\subsection{Mesure de performance}
\label{sec:ch2mesure}

La mesure de performance est externe, fixée par le concepteur et propre à la tâche à accomplir.
Il faut faire attention aux comportements adverses.

\subsection{Environnement de la tâche}
\label{sec:ch2peas}

On définit l'environnment de la tâche à l'aide de l'acronyme PEAS:
\begin{itemize}
\item \textbf{P}erformance measure
\item \textbf{E}nvironment
\item \textbf{A}ctuators
\item \textbf{S}ensors
\end{itemize}

Exemple: Taxi automatisé (Figure \ref{tab:ch2taxiautomatise})

\begin{table}[h]
  \centering
  \begin{tabular}{|l|l|}
    \hline
    Type d'agent&Chauffeur de taxi\\
    Mesure de performance&sécurité,vitesse,respect de la loi,confort,profits\\
    Environnement&Route, circulation, piétons, clients\\
    Effecteurs&Volant, accélérateur, freins, clignotants, klaxon\\
    Capteurs&Caméra, sonar, accélérometre, odomètre, GPS, capteurs du moteur, clavier\\
    \hline
  \end{tabular}
  \caption{Exemple d'agent intelligent: taxi automatisé}
  \label{tab:ch2taxiautomatise}
\end{table}
\clearpage
\subsection{Propriétés de l'environnement}
\label{sec:ch2propriere}

\begin{figure}[h]
  \centering
  \includegraphics[width=16.5cm]{environnementpropriete.png}
  \caption{Propriétés}
  \label{fig:ch2proprieresenv}
\end{figure}


\paragraph{Quelques précisions}

\begin{itemize}
\item Complètement observable: Accès à l'état complet de l'environnement à tout instant
\item Déterministe: déterminé par l'état courant et l'action de l'agent
\item Stratégique: Déterministe et multi-agents
\item Épisodique: Séquence perception-action. Le prochain épisode ne dépend pas des actions effectuées dans les épisodes précédents
\item Semi-dynamique: La valeur de la mesure de performance change avec le temps même si l'environnement ne change pas
\item Dynamique: L'environnement change avec le temps
\end{itemize}

\paragraph{Situation la plus difficile}

\begin{itemize}
\item Partiellement observable
\item Stochastique
\item Séquentielle
\item Dynamique
\item Continue
\item Multiagent
\end{itemize}
    
\subsubsection{Exemples}
\label{sec:ch2propexemples}

\begin{table}[ht]
  \begin{tabular}{|l|l|l|l|l|l|l|}
    \hline
    \textbf{Environnement}          & \textbf{Observable} & \textbf{Déterministe} & \textbf{Épisodique} & \textbf{Statique} & \textbf{Discret} & \textbf{Agents} \\
    \hline
    {\ul Mots-croisés}              & Complètement        & Déterministe          & Séquentiel          & Statique          & Discret          & Un              \\
    {\ul Échec avec une horloge}    & Complètement        & Stratégique           & Séquentiel          & Semi              & Discret          & Multi           \\
    {\ul Poker}                     & Partiellement       & Stratégique           & Séquentiel          & Statique          & Discret          & Multi           \\
    {\ul Backgammon}                & Complètement        & Stochastique          & Séquentiel          & Statique          & Discret          & Multi           \\
    {\ul Conduire un taxi}          & Partiellement       & Stochastique          & Séquentiel          & Dynamique         & Continu          & Multi           \\
    {\ul Diagnostique médical}      & Partiellement       & Stochastique          & Séquentiel          & Dynamique         & Continu          & Un              \\
    {\ul Analyse d’image}           & Complètement        & Déterministe          & Épisodique          & Semi              & Continu          & Un              \\
    {\ul Robot ramasseur de pièces} & Partiellement       & Stochastique          & Épisodique          & Dynamique         & Continu          & Un              \\
    {\ul Contrôleur de raffinerie}  & Partiellement       & Stochastique          & Séquentiel          & Dynamique         & Continu          & Un              \\
    {\ul Enseignant interactif}     & Partiellement       & Stochastique          & Séquentiel          & Dynamique         & Discret          & Multi           \\     
                                                                                                                                                 \hline
  \end{tabular}
  \label{tab:exemplesenv}
\end{table}
\clearpage
\subsection{Structure d'un agent}
\label{sec:ch2structure}
\begin{figure}[h!]
  \centering
  \smartdiagramset{
    descriptive items y sep=2.25cm,
    description text width=9.75cm,
    description title width=2cm,
    description title font=\large,
    description font=\large,
  }
  
  \smartdiagram[descriptive diagram]{
    {{Simple réflexe},{Perceptions courantes}},
    {{État interne},{Un état peut contenir des perceptions précédentes}},
    {{Buts},{Les buts déterminent l'action suivante}},
    {{Utilité},{Ajout d'une fonction d'utilité pour chaque état\, utile lorsque les buts sont en conflit ou s'il y a plusieurs buts}},
  }
  \caption[Structures]{Structures, de la plus simple à la plus complexe}
  \label{fig:ch2proprieresenv}
\end{figure}

\paragraph{Structure interne des agents}

\begin{figure}[ht]
  \centering
  \includegraphics[height=345px]{structure-agents.png}
  \caption{Structure interne}
  \label{fig:ch2structinterne}
\end{figure}

\subsection{Agent apprenant}
\label{sec:ch2agentapprenant}

Il peut être difficile ou impossible de définir le comportement de l'agent à la conception. L'apprentissage permet de simplifier la conception, d'avoir plus de flexibilité, d'agir dans des environnement inconnus et de devenir meilleur avec le temps.

\begin{figure}[ht]
  \centering
  \includegraphics[height=278px]{agentapprenant.png}
  \caption{Agent apprenant}
  \label{fig:ch2agentapprenant}
\end{figure}

Les diférentes composantes de l'agent apprenant sont:

\begin{itemize}
\item Module de performance: Connaissances et procédures pour choisir les actions
\item Critique: Observe l'agent et donne des informations au module d'apprentissage
\item Module d'apprentissage: Modifie le module de performance
\item Générateur de problèmes: Identifie les possibilités d'amélioration et suggère des expérimentations
\end{itemize}