145 lines
5.2 KiB
TeX
145 lines
5.2 KiB
TeX
\chapter{Éléments de statistique mathématique}
|
|
|
|
\section{Loi faible des grands nombres}
|
|
\label{sec:loifaible}
|
|
|
|
La \textbf{loi faible des grands nombres} est un résultat important en
|
|
probabilité, car il permet de définir la notion d'estimateur
|
|
convergent. Soit une suite de variables aléatoires indépendantes et
|
|
identiquement distribuées $\left\{X_T \right\}_{T=1}^{\infty}$ ayant
|
|
une espérance $E\left[ X \right]$ et une variance $V\left[ X \right]$
|
|
finies. Selon la loi faible des grands nombres, pour tout nombre réel
|
|
strictement positif $\varepsilon$, la probabilité que la différence
|
|
entre la moyenne empirique $Y_T=\frac{X_1+X_2+\cdots+X_T}{T}$ et
|
|
l'espérance $E\left[ X \right]$ soit supérieure à la valeur
|
|
$\varepsilon$ tend vers 0 lorsque $T$ tend vers l'infini.
|
|
\begin{align}
|
|
\label{loifaible}
|
|
\lim_{T \to +\infty} \mathbb{P}\left(\left|Y_T - E\left[ X
|
|
\right]\right| \geq \varepsilon\right) = 0 ,\quad
|
|
\forall\varepsilon>0
|
|
\end{align}
|
|
|
|
On dit alors que la suite d'estimateurs
|
|
$\left\{Y_T\right\}_{T=1}^{\infty}$ converge en probabilité vers
|
|
l'espérance $E\left[ X \right]$. L'estimateur de l'espérance $Y_T$ est
|
|
alors \textbf{convergent}.
|
|
|
|
\section{Théorème central limite}
|
|
\label{sec:theor-centr-limite}
|
|
|
|
Le \textbf{théorème central limite} est un résultat fondamental en
|
|
probabilité qui énonce le rôle de la distribution normale. Il démontre
|
|
que toute somme de variables aléatoires indépendantes et identiquement
|
|
distribuées suit approximativement une loi normale. Ce résultat permet
|
|
entre autres d'identifier la distribution limite d'un estimateur
|
|
convergent.
|
|
|
|
\subsection{Cas univarié}
|
|
\label{sec:cas-univarie}
|
|
|
|
Soit une suite d'observations $X_1, \ldots, X_T$ d'un échantillon
|
|
aléatoire d'une distribution de moyenne $\mu$ et de variance
|
|
$\sigma^2$:
|
|
\begin{align}
|
|
\label{eq:TCL}
|
|
Y_T &= \frac{1}{\sqrt{T}\sigma} \left(\sum_{t=1}^T X_t - T\mu\right) \nonumber\\
|
|
&= \frac{\sqrt{T}}{\sigma}\left(\overline{X}_T-\mu\right).
|
|
\end{align}
|
|
Alors, cette variable aléatoire converge en distribution vers une
|
|
variable aléatoire normale centrée réduite:
|
|
\begin{align}
|
|
\label{eq:TCL2}
|
|
Y_T \stackrel{L}{\rightarrow} \mathcal{N}(0,1).
|
|
\end{align}
|
|
|
|
\subsection{Cas multivarié}
|
|
\label{sec:cas-multivarie}
|
|
|
|
On peut aussi généraliser ce théorème pour des observations
|
|
multivariées. On considère alors une série d'observations
|
|
multivariées $\mathbf{X_1}, \ldots, \mathbf{X_T}$ où
|
|
\begin{align}
|
|
\label{eq:defmultiX}
|
|
\mathbf{X_t}=\begin{bmatrix} X_{t(1)} \\ \vdots \\
|
|
X_{t(k)} \end{bmatrix}, \quad t=1,\ldots,T.
|
|
\end{align}
|
|
|
|
On définit maintenant la variable aléatoire correspondante:
|
|
\begin{align}
|
|
\label{eq:TCLmulti1}
|
|
\mathbf{Y}_T &= \frac{1}{T}\begin{bmatrix} \sum_{t=1}^{T} \left [
|
|
X_{t(1)} \right ] \\ \vdots \\ \sum_{t=1}^{T} \left [ X_{t(k)}
|
|
\right ] \end{bmatrix}.
|
|
\end{align}
|
|
|
|
Dans cette situation, la variable aléatoire converge en distribution
|
|
vers une variable aléatoire de distribution normale multivariée
|
|
centrée de matrice de variance-covariance $\mathbf{\Sigma}$:
|
|
\begin{align}
|
|
\label{eq:TCLmulti2}
|
|
\sqrt{T}\left(\mathbf{Y}_T - \mu\right)\ \stackrel{L}{\rightarrow}\
|
|
\mathcal{N}_k(0,\mathbf{\Sigma})
|
|
\end{align}
|
|
|
|
où
|
|
\begin{align*}
|
|
\mathbf{\Sigma} &= \begin{bmatrix}
|
|
\omega_{(1,1)} &\cdots& \omega_{(1,k)} \\
|
|
\vdots & \ddots & \vdots \\
|
|
\omega_{(k,1)} &\cdots& \omega_{(k,k)} \\
|
|
\end{bmatrix} ,\quad \mbox{avec } \omega_{(j,k)} = \begin{cases}
|
|
Var\left[X_{1(j)}\right] , &(j=k) \\
|
|
Cov\left[X_{1(j)},X_{1(k)}\right] , &(j \neq k).
|
|
\end{cases}
|
|
\end{align*}
|
|
|
|
\section{Méthode delta multivariée}
|
|
\label{sec:deltamethod}
|
|
|
|
Dans le cas univarié, on utilise la méthode delta pour évaluer la
|
|
distribution d'une fonction d'un estimateur, en supposant que la
|
|
distribution de cet estimateur est asymptotiquement normale de
|
|
variance connue.
|
|
|
|
Dans le cas multivarié, on estime la distribution d'une fonction d'un
|
|
vecteur d'estimateurs, dont la distribution asymptotique est normale
|
|
multivariée, avec une matrice de variance-covariance $\Sigma$.
|
|
|
|
On a donc, pour un estimateur convergent $\hat\theta_T$, en appliquant
|
|
le théorème central limite, le résultat suivant:
|
|
\begin{align}
|
|
\sqrt{T} (\hat\theta_T - \theta_0) \stackrel{L}{\longrightarrow}
|
|
\mathcal{N}(0,\Sigma).
|
|
\end{align}
|
|
On cherche la distribution d'une fonction $h(\hat\theta_T)$. On
|
|
développe cette fonction sous la forme d'une série de Taylor et en
|
|
conservant seulement les deux premiers termes:
|
|
\begin{align}
|
|
h(\hat\theta_T) \approx h(\theta_0) + \nabla
|
|
\left[h(\theta_0)\right]'\cdot(\hat\theta_T - \theta_0).
|
|
\end{align}
|
|
On a donc, après quelques manipulations, que la variance de la
|
|
fonction $h(\hat\theta_T)$ est approximativement
|
|
\begin{align}
|
|
Var\left[h(\hat\theta_T) \right] \approx \nabla
|
|
\left[h(\theta_0)\right]' \left(\frac{\Sigma}{T}\right) \nabla
|
|
\left[h(\theta_0)\right].
|
|
\end{align}
|
|
|
|
La distribution de la fonction $h(\hat\theta_T)$ est alors
|
|
asymptotiquement
|
|
\begin{align}
|
|
\label{eq:deltamethodmult}
|
|
h(\hat\theta_T) \stackrel{L}{\longrightarrow}
|
|
N\left(h(\theta_0),\nabla \left[h(\theta_0)\right]'
|
|
\left(\frac{\Sigma}{T}\right) \nabla
|
|
\left[h(\theta_0)\right]\right).
|
|
\end{align}
|
|
|
|
|
|
|
|
%%% Local Variables:
|
|
%%% mode: latex
|
|
%%% TeX-master: "gabarit-maitrise"
|
|
%%% End:
|