\documentclass{article}
\usepackage{amssymb, amsmath, geometry, multicol, stmaryrd, cancel, centernot}
\usepackage[table, svgnames, dvipsnames]{xcolor}
\usepackage{makecell, cellspace, caption}
\usepackage[europeanresistors]{circuitikz}
\usepackage[a]{esvect} % voir la doc pour les différents styles
\usepackage{tikz-3dplot}
\usepackage{dsfont}

\let\overrightarrow\vv


\usetikzlibrary{arrows}
\usetikzlibrary{shapes.geometric}

\newcommand{\independant}{\perp\!\!\!\perp}
\newcommand{\parspace}{\vspace{0.1cm}}
\linespread{1.25}
\geometry{tmargin=.7in, bmargin=.75in, lmargin=.75in, rmargin = .75in}

\begin{document}
\setlength{\parindent}{0mm}

\title{Estimation - Estimation Ponctuelle}
\author{Aubin SIONVILLE}
\date{Télécom St Etienne 2024-2025}

\maketitle

\center

\section*{Définitions}

\begin{multicols}{2}
    \subsection*{Estimation ponctuelle}
    \[\boxed{\begin{array}{c}
        \text{Estimation scalaire à partir des réalisations des } X_n :\\
        \displaystyle \widehat\theta = f(x_1, ..., x_N)
    \end{array}}\]

    \subsection*{Estimateur associé}
    \[\boxed{\begin{array}{c}
        \text{Estimateur associé : la v.a. }\\
        \displaystyle \widehat\Theta = f(X_1, ..., X_N)
    \end{array}}\]

\end{multicols}

\subsection*{Estimateur convergent / consistant}
\[\boxed{\begin{array}{c}
    \text{Estimateur convergent : proche de } \theta^* \text{ (convergence en proba )}\\
    \displaystyle \text{i.e. } \forall \varepsilon>0,\ \mathbb{P}\bigg(\Big|\widehat\Theta - \theta^*\Big| > \varepsilon\bigg) \xrightarrow[N\to\infty]{} 0
\end{array}}\]

\vspace*{0.5cm}

\section*{Biais, variance et EQM}

\begin{multicols}{3}
    \subsection*{Biais}
    \[\boxed{\displaystyle b_{\widehat\Theta} = \mathbb{E}(\widehat\Theta) - \theta^*}\]

    \subsection*{Variance (précision)}
    \[\boxed{\displaystyle \sigma^2_{\widehat\Theta} = \text{Var}\Big[\widehat\Theta\Big] = \mathbb{E}\bigg[\Big|\widehat\Theta - \mathbb{E}\Big[\widehat\Theta\Big]\Big|^2\bigg]}\]

    \subsection*{MSE / EQM}
    \[\boxed{\mathrm{eqm}_{\widehat\Theta} = \mathbb{E}\bigg[\Big|\widehat\Theta - \theta^*\Big|^2\bigg] = \sigma^2_{\widehat\Theta} + b^2_{\widehat\Theta}}\]
\end{multicols}

\vspace*{0.3cm}

\section*{Estimateur biaisé}

\begin{multicols}{3}
    \subsection*{Estimateur biaisé ou non}
    \[\boxed{
        \begin{cases}
            N \text{ fini}\\
            b_{\widehat\Theta} = 0
        \end{cases}
        \iff
        \widehat\Theta \text{ non biaisé}
    }\]

    \subsection*{Comportement asymptotique}
    \[\boxed{\begin{array}{c}
        \displaystyle \lim_{N\to\infty} b_{\widehat\Theta} = 0 \iff\\
        \displaystyle \widehat\Theta \text{ asymptotiquement non biaisé}
    \end{array}}\]

    \subsection*{Estimateur convergent/consistant}
    \[\boxed{\begin{cases}
        \displaystyle \lim_{N\to\infty} b_{\widehat\Theta} = 0\\
        \displaystyle \lim_{N\to\infty} \sigma^2_{\widehat\Theta} = 0
    \end{cases}
    \implies \widehat\Theta \text{ convergent}}\]
\end{multicols}

\newpage

\section*{Estimateur efficace}
\[\boxed{\widehat{\Theta}_1 \text{ plus efficace que } \widehat{\Theta}_2 \iff \mathrm{Var}\big[\widehat{\Theta}_1\big] < \mathrm{Var}\big[\widehat{\Theta}_2\big]}\]

\vspace*{0.3cm}

\section*{Estimateur asymptotiquement efficace et normal}
\textit{BANE : Best Asymptotically Normal Estimator}
\[\boxed{
    \begin{array}{c}
        \text{Un estimateur } \widehat{\Theta} \text{ de } \theta^* \text{ est dit BANE si :}\\
        \displaystyle \lim_{N\to\infty} \mathcal{L}\big(\widehat{\Theta} -  \theta^*\big) = \mathcal{N}\big(0, \mathbf{I}(\theta)^{-1}\big)
    \end{array}
}\]

\[\boxed{
    \begin{array}{c}
        \text{\underline{Si} } \widehat{\Theta} \text{ est obtenu par un } N-\text{échantillon } \mathbf{X} = (X_1, ..., X_N), \widehat{\Theta} = f(\mathbf{X})\\
        \displaystyle \text{On note } \mathcal{L}\Big(\sqrt{N}\big(f(\mathbf{X}) - \theta^* \big)\Big) \xrightarrow[N\to\infty]{} \mathcal{N}\big(0, \mathbf{M}(\theta)^{-1}\big)
    \end{array}
}\]

\vspace*{0.3cm}

\section*{Bornes de Cramer-Rao}

\subsection*{Définition}
\[\boxed{\begin{array}{c}
    \displaystyle \text{Si } \widehat\Theta \text{ est un estimateur sans biais de } \theta^* \text{ telle que } \forall \theta, \mathbb{E}\bigg[\frac{\partial \ln f_\mathbf{X}(\mathbf{X})}{\partial\theta}\bigg] = 0,\\
    \displaystyle \text{alors : } \mathrm{Var}\big[\widehat\Theta\big] \geq \dfrac{1}{I(\theta^*)}\quad \text{ où } I(\theta^*) = -\mathbb{E}\bigg[\frac{\partial^2 \ln f_\mathbf{X}(\mathbf{X})}{\partial \theta^2}\bigg]
\end{array}}\]

\vspace*{0.1cm}

\subsection*{Cas scalaire}
\textit{MVUE : Minimum Variance Unbiased Estimator}
\[\boxed{
    \begin{array}{c}
        \text{Si } \mathrm{Var}\big[\widehat\Theta\big] = \{\text{Borne de Cramer-Rao}\},\\
        \text{alors } \widehat\Theta \text{ est un MVUE}\\
        \text{et on ne peut pas faire mieux}
    \end{array}
}\]

\end{document}