Information de Fisher

Soit f(x ; θ) la distribution de vraisemblance d'une variable aléatoire X (qui peut être multidimensionnelle), paramétrée par θ. Le score est défini comme la dérivée partielle de la log-vraisemblance par rapport au paramètre θ :

${\displaystyle {\frac {\partial }{\partial \theta }}\log f(X;\theta )={\frac {1}{f(X;\theta )}}{\frac {\partial f(X;\theta )}{\partial \theta }}.}$

L'information de Fisher est alors définie comme le moment d'ordre deux de la fonction de score :

${\displaystyle I(\theta )=E\left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\right|\theta \right]}$.

Il est possible de montrer que la fonction de score a une espérance nulle. L'information de Fisher correspond par conséquent également à la variance de la fonction de score.

Les différentes observations ${\displaystyle x_{i}}$ nous permettent d'échantillonner la fonction de densité de probabilité f(x ; θ). Le maximum de vraisemblance consiste à maximiser la probabilité ${\displaystyle P(X|\theta )}$. Si les observations sont décorrélées, la valeur la plus probable ${\displaystyle \scriptstyle {\hat {\theta }}}$ nous est donnée par le maximum de

${\displaystyle \prod _{i}P(x_{i}|\theta ),}$

qui est aussi le maximum de

${\displaystyle \lambda (\theta )=\sum _{i}\log P(x_{i}|\theta ).}$

Le passage en logarithme permet de transformer le produit en somme, ce qui nous autorise à trouver le maximum par dérivation :

${\displaystyle \sum _{i}\left[{\frac {\partial }{\partial \theta }}\log P(x_{i}|\theta )\right]_{\theta ={\hat {\theta }}}=0.}$

Cette somme correspond pour un nombre d'observations suffisamment élevé à l'espérance mathématique. La résolution de cette équation permet de trouver un estimateur de θ à partir du jeu de paramètre au sens du maximum de vraisemblance. Maintenant, la question est de quantifier la précision de notre estimation. On cherche donc à estimer la forme de la distribution de probabilité de θ autour de la valeur donnée par l'estimateur ${\displaystyle \scriptstyle {\hat {\theta }}}$. À partir d'un développement limité à l'ordre 2, comme le terme linéaire est nul au maximum, on obtient :

${\displaystyle \lambda (\theta )=\lambda ({\hat {\theta }})-{\frac {(\theta -{\hat {\theta }})^{2}}{2}}I({\hat {\theta }})+o((\theta -{\hat {\theta }})^{2})}$

où ${\displaystyle \scriptstyle I({\hat {\theta }})}$ est l'information de Fisher relative à θ au point de maximum de vraisemblance. Ceci signifie que θ suit en première approximation une loi gaussienne d'espérance ${\displaystyle {\hat {\theta }}}$ et de variance ${\displaystyle \scriptstyle 1/I({\hat {\theta }})}$ :

${\displaystyle P(\theta |X)\propto \exp \left(-{\frac {(\theta -{\hat {\theta }})^{2}}{2}}I({\hat {\theta }})\right)}$

Cette variance est appelée la borne de Cramér-Rao et constitue la meilleure précision d'estimation atteignable en absence d'a priori.

Additivité

Une des propriétés fondamentales de l'information de Fisher est son additivité. L'information résultant de deux variables aléatoires indépendantes est la somme des informations :

${\displaystyle I_{X,Y}(\theta )=I_{X}(\theta )+I_{Y}(\theta ).}$

Si on a N réalisations indépendantes obéissant une même densité de probabilité, l'information résultante est une simple mise à l'échelle de l'information individuelle.

${\displaystyle I_{(X_{1}\cdots X_{N})}(\theta )=N\,I_{X}(\theta ).}$

Lorsqu'une statistique S(X) sur une variable aléatoire X est exhaustive, l'information relative à la statistique est inférieure ou égale à celle de la variable aléatoire. Autrement dit

${\displaystyle I_{S(X)}(\theta )\leq I_{X}(\theta ),}$

avec égalité pour une statistique exhaustive.

Dans le cas où la distribution de probabilité f(X) dépend de plusieurs paramètres, θ n'est plus un scalaire mais un vecteur ${\displaystyle {\vec {\theta }}=(\theta _{1},\theta _{2},\cdots )}$. La recherche du maximum de vraisemblance ne se résume donc non pas à une seule équation mais à un système :

${\displaystyle E\left[{\frac {\partial }{\partial \theta _{i}}}\log f(X;{\vec {\theta }})\right]=0,\qquad \forall i}$

on dérive vis-à-vis des différentes composantes de ${\displaystyle {\vec {\theta }}}$. Enfin, l'information de Fisher n'est plus définie comme une variance scalaire mais comme une matrice de covariance :

${\displaystyle I(\theta _{i},\theta _{j})=E\left[\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;{\vec {\theta }})\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;{\vec {\theta }})\right)\right].}$

De la même façon que l'on a défini l'information de Fisher pour le vecteur des observations X, on peut définir l'information de Fisher contenue dans une statistique S(X) :

${\displaystyle I_{S}(\theta )=\mathbb {E} _{\theta }\left[\left(\nabla _{\theta }\log f_{S}(S;\theta )\right)\cdot \left(\nabla _{\theta }\log f_{S}(S;\theta )\right)'\right].}$

Cette définition est exactement la même que celle de l'information de Fisher pour X pour un modèle multiparamétrique, on remplace juste la densité de X par celle de S(X) la statistique S. Deux théorèmes illustrent l'intérêt de cette notion :

• Pour une statistique exhaustive on a ${\displaystyle I_{S}(\theta )=I(\theta )}$ ce qui permet de voir une statistique exhaustive comme une statistique comprenant toute l'information du modèle. L'on a aussi la réciproque à savoir que si ${\displaystyle I_{S}(\theta )=I(\theta )}$ alors S est exhaustif bien que cette caractérisation soit rarement utilisée dans ce sens, la définition grâce au critère de factorisation des statistiques exhaustives étant souvent plus maniable.

• Quelle que soit la statistique S, ${\displaystyle I_{S}(\theta )\leq I(\theta )}$ avec un cas d'égalité uniquement pour des statistiques exhaustives. On ne peut donc récupérer plus d'information que celle contenue dans une statistique exhaustive. Ceci explique en grande partie l'intérêt des statistiques exhaustives pour l'estimation. La relation d'ordre est ici la relation d'ordre partielle sur les matrices symétriques à savoir qu'une matrice ${\displaystyle A\leq B}$ si B-A est une matrice symétrique positive.

L'information de Fisher a été reliée à d’autres notions :

• L'information de Shannon et l'entropie de Boltzmann. L'information de Fisher résulte d'une différentiation locale de l'information de Shannon dans l'espace des distributions de probabilité[5].
• L'énergie physique. Les équations de base de la physique peuvent être vues comme l'expression de l'information de Fisher relative au problème posé [3], tout dépendant du jeu de variables physiques indépendantes et des règles d'invariances considérées. Différents lagrangiens courants peuvent ainsi être déduits de l'information de Fisher.

La conservation de l'énergie est vue comme découlant de la conservation de l'information. Par exemple, on considère une fonction d'onde complexe ${\displaystyle \Psi }$ (telle que la densité de probabilité de présence de la particule soit ${\displaystyle |\Psi |^{2}}$) dans les coordonnées de Minkowski (ix, iy, iz, ct). Si l'on considère ces coordonnées comme canoniques i.e. suffisantes, équivalentes et indépendantes, l'information de Fisher intrinsèque associée est

${\displaystyle I=4\int {\vec {\nabla }}\Psi \cdot ({\vec {\nabla }}\Psi )^{*}\,c\,\mathrm {d} x\,\mathrm {d} y\,\mathrm {d} z\,\mathrm {d} t}$

où ${\displaystyle {\vec {\nabla }}=(-\mathrm {i} \partial _{x},-\mathrm {i} \partial _{y},-\mathrm {i} \partial _{z},{\frac {1}{c}}\partial _{t})}$.

En passant dans l'espace réciproque, il vient :

${\displaystyle {\vec {\tilde {\nabla }}}=\left(k_{x},k_{y},k_{z},{\frac {\mathrm {i} }{c}}\omega \right)}$

${\displaystyle I\propto \left({\frac {\omega ^{2}}{c^{2}}}-|k|^{2}\right)|{\tilde {\Psi }}|^{2}\,\mathrm {d} k_{x}\,\mathrm {d} k_{y}\,\mathrm {d} k_{z}\,\mathrm {d} \omega }$.

Autrement dit, d'après les relations de Planck

${\displaystyle I\propto \int \left({\frac {E^{2}}{c^{2}}}-|p|^{2}\right)|{\tilde {\Psi }}|^{2}\,\,\mathrm {d} p_{x}\,\mathrm {d} p_{y}\,\mathrm {d} p_{z}\,\mathrm {d} E}$.

La conservation de cette information correspond conceptuellement à l'invariance de la masse de la particule, selon la relation classique de la relativité restreinte ${\displaystyle E^{2}-p^{2}c^{2}=m^{2}c^{4}}$, ce qui a pour équivalent en physique quantique l'équation de Klein-Gordon [3].

• Alain Monfort, Cours de statistique mathématique, 1982, Economica. Paris.