Régression de Poisson

Soit ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}$ un vecteur de variables indépendantes, et ${\displaystyle y\in \mathbb {N} }$ la variable que l'on cherche à prédire. Réaliser une régression de Poisson revient à supposer que ${\displaystyle Y\vert \mathbb {x} }$ suit une loi de Poisson de paramètre ${\displaystyle \lambda$ :=\operatorname {E} (Y\mid \mathbf {x} )=\exp(\alpha +\mathbf {\beta } '\mathbf {x} )} , avec ${\displaystyle \alpha \in \mathbb {R} }$ et ${\displaystyle \mathbf {\beta } \in \mathbb {R} ^{n}}$ les paramètres de la régression à estimer, et ${\displaystyle \beta '\mathbf {x} }$ le produit scalaire standard de ${\displaystyle \mathbb {R} ^{n}}$.

On peut ré-écrire le modèle ci-dessus

${\displaystyle \log(\operatorname {E} (Y\mid \mathbf {x} ))=\alpha +\mathbf {\beta } '\mathbf {x} ,}$

ou de manière plus compacte

${\displaystyle \log(\operatorname {E} (Y\mid \mathbf {x} ))={\boldsymbol {\theta }}'\mathbf {x} ,\,}$

avec un ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n+1}}$ correspondant au précédent avec un élément supplémentaire valant 1. De même, ${\displaystyle {\boldsymbol {\theta }}=[\alpha ,\beta ']'\in \mathbb {R} ^{n+1}}$.

L'objectif de la régression de Poisson est d'estimer ${\displaystyle {\boldsymbol {\theta }}}$. Une fois ce vecteur estimé, il est possible de prédire ${\displaystyle Y}$ pour un nouveau ${\displaystyle \mathbf {x} }$ avec

${\displaystyle \operatorname {E} (Y\mid \mathbf {x} )=e^{{\boldsymbol {\theta }}'\mathbf {x} }.\,}$

Si l'on a accès à une collection de ${\displaystyle m}$ couples indépendants : ${\displaystyle (\mathbf {x} _{i},y_{i})_{1\leq i\leq m}}$, alors ${\displaystyle {\boldsymbol {\theta }}}$ peut être estimé par maximum de vraisemblance.

Comme indiqué plus haut, à partir d'un paramètre ${\displaystyle {\boldsymbol {\theta }}}$ et d'un vecteur d'entrée ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n+1}}$, la variable de sortie ${\displaystyle y}$ suit une loi de Poisson de paramètre

${\displaystyle \lambda$ :=\operatorname {E} (Y\mid \mathbf {x} )=e^{{\boldsymbol {\theta }}'\mathbf {x} },\,}

La fonction de masse de cette loi de Poisson est alors

${\displaystyle p(y\mid \mathbf {x}$ ;{\boldsymbol {\theta }})={\frac {\lambda ^{y}}{y!}}e^{-\lambda }={\frac {e^{y{\boldsymbol {\theta }}'\mathbf {x} }e^{-e^{{\boldsymbol {\theta }}'\mathbf {x} }}}{y!}}}

Supposons que l'on ait accès à une collection de ${\displaystyle m}$ couples indépendants : ${\displaystyle (\mathbf {x} _{i},y_{i})_{1\leq i\leq m}}$. Alors, pour un vecteur ${\displaystyle {\boldsymbol {\theta }}}$ donné, la fonction de vraisemblance (c'est-à-dire la probabilité d'obtenir cet ensemble de données particulier) s'écrit

${\displaystyle L({\boldsymbol {\theta }}\mid X,Y):=p(y_{1},\ldots ,y_{m}\mid \mathbf {x} _{1},\ldots ,\mathbf {x} _{m};\theta )=\prod _{i=1}^{m}{\frac {e^{y_{i}{\boldsymbol {\theta }}'\mathbf {x} _{i}}e^{-e^{{\boldsymbol {\theta }}'\mathbf {x} _{i}}}}{y_{i}!}}.}$

L'estimateur du maximum de vraisemblance, comme son nom l'indique, renvoie la valeur de ${\displaystyle {\boldsymbol {\theta }}}$ qui maximise la vraisemblance des données. Pour ce faire, puisqu'il est difficile d'optimiser une fonction écrite comme un produit dont tous les termes sont positifs, on minimise la négative log-vraisemblance

${\displaystyle \ell ({\boldsymbol {\theta }}\mid X,Y):=-\log L({\boldsymbol {\theta }}\mid X,Y)=\sum _{i=1}^{m}\left(-y_{i}{\boldsymbol {\theta }}'\mathbf {x} _{i}+e^{{\boldsymbol {\theta }}'\mathbf {x} _{i}}+\log(y_{i}!)\right).}$

On peut remarquer que le terme ${\displaystyle \log(y_{i}!)}$ ne dépend pas de ${\displaystyle {\boldsymbol {\theta }}}$. Puisque l'on cherche à trouver le ${\displaystyle {\boldsymbol {\theta }}}$ qui minimise cette négative log-vraisemblance, on peut la simplifier à une constante additive près. Par abus de langage, on identifie la véritable négative log-vraisemblance et la version à une constante additive près :

${\displaystyle \ell ({\boldsymbol {\theta }}\mid X,Y)=\sum _{i=1}^{m}\left(-y_{i}{\boldsymbol {\theta }}'\mathbf {x} _{i}+e^{{\boldsymbol {\theta }}'\mathbf {x} _{i}}\right).}$

Pour trouver le minimum de cette négative log-vraisemblance, on résout l'équation ${\displaystyle {\frac {\partial \ell ({\boldsymbol {\theta }}\mid X,Y)}{\partial {\boldsymbol {\theta }}}}=0}$, qui n'a pas de solution explicite. Cependant, puisque cette fonction est convexe, on peut utiliser des algorithmes efficace d'optimisation convexe comme la méthode de Newton pour obtenir rapidement la valeur optimale de ${\displaystyle {\boldsymbol {\theta }}}$.

• Loi de Poisson
• Loi binomiale négative