Apprentissage supervisé

Soit ${\displaystyle ({\mathcal {X}},{\mathcal {F}}_{X}),({\mathcal {Y}},{\mathcal {F}}_{Y})}$ deux espaces mesurables. On peut définir une base de données d'apprentissage (ou ensemble d'apprentissage) comme un ensemble de couples entrée-sortie ${\displaystyle (x_{n},y_{n})_{1\leq n\leq N}}$ où chaque ${\displaystyle x_{n}\in {\mathcal {X}}}$ et ${\displaystyle y_{n}\in {\mathcal {Y}}}$ sont des réalisations respectives des variables aléatoires ${\displaystyle X_{n}}$ et ${\displaystyle Y_{n}}$. Les couples de la suite ${\displaystyle ((X_{n},Y_{n}))_{n\leq N}}$ sont indépendants et identiquement distribués suivant la loi d'un couple ${\displaystyle (X,Y)}$ à valeurs dans ${\displaystyle ({\mathcal {X}}\times {\mathcal {Y}},{\mathcal {F}}_{X}\otimes {\mathcal {F}}_{Y})}$. On rappelle que cette loi est caractérisée par une mesure de probabilité ${\displaystyle \mathbb {P} _{(X,Y)}}$ définie pour tout évènement ${\displaystyle A\in {\mathcal {F}}_{X}\otimes {\mathcal {F}}_{Y}}$ par ${\displaystyle \mathbb {P} _{(X,Y)}(A)=\mathbb {P} [(X,Y)^{-1}(A)]}$

Par exemple ${\displaystyle X_{n}}$ suit une loi uniforme et ${\displaystyle Y_{n}=f(X_{n})+\epsilon _{n}}$ où ${\displaystyle \epsilon _{n}}$ est un bruit centré. Dans ce cas, la méthode d'apprentissage supervisé utilise cette base d'apprentissage pour déterminer une estimation de f notée g et appelée indistinctement fonction de prédiction, hypothèse ou modèle qui à une nouvelle entrée x associe une sortie g(x). Le but d'un algorithme d'apprentissage supervisé est donc de généraliser pour des entrées inconnues ce qu'il a pu « apprendre » grâce aux données déjà annotées par des experts, ceci de façon « raisonnable ». On dit que la fonction de prédiction apprise doit avoir de bonnes garanties en généralisation.

Plus généralement[3], l'objectif de l'apprentissage supervisé est d'apprendre une fonction ${\displaystyle f}$ qui « minimise l'écart entre les variables aléatoires ${\displaystyle f(X)}$ et ${\displaystyle Y}$ ». Pour définir cet écart, nous introduisons une fonction de perte ${\displaystyle L:{\mathcal {Y}}\times {\mathcal {Y}}\rightarrow \mathbb {R} _{+}}$ qui quantifie la distance entre une prédiction du modèle ${\displaystyle f(x)}$ et une sortie attendue ${\displaystyle y}$. À partir de cette fonction, nous pouvons définir le risque statistique d'un modèle ${\displaystyle f}$. Il est noté ${\displaystyle R}$ et est défini par :

${\displaystyle R(f)=\mathbb {E} (L(Y,f(X)))=\int _{{\mathcal {X}}\times {\mathcal {Y}}}L(y,f(x))\mathrm {d} \mathbb {P} _{(X,Y)}(x,y)}$

En pratique, on n'a jamais accès directement à ${\displaystyle \mathbb {P} _{(X,Y)}}$, en revanche il est possible de l'estimer à partir du jeu de données en utilisant la mesure empirique ${\displaystyle \mathbb {P} _{(X,Y)}^{N}}$ définie pour tout ${\displaystyle A\in {\mathcal {F}}_{X}\otimes {\mathcal {F}}_{Y}}$ par ${\displaystyle \mathbb {P} _{(X,Y)}^{N}(A)={\dfrac {1}{N}}\sum _{n=1}^{N}\delta _{(X_{n},Y_{n})}(A)}$.

Dès lors, un algorithme d'apprentissage supervisé mettra en œuvre des algorithmes d'optimisation afin de trouver une fonction ${\displaystyle f}$ qui minimise le risque empirique ${\displaystyle R_{N}(f)={\dfrac {1}{N}}\sum _{n=1}^{N}L(Y_{n},f(X_{n}))}$. Il faut noter que ${\displaystyle R_{N}}$ n'est rien d'autre que la moyenne des écart (au sens de ${\displaystyle L}$) entre les prédictions du modèle et les sorties attendues.

On distingue trois types de problèmes solubles avec une méthode d'apprentissage automatique supervisée[4] :

• ${\displaystyle {\mathcal {Y}}\subset \mathbb {R} }$ : lorsque la sortie que l'on cherche à estimer est une valeur dans un ensemble continu de réels, on parle d'un problème de régression. La fonction de prédiction est alors appelée un régresseur.
• ${\displaystyle {\mathcal {Y}}=\{1,\ldots ,I\}}$ : lorsque l'ensemble des valeurs de sortie est fini, on parle d'un problème de classification, qui revient à attribuer une étiquette à chaque entrée. La fonction de prédiction est alors appelée un classifieur.
• Lorsque ${\displaystyle {\mathcal {Y}}}$ est un ensemble de données structurées, on parle d'un problème de prédiction structurée, qui revient à attribuer une sortie complexe à chaque entrée[5]. Par exemple, en bio-informatique le problème de prédiction de réseaux d’interactions entre gènes peut être considéré comme un problème de prédiction structurée dans laquelle l'ensemble possible des sorties structurées est l'ensemble de tous les graphes modélisant les interactions possibles.

Une bonne estimation de ${\displaystyle f}$ vérifierait ${\displaystyle f(X)=\mathbb {E} (Y|X)}$. On estimerait donc ${\displaystyle Y}$ par son espérance conditionnelle par rapport à ${\displaystyle X}$. Le théorème[6] suivant montre l'intérêt d'utiliser la fonction de perte quadratique dans le cas d'une régression.

• Vincent Barra, Antoine Cornuéjols, Laurent Miclet, Apprentissage Artificiel : Concepts et algorithmes, Eyrolles, 2021 (ISBN 978-2-416-001-04-8) [détail des éditions]
• (en) Tom M. Mitchell, Machine Learning, 1997 [détail des éditions]
• (en) Christopher M. Bishop, Pattern Recognition And Machine Learning, Springer, 2006 (ISBN 0-387-31073-8) [détail des éditions]