Dilemme biais-variance

Le compromis biais-variance est un problème central en apprentissage supervisé. Idéalement, on veut choisir un modèle qui reflète avec précision les régularités dans les données d'apprentissage, mais qui se généralise aussi aux données tests (données n'ayant pas servi à apprendre le modèle). Malheureusement, il est généralement impossible de faire les deux en même temps. Les méthodes d'apprentissage avec une variance élevée peuvent assez bien représenter l’échantillon d’apprentissage, mais il existe un risque de surapprentissage sur des données tests ou bruitées. En revanche, les algorithmes avec une variance faible produisent généralement des modèles plus simples qui n'ont pas tendance au sur-apprentissage, mais peuvent être en sous-apprentissage sur le jeu de données d'apprentissage.

Les modèles avec un faible biais sont généralement plus complexes (par exemple la régression polynomiale à plusieurs degrés), mais permettent de représenter les données d’apprentissage avec plus de précision. Cependant, ils peuvent également représenter une partie du bruit aléatoire du jeu d'apprentissage, leurs prédictions sont donc moins précises malgré la complexité supplémentaire. En revanche, les modèles avec un biais plus élevé ont tendance à être relativement simples (régression polynomiale à moindre degré ou même linéaire), mais peuvent produire des prédictions de variance plus faible lorsqu'ils sont appliqués au-delà de l'ensemble d'apprentissage.

Supposons que nous avons un ensemble d'apprentissage constitué d'un ensemble de points ${\displaystyle x_{1},\dots ,x_{n}}$ et de valeurs réelles ${\displaystyle y_{i}}$ associée à chaque point ${\displaystyle x_{i}}$. Nous supposons qu'il existe une relation fonctionnelle bruitée ${\displaystyle y_{i}=f(x_{i})+\epsilon _{i}}$, où le bruit, ${\displaystyle \epsilon _{i}}$, a une moyenne nulle et une variance ${\displaystyle \sigma ^{2}}$.

Trouver une fonction ${\displaystyle {\hat {f}}}$ qui se généralise à des points extérieurs à l'ensemble d'apprentissage peut être fait avec l'un des nombreux algorithmes utilisés pour l'apprentissage supervisé. Selon la fonction ${\displaystyle {\hat {f}}}$ que nous choisissons, son erreur attendue sur un  échantillon test ${\displaystyle x}$ peut se décomposer comme suit[3]^:34 - [4]^:223:

${\displaystyle {\begin{aligned}\mathrm {E} \left[\left(y-{\hat {f}}(x)\right)^{2}\right]&=\mathrm {Biais} \left[{\hat {f}}(x)\right]^{2}+\mathrm {Var} \left[{\hat {f}}(x)\right]+\sigma ^{2}\\\end{aligned}}}$

où

${\displaystyle {\begin{aligned}\mathrm {Biais} \left[{\hat {f}}(x)\right]=\mathrm {E} \left[{\hat {f}}(x)-f(x)\right]\end{aligned}}}$

et

${\displaystyle {\begin{aligned}\mathrm {Var} \left[{\hat {f}}(x)\right]=\mathrm {E} \left[\left({\hat {f}}(x)-\mathrm {E} [{\hat {f}}(x)]\right)^{2}\right]\end{aligned}}}$

L'espérance est calculée sur l'ensemble des différents choix de l'échantillon d'apprentissage ${\displaystyle x_{1},\dots ,x_{n},y_{1},\dots ,y_{n}}$, tous générés selon la même distribution. Les trois termes sont :

• le biais au carré de la méthode d'apprentissage, qui peut être vue comme l'erreur due aux hypothèses simplifiées de la méthode utilisée. Par exemple, approcher une fonction non linéaire à l'aide d'une méthode pour modèle linéaire va produire des erreurs d'estimation du fait de cette hypothèse ;
• la variance de la méthode d'apprentissage, ou plus intuitivement, de combien la méthode d'apprentissage ${\displaystyle {\hat {f}}(x)}$ se déplace autour de sa moyenne;
• l'erreur irréductible ${\displaystyle \sigma ^{2}}$. Étant donné que tous les trois termes sont positifs, cela constitue une limite inférieure sur l'erreur attendue sur des échantillons test[3].^:34

Plus le modèle de ${\displaystyle {\hat {f}}(x)}$ est complexe, plus le biais sera faible.  Cependant, la complexité va rendre le modèle "mobile" pour s'adapter aux données, et donc sa variance sera plus grande.

La décomposition biais-variance a été initialement formulée pour une régression des moindres carrés. Dans le cas de la classification sous la perte 0-1 (Taux d'erreur),  Il est possible de trouver une décomposition similaire [7] - [8]. Sinon, si le problème de la classification peut être formulé comme classification probabiliste, alors l'erreur quadratique attendue des probabilités prédites par rapport aux véritables probabilités peut être décomposée comme précédemment[9].

La réduction de la dimension et la sélection de variables (features en anglais) peuvent diminuer la variance tout en simplifiant les modèles.  De même, un plus grand ensemble d'apprentissage tend à diminuer la variance. L'ajout de variables explicatives (features) tend à diminuer le biais, au détriment de l'introduction de variance supplémentaire.

Les algorithmes d'apprentissage ont généralement certains paramètres ajustables qui contrôlent le biais et la variance, e.g. :

• Les modèles linéaires généralisés peuvent être régularisés afin d'en diminuer la variance mais au prix de l'augmentation du biais[10].
• Avec les réseaux de neurones, la variance augmente et le biais diminue avec le nombre de couches cachées[1]. Comme dans le modèle linéaire généralisé, une régularisation est généralement appliquée.
• Avec la méthode des k plus proches voisins, une valeur élevée de k conduit à un biais élevé et une variance faible (voir ci-dessous).
• Avec la méthode d'Instance-based learning (en), la régularisation peut être obtenue en variant le mélange de prototypes et modèles[11].
• Avec les  arbres de décision, la profondeur de l'arbre détermine la variance. Les arbres de décision sont généralement élagués pour contrôler la variance[3].^:307

Une façon de résoudre le compromis consiste à utiliser des modèles mixte et de l'apprentissage ensembliste[12] - [13]. Par exemple, le boosting combine plusieurs "mauvais" modèles (biais élevé) dans un ensemble qui a un biais plus faible que les modèles individuels, tandis que le bagging combine les "meilleurs" classifieurs d'une manière qui réduit leur variance.

Bien que largement discuté dans le contexte de l'apprentissage automatique, le dilemme biais-variance a été examiné dans le contexte des sciences cognitives, et plus particulièrement par Gerd Gigerenzer et ses co-auteurs dans le contexte de l'apprentissage heuristique. Ils soutiennent que le cerveau humain résout ce dilemme dans le cas des généralement parcimonieux sur des ensembles mal caractérisés fournies par une expérience en adoptant une heuristique biais élevé/faible variance. Cela reflète le fait qu'une approche non biaisée se généralise mal à de nouvelles situations, et suppose aussi déraisonnablement une connaissance précise de la réalité. Les heuristiques en résultant sont relativement simples, mais produisent de meilleures inférences dans une plus grande variété de situations[14].

Geman et al. soutiennent que le dilemme biais-variance implique que les capacités telles que la reconnaissance d'objet générique ne peuvent être apprises à partir de zéro, mais nécessitent un certain degré d'inné qui est ensuite réglée par l'expérience. Ceci car les approches sans modèle d'inférence nécessitent des ensembles d'apprentissage démesurément grands si l'on veut éviter une forte variance.

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Bias–variance tradeoff » (voir la liste des auteurs).

• Scott Fortmann-Roe, « Understanding the Bias-Variance Tradeoff », juin 2012