Validation croisée

Supposons posséder un modèle statistique avec un ou plusieurs paramètres inconnus, et un ensemble de données d'apprentissage sur lequel on peut apprendre (ou « entraîner ») le modèle. Le processus d'apprentissage optimise les paramètres du modèle afin que celui-ci corresponde le mieux possible aux données d'apprentissage. Si on prend ensuite un échantillon de validation indépendant, supposément issu de la même population que l'échantillon d'apprentissage, il s'avérera en général que le modèle ne modélise pas aussi bien les données de validation que les données d'apprentissage : on parle de surapprentissage. Néanmoins, un échantillon de validation indépendant n'est pas toujours disponible. De plus, d'un échantillon de validation à un autre, la performance de validation du modèle peut varier. La validation croisée permet de tirer plusieurs ensembles de validation d'une même base de données et ainsi d'obtenir une estimation plus robuste, avec biais et variance, de la performance de validation du modèle.

Il existe de nombreuses variantes de validation mais on peut distinguer dans un premier temps :

• La validation non-croisée, « testset validation » ou « holdout method » : on divise l'échantillon de taille ${\displaystyle n}$ en deux sous-échantillons, le premier dit d'apprentissage (communément supérieur à 60 % de l'échantillon) et le second dit de validation ou de test. Le modèle est bâti sur l'échantillon d'apprentissage et validé sur l'échantillon de test avec un score de performance de notre choix.
• La validation croisée à ${\displaystyle k}$ blocs, « k-fold cross-validation » : on divise l'échantillon original en ${\displaystyle k}$ échantillons (ou « blocs »), puis on sélectionne un des ${\displaystyle k}$ échantillons comme ensemble de validation pendant que les ${\displaystyle k-1}$ autres échantillons constituent l'ensemble d'apprentissage. Après apprentissage, on peut calculer une performance de validation. Puis on répète l'opération en sélectionnant un autre échantillon de validation parmi les blocs prédéfinis. À l'issue de la procédure nous obtenons ainsi ${\displaystyle k}$ scores de performances, un par bloc. La moyenne et l'écart type des ${\displaystyle k}$ scores de performances peuvent être calculés pour estimer le biais et la variance de la performance de validation.

Illustration de la validation croisée à k blocs avec n = 12 observations et k = 3 blocs. Après mélange, il sera possible de valider 3 fois le modèle.

• La validation croisée d'un contre tous, « leave-one-out cross-validation » (LOOCV) : il s'agit d'un cas particulier de la validation croisée à ${\displaystyle k}$ blocs où ${\displaystyle k=n}$. C'est-à-dire qu'à chaque itération d'apprentissage-validation, l'apprentissage se fait sur ${\displaystyle n-1}$ observations et la validation sur l'unique observation restante[2].

Illustration de la validation croisée un contre tous pour n = 8 observations. Le modèle peut être entrainé et validé 8 fois.

Après avoir réalisé la validation du modèle, il faut alors passer au test avec le jeu de test précédemment mis de côté.