Jeux d'entrainement, de validation et de test

Un jeu de données d'apprentissage est un ensemble de données d'exemples utilisé pendant le processus d'apprentissage et est utilisé pour ajuster les paramètres (par exemple, les poids) d'un classificateur, par exemple[8] - [9].

Pour les tâches de classification, un algorithme d'apprentissage supervisé examine le jeu de données d'apprentissage pour déterminer, ou apprendre, les combinaisons optimales de variables qui généreront un bon modèle prédictif[10]. L'objectif est de produire un modèle entraîné (ajusté) qui se généralise bien aux nouvelles données inconnues[11]. Le modèle ajusté est évalué à l'aide de « nouveaux » exemples issus des jeux de données conservés (jeux de données de validation et de test) pour estimer la précision du modèle dans la classification de nouvelles données[5]. Pour réduire le risque de problèmes tels que le sur-apprentissage, les exemples des jeux de données de validation et de test ne doivent pas être utilisés pour entraîner le modèle[5].

La plupart des approches qui recherchent dans les données d'apprentissage des relations empiriques ont tendance à surajuster les données, ce qui signifie qu'elles peuvent identifier et exploiter des relations apparentes dans les données d'apprentissage qui ne sont pas valables en général.

Un jeu de données de validation est un jeu de données d'exemples utilisés pour régler les hyperparamètres (c'est-à-dire l'architecture) d'un classifieur[12] Un exemple d'hyperparamètre pour les réseaux de neurones artificiels comprend le nombre d'unités cachées dans chaque couche[8] - [9]. Celui-ci, ainsi que le jeu de test (comme mentionné ci-dessus), doit suivre la même Loi de probabilité que le jeu de données d'apprentissage.

Afin d'éviter le surapprentissage, lorsqu'un paramètre de classification doit être ajusté, il est nécessaire de disposer d'un jeu de données de validation en plus des jeux de données d'apprentissage et de test. Par exemple, si le classificateur le plus approprié pour le problème est recherché, le jeu de données d'apprentissage est utilisé pour entraîner les différents classificateurs candidats, le jeu de données de validation est utilisé pour comparer leurs performances et décider lequel prendre et, enfin, le jeu de test est utilisé pour obtenir les caractéristiques de performance telles que la précision, la sensibilité, la spécificité, la mesure F, etc. Le jeu de données de validation fonctionne comme un hybride : ce sont des données d'entraînement utilisées pour les tests, mais ni dans le cadre de la formation de bas niveau ni dans le cadre du test final.

Une application de ce processus est en arrêt anticipé, où les modèles candidats sont des itérations successives du même réseau, et la formation s'arrête lorsque l'erreur sur le jeu de validation augmente, en choisissant le modèle précédent (celui avec l'erreur minimale).

Un jeu de données de test est un jeu de données indépendant du jeu de données d'apprentissage, mais qui suit la même distribution de probabilité que le jeu de données d'apprentissage. Si un modèle ajusté au jeu de données d'apprentissage s'adapte également bien au jeu de données de test, un surajustement minimal a eu lieu (voir la figure ci-dessous). Un meilleur ajustement du jeu de données d'apprentissage par opposition au jeu de données de test indique généralement un surajustement.

Un jeu de test est donc un jeu d'exemples utilisés uniquement pour évaluer les performances (c'est-à-dire la généralisation) d'un classificateur entièrement spécifié[8] - [9]. Pour ce faire, le modèle final est utilisé pour prédire les classifications des exemples dans le jeu de test. Ces prédictions sont comparées aux véritables classifications des exemples pour évaluer la précision du modèle[10].

Dans un scénario où les jeux de données de validation et de test sont utilisés, le jeu de données de test est généralement utilisé pour évaluer le modèle final sélectionné au cours du processus de validation. Dans le cas où le jeu de données d'origine est partitionné en deux sous-ensembles (jeu de données d'entraînement et de test), le jeu de données de test peut évaluer le modèle une seule fois (par exemple, dans la méthode d'exclusion )[13]. Notez que certaines sources déconseillent une telle méthode[11]. Cependant, lors de l'utilisation d'une méthode telle que la validation croisée, deux partitions peuvent être suffisantes et efficaces, car les résultats sont moyennés après des cycles répétés d'entraînement et de test du modèle pour aider à réduire les biais et la variabilité[5] - [11].

Un jeu d'apprentissage (à gauche) et un jeu de test (à droite) de la même population statistique sont représentés par des points bleus. Deux modèles prédictifs sont ajustés aux données d'entraînement. Les deux modèles ajustés sont tracés avec les jeux d'apprentissage et de test. Dans le jeu d'entraînement, l'EQM de l'ajustement indiqué en orange est de 4 alors que l'EQM de l'ajustement indiqué en vert est de 9. Dans le jeu de test, l'EQM pour l'ajustement indiqué en orange est de 15 et le EQM pour l'ajustement indiqué en vert est 13. La courbe orange surclasse sévèrement les données d'apprentissage, car son EQM augmente de près d'un facteur quatre lorsque l'on compare le jeu de test au jeu d'apprentissage. La courbe verte surajuste beaucoup moins les données d'entraînement, car son EQM augmente de moins d'un facteur de 2.

Tester, c'est essayer quelque chose pour le découvrir et valider, c'est prouver que quelque chose est valide. Dans cette perspective, l'utilisation la plus courante des termes jeu de test et jeu de validation est celle décrite ici. Cependant, tant dans l'industrie que dans le milieu universitaire, ils sont parfois utilisés de manière interchangeable, en considérant que le processus interne teste différents modèles à améliorer (jeu de test en tant qu'ensemble de développement) et que le modèle final est celui qui doit être validé avant une utilisation réelle avec une donnée invisible (jeu de validation). La littérature sur l'apprentissage automatique inverse souvent le sens des jeux de 'validation' et de 'test'. C'est l'exemple le plus flagrant de la confusion terminologique qui imprègne la recherche en intelligence artificielle[14]. Néanmoins, le concept important qui doit être conservé est que le jeu de données final, qu'il soit appelé test ou validation, ne doit être utilisé que dans l'expérience finale.

Afin d'obtenir des résultats plus stables et d'utiliser toutes les données précieuses pour l'entraînement, un jeu de données peut être divisé à plusieurs reprises en plusieurs jeu de données d'entraînement et de validation. C'est ce qu'on appelle la validation croisée. Pour valider les performances du modèle, un jeu de données de test supplémentaire, qui n'est pas soumis à la validation croisée, est normalement utilisé.

• Classement statistique