Adaptation de domaine

Soit ${\displaystyle X}$ l'espace d'entrée ou de description des données et ${\displaystyle Y}$ l'espace de sortie ou l'ensemble d'étiquetage. L'objectif en apprentissage automatique est d'apprendre un modèle mathématique (une hypothèse) ${\displaystyle h:X\to Y}$ permettant d'affecter une étiquette à une donnée. Ce modèle est appris à partir d'un échantillon d'apprentissage ${\displaystyle S=\{(x_{i},y_{i})\}_{i=1}^{m}\in (X\times Y)^{m}}$.

En apprentissage supervisé classique (sans adaptation de domaine), on suppose que les exemples ${\displaystyle (x_{i},y_{i})\in S}$ sont tirés i.i.d. selon une distribution ${\displaystyle D_{S}}$ sur ${\displaystyle X\times Y}$ (fixe et inconnue). Le but est alors d'apprendre ${\displaystyle h}$ (à partir de ${\displaystyle S}$) de telle sorte qu'il étiquette au mieux de nouvelles données issues de la distribution ${\displaystyle D_{S}}$ (autrement dit qu'il commette le moins d'erreurs possible sur ${\displaystyle D_{S}}$).

La principale différence entre l’apprentissage supervisé classique et l’adaptation de domaine réside dans l’étude de deux distributions ${\displaystyle D_{S}}$ et ${\displaystyle D_{T}}$ différentes sur ${\displaystyle X\times Y}$ . La tâche d’adaptation consiste à transférer des connaissances du domaine source ${\displaystyle D_{S}}$ vers le domaine cible ${\displaystyle D_{T}}$. L'objectif est alors d'apprendre ${\displaystyle h}$ (à partir d'échantillons étiquetés ou non issus des deux domaines) tel qu'il étiquette au mieux de nouvelles données issues du domaine cible ${\displaystyle D_{T}}$.

La question majeure soulevée par ce problème est la suivante : si un modèle a été appris à partir d'un domaine source, quelle sera sa capacité à étiqueter correctement des données provenant du domaine cible ?

On distingue différents contextes d'adaptation de domaine. Ils diffèrent par l'information dont on dispose pour la tâche cible.

1. L'adaptation de domaine non supervisée : l'ensemble d'apprentissage contient un ensemble de données étiquetées sources, un ensemble de données non étiquetées sources et un ensemble de données non étiquetées cibles.
2. L'adaptation de domaine semi-supervisée : dans cette situation, on dispose de plus d'un (petit) ensemble de données étiquetées cibles.
3. L'adaptation de domaine supervisée : on parle d'adaptation de domaine supervisée lorsque toutes les données cibles disponibles sont étiquetées (Ce contexte est assez peu étudié dans la littérature).