Théorie de l'apprentissage statistique

Les objectifs de l'apprentissage sont la prédiction et la compréhension. L'apprentissage relève de plusieurs catégories, y compris l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage en ligne et l'apprentissage par renforcement. Du point de vue de la théorie de l'apprentissage statistique, l'apprentissage supervisé est le mieux approprié[3]. L'apprentissage supervisé consiste à apprendre à partir d'un ensemble de données de formation. Chaque point de la formation est une paire d'entrées-sorties, où l'entrée correspond à une sortie. Le problème d'apprentissage consiste à déduire la fonction qui mappe entre l'entrée et la sortie, de sorte que la fonction apprise peut être utilisée pour prédire la sortie d'une entrée future.

Selon le type de sortie, les problèmes d'apprentissage supervisés sont soit des problèmes de régression, soit des problèmes de classification. Si la sortie prend une plage continue de valeurs, c'est un problème de régression. En utilisant la loi d'Ohm comme exemple, une régression pourrait être effectuée avec la tension comme entrée et le courant comme sortie. La régression permettrait de trouver la relation fonctionnelle entre la tension et le courant  ${\displaystyle {\frac {1}{R}}}$, tel que

${\displaystyle I={\frac {1}{R}}V}$

Les problèmes de classification sont ceux pour lesquels la sortie sera un élément d'un ensemble discret. La classification est très courante pour les applications d'apprentissage automatique. Dans la reconnaissance faciale, par exemple, une image du visage d'une personne serait l'entrée, et l'étiquette de sortie serait le nom de cette personne.

Après l'apprentissage d'une fonction basée sur les ensembles de données d'apprentissage, cette fonction est validée sur un ensemble de données de test, qui n'apparaissaient pas dans l'ensemble de formation.

Soit ${\displaystyle X}$ un espace vectoriel de toutes entrées possibles, et ${\displaystyle Y}$ l'espace vectoriel de toutes sorties possibles. La théorie de l'apprentissage statistique part du principe qu'il existe une distribution de probabilité inconnue sur l'espace produit ${\displaystyle Z=X\times Y}$, i.e.il existe quelque inconnu ${\displaystyle p(z)=p({\vec {x}},y)}$. L'ensemble de formation est composé de ${\displaystyle n}$ partir de cette distribution de probabilité et notée

${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}=\{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}\}}$

Tout ${\displaystyle {\vec {x}}_{i}}$ est un vecteur d'entrée à partir des données d'apprentissage, et ${\displaystyle y_{i}}$ est la sortie qui lui correspond.

Dans ce formalisme, le problème d'inférence consiste à trouver une fonction ${\displaystyle f:X\mapsto Y}$ tel que ${\displaystyle f({\vec {x}})\sim y}$. Soit ${\displaystyle {\mathcal {H}}}$ un espace de versions ${\displaystyle f:X\to Y}$ Appelé l'espace de versions. L'espace de versions est l'espace des fonctions que l'algorithme recherchera. Soit ${\displaystyle V(f({\vec {x}}),y)}$ la fonction objectif, une métrique pour la différence entre la valeur ${\displaystyle f({\vec {x}})}$ et l'actuel valeur ${\displaystyle y}$. Le risque attendu est défini comme étant

${\displaystyle I[f]=\displaystyle \int _{X\times Y}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy}$

La fonction cible, la meilleure fonction possible ${\displaystyle f}$ qui peut être choisi, est donné par ${\displaystyle f_{opt}}$ qui satisfait

${\displaystyle f_{opt}=arg\inf _{f\in {\mathcal {H}}}I[f]}$

La distribution de probabilité ${\displaystyle p({\vec {x}},y)}$ étant inconnu, il faut utiliser une approximation du risque attendu. Cette approximation se base sur l'ensemble de données d'apprentissage, un échantillon provenant de cette distribution de probabilité. On l'appelle le risque empirique

${\displaystyle I_{S}[f]={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$

Un algorithme d'apprentissage qui choisit la fonction ${\displaystyle f_{S}}$ minimisant le risque empirique est nommé minimisation du risque empirique.

• Les espaces de Hilbert à noyau reproduisant sont un bon choix pour ${\displaystyle {\mathcal {H}}}$.