Forêt d'arbres décisionnels

La base du calcul repose sur l'apprentissage par arbre de décision. La proposition de Breiman[3] vise à corriger plusieurs inconvénients connus de la méthode initiale, comme la sensibilité des arbres uniques à l'ordre des prédicteurs, en calculant un ensemble de ${\displaystyle {B}}$ arbres partiellement indépendants.

Une présentation rapide de la proposition[5] peut s'exprimer comme suit :

1. Créer ${\displaystyle {B}}$ nouveaux ensembles d'apprentissage par un double processus d'échantillonnage :
   1. sur les observations, en utilisant un tirage avec remise d'un nombre ${\displaystyle {N}}$ d'observations identique à celui des données d'origine (technique connue sous le nom de bootstrap),
   2. et sur les ${\displaystyle {p}}$ prédicteurs, en n'en retenant qu'un échantillon de cardinal ${\displaystyle m<{\sqrt {p}}}$ (la limite n'est qu'indicative).
2. Sur chaque échantillon, on entraîne un arbre de décision selon une des techniques connues, en limitant sa croissance par validation croisée.
3. On stocke les ${\displaystyle {B}}$ prédictions de la variable d'intérêt pour chaque observation d'origine.
4. La prédiction de la forêt aléatoire est alors un simple vote majoritaire (Ensemble learning).

Le principal inconvénient de cette méthode est que l'on perd l'aspect visuel des arbres de décision uniques.

Le modèle uplift est une application des forêts d'arbres décisionnels pour la détection des populations sensibles aux opérations de marketing ciblées.

(en) Breiman, Leo, « Statistical Modeling: The Two Cultures », Statistical Science, vol. 16, n^o 3,‎ 2001, p. 199-231 (lire en ligne).