Les forêts d'arbres décisionnels (ou forêts aléatoires de l'anglais random decision forest) ont été formellement proposées en 2001 par Leo Breiman et Adèle Cutler. Elles font partie des techniques d'apprentissage automatique. Cet algorithme combine les concepts de sous-espaces aléatoires et de bagging. L'algorithme des forêts d'arbres décisionnels effectue un apprentissage sur de multiples arbres de décision entraînés sur des sous-ensembles de données légèrement différents.
(source: wikipedia)
La base du calcul repose sur l'apprentissage par arbre de décision. La proposition de Breiman vise à corriger plusieurs inconvénients connus de la méthode initiale, comme la sensibilité des arbres uniques à l'ordre des prédicteurs, en calculant un ensemble de
arbres partiellement indépendants.
Une présentation rapide de la proposition peut s'exprimer comme suit :
Créer nouveaux ensembles d'apprentissage par un double processus d'échantillonnage :
sur les observations, en utilisant un tirage avec remise d'un nombre
d'observations identique à celui des données d'origine (technique connue sous le nom de bootstrap),
et sur les
prédicteurs, en n'en retenant qu'un échantillon de cardinal 
(la limite n'est qu'indicative).
Sur chaque échantillon, on entraîne un arbre de décision selon une des techniques connues, en limitant sa croissance par validation croisée.
On stocke les prédictions de la variable d'intérêt pour chaque observation d'origine.
La prédiction de la forêt aléatoire est alors un simple vote majoritaire (Ensemble learning).
Le principal revers de cette méthode est que l'on perd l'aspect visuel des arbres de décision uniques.
(source: wikipedia)
La base du calcul repose sur l'apprentissage par arbre de décision. La proposition de Breiman vise à corriger plusieurs inconvénients connus de la méthode initiale, comme la sensibilité des arbres uniques à l'ordre des prédicteurs, en calculant un ensemble de
arbres partiellement indépendants.Une présentation rapide de la proposition peut s'exprimer comme suit :
Créer
nouveaux ensembles d'apprentissage par un double processus d'échantillonnage :sur les observations, en utilisant un tirage avec remise d'un nombre
d'observations identique à celui des données d'origine (technique connue sous le nom de bootstrap),et sur les
prédicteurs, en n'en retenant qu'un échantillon de cardinal (la limite n'est qu'indicative).Sur chaque échantillon, on entraîne un arbre de décision selon une des techniques connues, en limitant sa croissance par validation croisée.
On stocke les
prédictions de la variable d'intérêt pour chaque observation d'origine.La prédiction de la forêt aléatoire est alors un simple vote majoritaire (Ensemble learning).
Le principal revers de cette méthode est que l'on perd l'aspect visuel des arbres de décision uniques.
Comments
Post a Comment