Teneur:

1. Que sont les méthodes d'ensemble ?
2. L'intuition derrière les méthodes d'ensemble !
3. Différentes méthodes d'ensemble
   * Bagging
   → Intuition derrière Bagging
   * Boosting
   → Intuition derrière Boosting
   * Stacking
   → Intuition derrière Stacking
   * Bucket de modèles

• Les méthodes d'ensemble sont des techniques qui créent plusieurs modèles, puis les combinent pour produire des résultats améliorés.
• Cette approche permet de produire de meilleures performances prédictives par rapport à un modèle unique.
• Les méthodes d'ensemble produisent généralement des solutions plus précises qu'un modèle unique. Cela a été le cas dans de nombreux concours d'apprentissage automatique, où les solutions gagnantes utilisaient des méthodes d'ensemble.

→ Supposons que vous soyez un géant de la construction et que vous ayez reçu un projet de construction de gratte-ciel, vous faites appel à un architecte pour vous construire un plan de la structure et vous aimez le design, mais vous trouvez qu'il y a beaucoup de défauts.

→ Donc, vous faites venir un groupe d'architectes et ils discutent entre eux et proposent la meilleure architecture avec peu ou pas de défauts.

Les techniques d'ensemble sont similaires, plusieurs modèles sont construits pour faire la prédiction la plus précise.

Différents types de techniques d'ensemble

Les techniques d'ensemble sont de 3 types :

→ Ensachage :

• Bootstrap Aggregation (ou Bagging) est un méta-algorithme d'ensemble d'apprentissage automatique conçu pour améliorer la stabilité et la précision des algorithmes d'apprentissage automatique utilisés dans la classification statistique et la régression.
• Cela réduit également la variance et aide à éviter le surajustement . Bien qu'il soit généralement appliqué aux méthodes d'arbre de décision, il peut être utilisé avec n'importe quel type de méthode.
• L'ensachage est un cas particulier de l'approche de la moyenne du modèle.
• Le bootstrapping est une procédure statistique qui rééchantillonne un seul ensemble de données pour créer de nombreux échantillons simulés.
  Les échantillons sont constitués en retirant les observations de la population de données une par une et en les renvoyant à la population de données après avoir été choisies.
  Cela permet à une observation donnée d'être incluse plus d'une fois dans un petit échantillon donné.
• L'agrégation est le processus de combiner des choses. C'est-à-dire, mettre ces choses ensemble afin que nous puissions nous y référer collectivement.
  En d'autres termes, les échantillons bootstrap sont modélisés et les résultats sont combinés et produits.

→ Le groupe d'architectes nommés a été chargé d'examiner une conception et de proposer quelque chose qui supprime les défauts de la conception.
→ Ces architectes ont maintenant individuellement trouvé une solution aux défauts et ont fait une réunion où ils ont présenté les solutions et ensemble les solutions les plus appropriées de chacun des architectes ont été utilisées.

Code pour l'ensachage :

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import BaggingClassifier
dt = DesicionTreeClassifier()
bagging = BaggingClassifier(base_estimator = dt).fit(x,y)

Le boosting fait référence à une famille d'algorithmes qui convertit les apprenants faibles en apprenants forts.

• Le boosting est une méthode d'ensemble pour améliorer les prédictions du modèle d'un algorithme d'apprentissage donné.
• L'idée du boosting est de former séquentiellement des apprenants faibles, chacun essayant de corriger son prédécesseur.
• Cela se fait en construisant un modèle à partir des données d'apprentissage, puis en créant un deuxième modèle qui tente de corriger les erreurs du premier modèle. Des modèles sont ajoutés jusqu'à ce que l'ensemble d'apprentissage soit parfaitement prédit ou qu'un nombre maximal de modèles soit ajouté.
• Cela réduit les biais du modèle.

→ L'une des autres façons que les architectes auraient pu adopter pour réaliser une conception sans faille est.

→ L'un des nombreux architectes commence par la correction de la conception et lorsqu'il a terminé, il transmet son résultat à l'autre.

→ L'autre architecte regarde la conception corrigée et fait à nouveau les corrections nécessaires et passe à l'autre.

→ Ce processus se poursuivra jusqu'à ce que la copie de la conception passe par tous les architectes et atteigne le dernier.

→ Le résultat aura une nouvelle copie du dessin avec les défauts corrigés.

Code pour booster :

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier
dt = DecisionTreeClassifier()
boosting = AdaBoostClassifier(base_estimator=dt)

→ Empilage

• L'empilement (ou généralisation empilée) est une technique d'apprentissage d'ensemble qui combine plusieurs classifications ou modèles de régression avec un méta-classificateur ou un méta-régresseur.
• Les modèles de niveau de base sont formés sur la base d'un ensemble de formation complet, puis le méta-modèle est formé sur les sorties des fonctionnalités de type modèle de niveau de base.
• L'avantage de l'empilement est qu'il peut exploiter les capacités d'une gamme de modèles performants sur une tâche de classification ou de régression et faire des prédictions qui ont de meilleures performances que n'importe quel modèle unique de l'ensemble.

• Maintenant, chaque architecte a fait son propre meilleur design
• Une fois la conception réalisée, ces conceptions ont été envoyées à l'architecte principal / principal.
• Chaque conception a ensuite été examinée par l'architecte en chef et combinée pour obtenir une conception sans faille pour la construction.

from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import RandomForestClassifier
from mlxtend.classifier import StackingClassifier
Log_model = LogisticRegression()
KNN_model = KNeighborsClassifer()
Rnd_model = RandomForestClassifier()
stack = StackingClassifier(classifier = 
                           [KNN_model,Rnd_model],
                           meta_classifier = Log_model)

• Un "seau de modèles" est une technique d'ensemble dans laquelle un algorithme de sélection de modèle est utilisé pour choisir le meilleur modèle pour chaque problème.
• Lorsqu'il est testé avec un seul problème, un ensemble de modèles ne peut pas produire de meilleurs résultats que le meilleur modèle de l'ensemble, mais lorsqu'il est évalué sur de nombreux problèmes, il produira généralement de bien meilleurs résultats, en moyenne, que n'importe quel modèle de l'ensemble.
• Entrée :
  — Modèles que vous souhaitez utiliser.
  — Un ensemble de données.
• Algorithme d'apprentissage :
  — Utilisez 10-CV pour estimer l'erreur de tous les modèles
  — Choisissez le meilleur modèle (erreur 10-CV la plus faible).
  — Entraînez le modèle sur Dataset et renvoyez son résultat.

Vous aimez mon article ? Applaudissez-moi et partagez-le, car cela renforcera ma confiance. De plus, je publie de nouveaux articles tous les dimanches, alors restez connecté pour les prochains articles de la série sur les bases de la science des données et de l'apprentissage automatique.

Aussi, connectez-vous avec moi sur LinkedIn .