Qu'est-ce qui rend un modèle surajusté et comment nous pouvons résoudre ce problème

Nous avons tous ces amis qui racontent des histoires avec des détails atroces. Lorsque vous leur posez des questions sur un film qu'ils ont vu récemment, vous pouvez finir par en apprendre non seulement sur le film, mais aussi sur la montre du type qui vend du pop-corn au cinéma. D'un autre côté, nous avons des amis peu communicatifs qui vous diraient simplement que le film était «bon» ou «mauvais».

Le surajustement et le sous-ajustement sont similaires à ces différents types d'amis en termes de quantité de détails. Un modèle d'apprentissage automatique sur-ajusté tente de recueillir des détails sur les données d'entraînement, tandis qu'un modèle sous-ajusté est trop général et a tendance à manquer des tendances importantes dans les données d'entraînement.

Un exemple plus proche de l'apprentissage automatique serait de prédire l'objet dans une image. Supposons que nous essayons de construire un modèle qui prédit les tomates en images:

• Modèle A: rouge, cercle, forme d'étoile verte sur le dessus, quelques gouttelettes d'eau
• Modèle B: rouge, cercle

D'autre part, le modèle B pense que tout ce qui est rouge et a la forme d'un cercle est une tomate, ce qui n'est pas vrai. Ce modèle est trop général, incapable de détecter les caractéristiques critiques des tomates. C'est sous- adapté .

Ces exemples ne montrent pas exactement comment un modèle d'apprentissage automatique apprend et prédit, mais donnent un aperçu du surajustement et du sous-ajustement. Dans cet article, je couvrirai en détail les concepts suivants:

• Biais et variance
• Surajustement et sous-ajustement
• Régularisation

Le biais et la variance sont essentiels pour comprendre le surajustement et le sous-ajustement.

Le biais est une mesure de l'écart entre la prévision moyenne et les valeurs réelles. Un biais survient si nous essayons de modéliser une relation complexe avec un modèle très simple. Les prédictions d'un modèle à biais élevé sont très similaires. Comme il n'est pas sensible aux variations au sein des données, la précision du modèle est très faible à la fois sur les données d'entraînement et les données de test (données auparavant invisibles).

Les points bleus sont les observations dans l'ensemble d'apprentissage et la ligne rouge est notre modèle biaisé qui ne se soucie pas des fluctuations dans les deux caractéristiques des observations et fait la même prédiction.

La variance est l'opposé du biais en termes de sensibilité aux changements dans les données. Un modèle avec une variance élevée est très sensible même aux petits changements dans les données d'entraînement. Il essaie de saisir chaque petit détail et donc de très petits changements sur les données d'entraînement modifient également le modèle. Les modèles à forte variance ont également tendance à capturer le bruit dans les données. Une valeur aberrante serait dans la portée du modèle.

Comme vous pouvez le voir, le modèle essaie de s'ajuster en fonction de toutes les variations dans les données. Les prédictions d'un modèle à forte variance sont largement répandues. Il est clair que ce modèle a une très grande précision sur l'ensemble d'entraînement. Cependant, il fonctionnera mal sur de nouvelles observations inédites.

Les modèles d'apprentissage automatique sont conçus pour fonctionner sur des observations auparavant invisibles, de sorte que les modèles avec des variances élevées ne sont pas acceptables. Nous ne pouvons également jamais nous fier à des modèles à biais élevé. Par conséquent, il est essentiel de trouver la ligne entre le biais et la variance. Il y a toujours un compromis entre le biais et la variance. Nous pouvons facilement trouver un modèle avec un biais élevé et une variance faible ou un biais faible et une variance élevée. Cependant, le succès de votre modèle dépend de la recherche du moyen optimal entre le biais et la variance. Par exemple, le modèle ci-dessous semble être un bon ajustement.

Surajustement et sous-ajustement

• Un modèle avec un biais élevé a tendance à être sous-ajusté.
• Un modèle avec une variance élevée a tendance à surajuster.

Dans une tâche d'apprentissage supervisé, nous pouvons détecter le surajustement en comparant la précision du modèle sur les ensembles de données d'entraînement et de test. Si la précision sur l'ensemble de données d'entraînement (observations que le modèle voit) est beaucoup plus élevée que la précision sur l'ensemble de données de test (observations invisibles), le modèle est surajusté.

La perte est proportionnelle à la différence entre la valeur cible réelle et la valeur prévue. Un modèle d'apprentissage supervisé effectue plusieurs itérations pour minimiser cette perte en mettant à jour les pondérations des caractéristiques. Cependant, après un certain temps, le modèle se comporte différemment sur les données de test et d'entraînement. La perte continue de diminuer sur les données d'entraînement mais commence à augmenter sur les données de test après un certain temps. Il est crucial de détecter ce point pour créer un modèle d'apprentissage automatique exceptionnel.

Le surajustement est un problème de série pour les modèles d'apprentissage automatique, mais comment empêcher un modèle de surajustement? La réponse est la régularisation.

Régularisation

La raison principale du surajustement est de rendre un modèle plus complexe que nécessaire. Si nous trouvons un moyen de réduire la complexité, le problème de surajustement est résolu.

La régularisation pénalise les modèles complexes.

La régularisation ajoute une pénalité pour les termes plus élevés dans le modèle et contrôle ainsi la complexité du modèle. Si des termes de régularisation sont ajoutés, le modèle essaie de minimiser à la fois la perte et la complexité du modèle.

La régularisation réduit la variance mais n'entraîne pas une augmentation notable du biais.

Deux méthodes courantes de régularisation sont la régularisation L1 et L2. La complexité d'un modèle dépend:

• Nombre total d'entités (gérées par la régularisation L1), ou
• Les poids des entités (gérés par régularisation L2)

Elle est également appelée régularisation pour parcimonie. Comme son nom l'indique, il est utilisé pour gérer les vecteurs épars. Si nous avons un espace vectoriel de caractéristiques de grande dimension, le modèle devient très difficile à gérer.

La régularisation L1 force les poids des entités non informatives à être nul. La régularisation L1 agit comme une force qui soustrait une petite quantité du poids à chaque itération et rend ainsi le poids nul, finalement.

La régularisation L1 pénalise | poids |.

Régularisation L2

Elle est également appelée régularisation par souci de simplicité. Si nous prenons la complexité du modèle en fonction des poids, la complexité d'une entité est proportionnelle à la valeur absolue de son poids.

La régularisation L2 force les poids vers zéro mais ne les rend pas exactement nuls. La régularisation L2 agit comme une force qui supprime un petit pourcentage de poids à chaque itération. Par conséquent, les poids ne seront jamais égaux à zéro.

La régularisation L2 pénalise (poids) ²

Il existe un paramètre supplémentaire pour régler le terme de régularisation L2 qui est appelé taux de régularisation (lambda). Le taux de régularisation est un scalaire et multiplié par le terme de régularisation L2.

Remarque: il est important de choisir une valeur optimale pour lambda. Le but de la régularisation L2 est la simplicité. Cependant, si le lambda est trop élevé, le modèle devient trop simple et risque donc d'être sous-adapté. En revanche, si le lambda est trop bas, l'effet de la régulation devient négligeable et le modèle est susceptible de sur-adapter. Si lambda est mis à zéro, la régularisation sera complètement supprimée (risque élevé de surajustement!).

Remarque: la régression Ridge utilise la régression L2 tandis que la régression Lasso utilise la régression L1. La régression nette élastique combine les régularisations L1 et L2.

Conclusion

Le surajustement est un problème crucial pour les modèles d'apprentissage automatique et doit être traité avec soin. Nous construisons des modèles d'apprentissage automatique en utilisant les données que nous connaissons déjà, mais nous essayons ou les testons sur de nouvelles données auparavant invisibles. Nous voulons que le modèle apprenne les tendances dans les données d'entraînement mais, en même temps, ne voulons pas que le modèle se concentre trop sur les données d'entraînement. Le succès d'un modèle dépend de la recherche du point optimal entre le sur-ajustement et le sous-ajustement.

Merci pour la lecture. Veuillez me faire savoir si vous avez des commentaires.