Was macht eine Modellüberanpassung aus und wie können wir dieses Problem lösen?

Wir alle haben diese Freunde, die Geschichten bis ins kleinste Detail erzählen. Wenn Sie sie nach einem Film fragen, den sie kürzlich gesehen haben, erfahren Sie möglicherweise nicht nur etwas über den Film, sondern auch über die Uhr des Mannes, der Popcorn im Kino verkauft. Auf der anderen Seite haben wir unkommunikative Freunde, die Ihnen nur sagen würden, dass der Film „gut“ oder „schlecht“ ist.

Über- und Unteranpassung ähneln den verschiedenen Arten von Freunden in Bezug auf die Detailgenauigkeit. Ein Modell für maschinelles Lernen mit Überanpassung versucht, Details zu Trainingsdaten zu erfassen, während ein Modell mit Überanpassung zu allgemein ist und wichtige Trends bei Trainingsdaten eher übersieht.

Ein eher maschinell lernendes Beispiel wäre die Vorhersage des Objekts in einem Bild. Angenommen, wir versuchen, ein Modell zu erstellen, das Tomaten in Bildern vorhersagt:

• Modell A: Rot, Kreis, grüne Sternform oben, einige Wassertropfen
• Modell B: Rot, Kreis

Auf der anderen Seite glaubt Modell B, dass alles, was rot ist und eine Kreisform hat, eine Tomate ist, die nicht wahr ist. Dieses Modell ist zu allgemein und kann kritische Merkmale von Tomaten nicht erkennen. Es ist unterpassend .

Diese Beispiele zeigen nicht genau, wie ein Modell für maschinelles Lernen lernt und vorhersagt, sondern geben einen Überblick über Über- und Unteranpassung. In diesem Beitrag werde ich die folgenden Konzepte im Detail behandeln:

• Bias und Varianz
• Über- und Unteranpassung
• Regulierung

Vorspannung und Varianz sind wichtig, um Über- und Unteranpassung zu verstehen.

Die Abweichung ist ein Maß dafür, wie weit die durchschnittliche Vorhersage von den tatsächlichen Werten entfernt ist. Eine Verzerrung entsteht, wenn wir versuchen, eine komplexe Beziehung mit einem sehr einfachen Modell zu modellieren. Die Vorhersagen eines Modells mit hoher Verzerrung sind sehr ähnlich. Da es nicht empfindlich auf Abweichungen innerhalb der Daten reagiert, ist die Genauigkeit des Modells sowohl bei Trainingsdaten als auch bei Testdaten (zuvor nicht sichtbare Daten) sehr gering.

Die blauen Punkte sind die Beobachtungen im Trainingssatz und die rote Linie ist unser voreingenommenes Modell, das die Schwankungen innerhalb der beiden Merkmale der Beobachtungen nicht berücksichtigt und dieselbe Vorhersage macht.

Varianz ist das Gegenteil von Voreingenommenheit in Bezug auf die Empfindlichkeit gegenüber Änderungen innerhalb von Daten. Ein Modell mit hoher Varianz reagiert sehr empfindlich auf selbst kleine Änderungen der Trainingsdaten. Es wird versucht, jedes kleine Detail zu erfassen, und daher ändern sehr kleine Änderungen an den Trainingsdaten auch das Modell. Modelle mit hoher Varianz neigen auch dazu, Rauschen in Daten zu erfassen. Ein Ausreißer wäre im Umfang des Modells.

Wie Sie sehen können, versucht das Modell, sich an alle Variationen innerhalb der Daten anzupassen. Vorhersagen eines Modells mit hoher Varianz sind weit verbreitet. Es ist klar, dass dieses Modell eine sehr hohe Genauigkeit beim Trainingssatz aufweist. Allerdings wird es bei neuen, bisher nicht sichtbaren Beobachtungen schlecht abschneiden.

Modelle für maschinelles Lernen basieren auf bisher nicht sichtbaren Beobachtungen, sodass Modelle mit hohen Varianzen nicht akzeptiert werden können. Wir können uns auch niemals auf Modelle mit hoher Tendenz verlassen. Daher ist es wichtig, die Grenze zwischen Bias und Varianz zu finden. Es gibt immer einen Kompromiss zwischen Voreingenommenheit und Varianz. Wir können leicht ein Modell mit hoher Vorspannung und geringer Varianz oder niedriger Vorspannung und hoher Varianz finden. Der Erfolg Ihres Modells hängt jedoch davon ab, wie Sie den optimalen Weg zwischen Verzerrung und Varianz finden. Zum Beispiel scheint das folgende Modell gut zu passen.

Über- und Unteranpassung

• Ein Modell mit hoher Vorspannung neigt dazu, zu wenig zu passen.
• Ein Modell mit hoher Varianz neigt zur Überanpassung.

In einer überwachten Lernaufgabe können wir eine Überanpassung erkennen, indem wir die Modellgenauigkeit von Trainings- und Testdatensätzen vergleichen. Wenn die Genauigkeit des Trainingsdatensatzes (Beobachtungen, die das Modell sieht) viel höher ist als die Genauigkeit des Testdatensatzes (unsichtbare Beobachtungen), passt das Modell über.

Der Verlust ist proportional zur Differenz zwischen dem tatsächlichen Zielwert und dem vorhergesagten Wert. Ein überwachtes Lernmodell führt mehrere Iterationen durch, um diesen Verlust durch Aktualisieren der Merkmalsgewichte zu minimieren. Nach einem bestimmten Zeitpunkt verhält sich das Modell jedoch bei Test- und Trainingsdaten anders. Der Verlust an Trainingsdaten nimmt immer weiter ab, steigt jedoch nach einiger Zeit bei den Testdaten an. Es ist wichtig, diesen Punkt zu erkennen, um ein herausragendes Modell für maschinelles Lernen zu erstellen.

Überanpassung ist ein Serienproblem für Modelle des maschinellen Lernens. Wie können wir jedoch verhindern, dass ein Modell überpasst? Die Antwort ist Regularisierung.

Regulierung

Der Hauptgrund für die Überanpassung besteht darin, ein Modell komplexer als nötig zu machen. Wenn wir einen Weg finden, die Komplexität zu reduzieren, ist das Problem der Überanpassung gelöst.

Regularisierung bestraft komplexe Modelle.

Die Regularisierung erhöht die Strafe für höhere Begriffe im Modell und steuert somit die Komplexität des Modells. Wenn Regularisierungsterme hinzugefügt werden, versucht das Modell, sowohl den Verlust als auch die Komplexität des Modells zu minimieren.

Die Regularisierung verringert die Varianz, führt jedoch nicht zu einer bemerkenswerten Erhöhung der Vorspannung.

Zwei übliche Regularisierungsmethoden sind die L1- und L2-Regularisierung. Die Komplexität eines Modells hängt ab von:

• Gesamtzahl der Funktionen (durch L1-Regularisierung behandelt) oder
• Die Gewichte von Features (behandelt durch L2-Regularisierung)

Es wird auch Regularisierung für Sparsity genannt. Wie der Name schon sagt, werden spärliche Vektoren verwendet. Wenn wir einen hochdimensionalen Merkmalsvektorraum haben, wird das Modell sehr schwierig zu handhaben.

Durch die L1-Regularisierung werden die Gewichte nicht informativer Merkmale auf Null gesetzt. Die L1-Regularisierung wirkt wie eine Kraft, die bei jeder Iteration einen kleinen Betrag vom Gewicht abzieht und so das Gewicht schließlich auf Null setzt.

L1-Regularisierung bestraft | Gewicht |.

L2 Regularisierung

Der Einfachheit halber wird es auch als Regularisierung bezeichnet. Wenn wir die Modellkomplexität als Funktion der Gewichte betrachten, ist die Komplexität eines Merkmals proportional zum absoluten Wert seines Gewichts.

Die L2-Regularisierung erzwingt Gewichte gegen Null, macht sie jedoch nicht genau zu Null. Die L2-Regularisierung wirkt wie eine Kraft, die bei jeder Iteration einen kleinen Prozentsatz der Gewichte entfernt. Daher werden Gewichte niemals gleich Null sein.

L2-Regularisierung bestraft (Gewicht) ²

Es gibt einen zusätzlichen Parameter zum Einstellen des L2-Regularisierungsterms, der als Regularisierungsrate (Lambda) bezeichnet wird. Die Regularisierungsrate ist ein Skalar und wird mit dem L2-Regularisierungsterm multipliziert.

Hinweis: Die Auswahl eines optimalen Lambda-Werts ist wichtig. Das Ziel der L2-Regularisierung ist die Einfachheit. Wenn Lambda jedoch zu hoch ist, wird das Modell zu einfach und passt daher wahrscheinlich nicht. Wenn andererseits das Lambda zu niedrig ist, wird der Effekt der Regulierung vernachlässigbar und das Modell wird wahrscheinlich überanpassen. Wenn Lambda auf Null gesetzt ist, wird die Regularisierung vollständig entfernt (hohes Risiko einer Überanpassung!).

Hinweis: Die Ridge-Regression verwendet die L2-Regularisierung, während die Lasso-Regression die L1-Regularisierung verwendet. Die elastische Netzregression kombiniert die Regularisierung von L1 und L2.

Fazit

Überanpassung ist ein entscheidendes Problem für Modelle des maschinellen Lernens und muss sorgfältig behandelt werden. Wir erstellen Modelle für maschinelles Lernen aus den Daten, die wir bereits kennen, versuchen oder testen sie jedoch an neuen, zuvor nicht sichtbaren Daten. Wir möchten, dass das Modell die Trends in den Trainingsdaten lernt, gleichzeitig aber nicht, dass sich das Modell zu sehr auf die Trainingsdaten konzentriert. Der Erfolg eines Modells hängt davon ab, ob ein optimaler Punkt zwischen Über- und Unteranpassung gefunden wird.

Danke fürs Lesen. Bitte lassen Sie mich wissen, wenn Sie Feedback haben.