Cosa rende un modello overfitting e come possiamo risolvere questo problema

Abbiamo tutti quegli amici che raccontano storie con dettagli atroci. Quando chiedi loro di un film che hanno visto di recente, potresti finire per imparare non solo il film, ma anche l'orologio del ragazzo che vende popcorn al cinema. D'altra parte, abbiamo amici poco comunicativi che ti direbbero semplicemente che il film era "buono" o "cattivo".

L'overfitting e l'underfitting sono simili a quei diversi tipi di amici in termini di quantità di dettagli. Un modello di machine learning overfit cerca di raccogliere dettagli sui dati di training, mentre uno underfit è troppo generico e tende a perdere tendenze importanti nei dati di training.

Un esempio più simile all'apprendimento automatico sarebbe la previsione dell'oggetto in un'immagine. Supponiamo di provare a costruire un modello che preveda i pomodori nelle immagini:

• Modello A: rosso, cerchio, stella verde in alto, alcune gocce d'acqua
• Modello B: rosso, cerchio

D'altra parte, il modello B pensa che tutto ciò che è rosso e ha una forma circolare sia un pomodoro, il che non è vero. Questo modello è troppo generico, non è in grado di rilevare le caratteristiche critiche dei pomodori. È underfitting .

Questi esempi non sono esattamente il modo in cui un modello di apprendimento automatico apprende e prevede, ma forniscono una panoramica di overfitting e underfitting. In questo post, tratterò i seguenti concetti in dettaglio:

• Bias e varianza
• Overfitting e underfitting
• Regolarizzazione

Bias e varianza sono essenziali per comprendere overfitting e underfitting.

Il bias è una misura di quanto la previsione media sia lontana dai valori reali. Il bias sorge se proviamo a modellare una relazione complessa con un modello molto semplice. Le previsioni di un modello con un bias elevato sono molto simili. Poiché non è sensibile alle variazioni all'interno dei dati, l'accuratezza del modello è molto bassa sia sui dati di addestramento che sui dati di test (dati precedentemente non visualizzati).

I punti blu sono le osservazioni nel training set e la linea rossa è il nostro modello distorta che non si cura delle fluttuazioni all'interno delle due caratteristiche delle osservazioni e fa la stessa previsione.

La varianza è l'opposto del bias in termini di sensibilità ai cambiamenti all'interno dei dati. Un modello con varianza elevata è altamente sensibile anche a piccoli cambiamenti all'interno dei dati di addestramento. Cerca di raccogliere ogni piccolo dettaglio e quindi modifiche molto piccole sui dati di addestramento cambiano anche il modello. I modelli con un'elevata varianza tendono anche a catturare il rumore nei dati. Un valore anomalo sarebbe nell'ambito del modello.

Come puoi vedere, il modello cerca di adattarsi a tutte le variazioni all'interno dei dati. Le previsioni di un modello con varianza elevata sono ampiamente diffuse. È chiaro che questo modello ha una precisione molto elevata sul set di allenamento. Comunque, avrà un rendimento scarso su nuove osservazioni mai viste prima.

I modelli di machine learning sono progettati per funzionare su osservazioni mai viste prima, quindi i modelli con varianze elevate non sono accettabili. Inoltre, non possiamo mai fare affidamento su modelli con un alto bias. Pertanto, è fondamentale trovare la linea tra pregiudizio e varianza. C'è sempre un compromesso tra bias e varianza. Possiamo facilmente trovare un modello con un bias alto e una varianza bassa o un bias basso e una varianza alta. Tuttavia, il successo del tuo modello dipende dalla ricerca del modo ottimale tra bias e varianza. Ad esempio, il modello di seguito sembra una buona vestibilità.

Overfitting e Underfitting

• Un modello con un alto bias tende a essere sottodimensionato.
• Un modello con un'elevata varianza tende a overfit.

In un'attività di apprendimento supervisionato, possiamo rilevare l'overfitting confrontando l'accuratezza del modello sui set di dati di addestramento e test. Se l'accuratezza del set di dati di addestramento (osservazioni che il modello vede) è molto maggiore dell'accuratezza del set di dati di test (osservazioni non viste), il modello è overfitting.

La perdita è proporzionale alla differenza tra il valore obiettivo effettivo e il valore previsto. Un modello di apprendimento supervisionato esegue diverse iterazioni per ridurre al minimo questa perdita aggiornando i pesi delle funzionalità. Tuttavia, dopo un certo punto, il modello si comporta in modo diverso sui dati di test e di addestramento. La perdita continua a diminuire sui dati di allenamento ma inizia ad aumentare sui dati di test dopo un certo punto. È fondamentale rilevare questo punto per creare un modello di apprendimento automatico eccezionale.

L'overfitting è un problema di serie per i modelli di machine learning, ma come si impedisce l'overfitting di un modello? La risposta è la regolarizzazione.

Regolarizzazione

Il motivo principale dell'overfitting è rendere un modello più complesso del necessario. Se troviamo un modo per ridurre la complessità, il problema dell'overfitting viene risolto.

La regolarizzazione penalizza i modelli complessi.

La regolarizzazione aggiunge penalità per termini più elevati nel modello e quindi controlla la complessità del modello. Se viene aggiunto un termine di regolarizzazione, il modello cerca di minimizzare sia la perdita che la complessità del modello.

La regolarizzazione riduce la varianza ma non provoca un notevole aumento del bias.

Due metodi comuni di regolarizzazione sono la regolarizzazione L1 e L2. La complessità di un modello dipende da:

• Numero totale di elementi (gestiti dalla regolarizzazione L1) o
• I pesi delle caratteristiche (gestiti dalla regolarizzazione L2)

Si chiama anche regolarizzazione per scarsità. Come suggerisce il nome, viene utilizzato per gestire vettori sparsi. Se disponiamo di uno spazio vettoriale delle caratteristiche ad alta dimensione, il modello diventa molto difficile da gestire.

La regolarizzazione L1 costringe i pesi delle caratteristiche non informative a essere zero. La regolarizzazione L1 agisce come una forza che sottrae una piccola quantità dal peso ad ogni iterazione e quindi, alla fine, azzera il peso.

La regolarizzazione L1 penalizza | peso |.

Regolarizzazione L2

Si chiama anche regolarizzazione per semplicità. Se prendiamo la complessità del modello in funzione dei pesi, la complessità di una caratteristica è proporzionale al valore assoluto del suo peso.

La regolarizzazione L2 forza i pesi verso lo zero ma non li rende esattamente zero. La regolarizzazione L2 agisce come una forza che rimuove una piccola percentuale di pesi ad ogni iterazione. Pertanto, i pesi non saranno mai uguali a zero.

La regolarizzazione L2 penalizza (peso) ²

C'è un parametro aggiuntivo per regolare il termine di regolarizzazione L2 che si chiama tasso di regolarizzazione (lambda). Il tasso di regolarizzazione è uno scalare e viene moltiplicato per il termine di regolarizzazione L2.

Nota: la scelta di un valore ottimale per lambda è importante. L'obiettivo della regolarizzazione L2 è la semplicità. Tuttavia, se lambda è troppo alto, il modello diventa troppo semplice e quindi è probabile che non si adatti. D'altra parte, se la lambda è troppo bassa, l'effetto della regolazione diventa trascurabile e il modello rischia di sovradimensionarsi. Se lambda è impostato su zero, la regolarizzazione verrà completamente rimossa (alto rischio di overfitting!).

Nota: la regressione della cresta utilizza la regolarizzazione L2 mentre la regressione Lazo utilizza la regolarizzazione L1. La regressione elastica netta combina la regolarizzazione L1 e L2.

Conclusione

L'overfitting è un problema cruciale per i modelli di machine learning e deve essere gestito con attenzione. Realizziamo modelli di machine learning utilizzando i dati che già conosciamo, ma li proviamo o li testiamo su nuovi dati mai visti prima. Vogliamo che il modello apprenda le tendenze nei dati di addestramento ma, allo stesso tempo, non vogliamo che il modello si concentri troppo sui dati di addestramento. Il successo di un modello dipende dalla ricerca del punto ottimale tra overfitting e underfitting.

Grazie per aver letto. Per favore fatemi sapere se avete commenti.