O que torna um modelo overfitting e como podemos resolver esse problema

Todos nós temos amigos que contam histórias com detalhes excruciantes. Quando você pergunta a eles sobre um filme que viram recentemente, pode acabar aprendendo não só sobre o filme, mas também sobre o relógio do cara que vende pipoca no cinema. Por outro lado, temos amigos pouco comunicativos que apenas lhe diriam que o filme é “bom” ou “mau”.

Overfitting e underfitting são semelhantes a esses diferentes tipos de amigos em termos de quantidade de detalhes. Um modelo de aprendizado de máquina overfit tenta obter detalhes sobre os dados de treinamento, enquanto um underfit é muito geral e tende a perder tendências importantes nos dados de treinamento.

Um exemplo mais semelhante ao aprendizado de máquina seria prever o objeto em uma imagem. Suponha que estejamos tentando construir um modelo que prevê tomates em imagens:

• Modelo A: vermelho, círculo, forma de estrela verde no topo, algumas gotas de água
• Modelo B: vermelho, círculo

Por outro lado, o modelo B pensa que tudo o que é vermelho e tem forma circular é um tomate, o que não é verdade. Este modelo é muito geral, não é capaz de detectar características críticas dos tomates. É insuficiente .

Esses exemplos não são exatamente como um modelo de aprendizado de máquina aprende e prevê, mas fornecem uma visão geral de overfitting e underfitting. Nesta postagem, abordarei os seguintes conceitos em detalhes:

• Viés e variância
• Overfitting e underfitting
• Regularização

Viés e variância são essenciais para entender o overfitting e o underfitting.

Bias é uma medida de quão longe a previsão média está longe dos valores reais. O viés surge se tentarmos modelar uma relação complexa com um modelo muito simples. As previsões de um modelo com alto viés são muito semelhantes. Como não é sensível às variações nos dados, a precisão do modelo é muito baixa tanto nos dados de treinamento quanto nos dados de teste (dados nunca vistos anteriormente).

Os pontos azuis são as observações no conjunto de treinamento e a linha vermelha é o nosso modelo tendencioso, que não se importa com as flutuações nas duas características das observações e faz a mesma previsão.

A variância é o oposto do viés em termos de ser sensível às mudanças nos dados. Um modelo com alta variação é altamente sensível até mesmo a pequenas alterações nos dados de treinamento. Ele tenta captar cada pequeno detalhe e, portanto, pequenas alterações nos dados de treinamento também alteram o modelo. Modelos com alta variação também tendem a capturar ruído nos dados. Um outlier estaria no escopo do modelo.

Como você pode ver, o modelo tenta se ajustar de acordo com todas as variações dos dados. As previsões de um modelo com alta variação são amplamente divulgadas. É claro que este modelo tem uma precisão muito alta no conjunto de treinamento. No entanto, ele terá um desempenho ruim em observações novas e não vistas anteriormente.

Os modelos de aprendizado de máquina são construídos para trabalhar em observações nunca vistas antes, portanto, modelos com grandes variações não são aceitáveis. Também nunca podemos confiar em modelos com alta polarização. Portanto, é crucial encontrar a linha entre o viés e a variância. Sempre há uma compensação entre enviesamento e variância. Podemos facilmente encontrar um modelo com alta tendência e baixa variância ou baixa tendência e alta variância. No entanto, o sucesso do seu modelo depende de encontrar o caminho ideal entre o viés e a variância. Por exemplo, o modelo abaixo parece um bom ajuste.

Overfitting e Underfitting

• Um modelo com alta polarização tende a ser insuficiente.
• Um modelo com alta variância tende a se ajustar demais.

Em uma tarefa de aprendizado supervisionado, podemos detectar overfitting comparando a precisão do modelo em conjuntos de dados de treinamento e teste. Se a precisão no conjunto de dados de treinamento (observações que o modelo vê) do conjunto de dados for muito maior do que a precisão no conjunto de dados de teste (observações não vistas), então o modelo está sobreajuste.

A perda é proporcional à diferença entre o valor alvo real e o valor previsto. Um modelo de aprendizado supervisionado executa várias iterações para minimizar essa perda atualizando os pesos dos recursos. No entanto, após algum ponto, o modelo se comporta de maneira diferente nos dados de teste e treinamento. A perda continua diminuindo nos dados de treinamento, mas começa a aumentar nos dados de teste após algum ponto. É crucial detectar esse ponto para criar um modelo de aprendizado de máquina excelente.

O overfitting é um problema de série para modelos de aprendizado de máquina, mas como evitamos que um modelo overfitting? A resposta é regularização.

Regularização

O principal motivo do overfitting é tornar um modelo mais complexo do que o necessário. Se encontrarmos uma maneira de reduzir a complexidade, o problema de overfitting estará resolvido.

A regularização penaliza modelos complexos.

A regularização adiciona penalidade para termos mais altos no modelo e, portanto, controla a complexidade do modelo. Se um termo de regularização for adicionado, o modelo tenta minimizar a perda e a complexidade do modelo.

A regularização reduz a variância, mas não causa um aumento notável no viés.

Dois métodos comuns de regularização são a regularização L1 e L2. A complexidade de um modelo depende de:

• Número total de recursos (gerenciados pela regularização L1), ou
• Os pesos dos recursos (tratados pela regularização L2)

Também é chamado de regularização para dispersão. Como o nome sugere, ele é usado para lidar com vetores esparsos. Se tivermos espaço vetorial de recurso de alta dimensão, o modelo se tornará muito difícil de manusear.

A regularização L1 força os pesos dos recursos não informativos a serem zero. A regularização L1 atua como uma força que subtrai uma pequena quantidade do peso a cada iteração e, assim, torna o peso zero, eventualmente.

A regularização L1 penaliza | peso |.

Regularização L2

Também é chamado de regularização para simplificar. Se tomarmos a complexidade do modelo como uma função de pesos, a complexidade de um recurso é proporcional ao valor absoluto de seu peso.

A regularização L2 força os pesos para zero, mas não os torna exatamente zero. A regularização L2 atua como uma força que remove uma pequena porcentagem de pesos em cada iteração. Portanto, os pesos nunca serão iguais a zero.

A regularização L2 penaliza (peso) ²

Existe um parâmetro adicional para ajustar o termo de regularização L2, que é chamado de taxa de regularização (lambda). A taxa de regularização é escalar e multiplicada pelo termo de regularização L2.

Observação: é importante escolher um valor ideal para lambda. O objetivo da regularização L2 é a simplicidade. No entanto, se lambda for muito alto, o modelo se torna muito simples e, portanto, provavelmente não é adequado. Por outro lado, se lambda for muito baixo, o efeito da regulatização torna-se desprezível e o modelo provavelmente se ajustará demais. Se lambda for definido como zero, a regularização será completamente removida (alto risco de sobreajuste!).

Nota: A regressão Ridge usa a regularização L2, enquanto a regressão Lasso usa a regularização L1. A regressão da rede elástica combina a regularização L1 e L2.

Conclusão

O overfitting é um problema crucial para modelos de aprendizado de máquina e precisa ser tratado com cuidado. Nós construímos modelos de aprendizado de máquina usando os dados que já conhecemos, mas os experimentamos ou testamos em dados novos e nunca vistos. Queremos que o modelo aprenda as tendências nos dados de treinamento, mas, ao mesmo tempo, não queremos que o modelo se concentre muito nos dados de treinamento. O sucesso de um modelo depende de encontrar o ponto ideal entre overfitting e underfitting.

Obrigado por ler. Por favor, deixe-me saber se você tem algum feedback.