Qué hace que un modelo se sobreajuste y cómo podemos resolver este problema

Todos tenemos esos amigos que cuentan historias con un detalle insoportable. Cuando les preguntas sobre una película que vieron recientemente, es posible que acabes aprendiendo no solo sobre la película, sino también sobre el reloj del tipo que vende palomitas de maíz en el cine. Por otro lado, tenemos amigos poco comunicativos que simplemente te dirían que la película era "buena" o "mala".

El sobreajuste y el desajuste son similares a esos diferentes tipos de amigos en términos de la cantidad de detalles. Un modelo de aprendizaje automático sobreajustado intenta recoger detalles sobre los datos de entrenamiento, mientras que uno deficiente es demasiado general y tiende a perder tendencias importantes en los datos de entrenamiento.

Un ejemplo más parecido al aprendizaje automático sería predecir el objeto en una imagen. Supongamos que estamos tratando de construir un modelo que prediga tomates en imágenes:

• Modelo A: rojo, círculo, forma de estrella verde en la parte superior, algunas gotas de agua
• Modelo B: rojo, círculo

Por otro lado, el modelo B piensa que todo lo que es rojo y tiene forma de círculo es un tomate, lo cual no es cierto. Este modelo es demasiado general, no puede detectar características críticas de los tomates. Está desajustado .

Estos ejemplos no son exactamente cómo un modelo de aprendizaje automático aprende y predice, sino que brindan una descripción general del sobreajuste y el desajuste. En esta publicación, cubriré los siguientes conceptos en detalle:

• Sesgo y varianza
• Sobreajuste y desajuste
• Regularización

El sesgo y la variación son esenciales para comprender el sobreajuste y el desajuste.

El sesgo es una medida de qué tan lejos está la predicción promedio de los valores reales. El sesgo surge si intentamos modelar una relación compleja con un modelo muy simple. Las predicciones de un modelo con alto sesgo son muy similares. Dado que no es sensible a las variaciones dentro de los datos, la precisión del modelo es muy baja tanto en los datos de entrenamiento como en los datos de prueba (datos nunca antes vistos).

Los puntos azules son las observaciones en el conjunto de entrenamiento y la línea roja es nuestro modelo sesgado que no se preocupa por las fluctuaciones dentro de las dos características de las observaciones y hace la misma predicción.

La varianza es lo opuesto al sesgo en términos de ser sensible a los cambios dentro de los datos. Un modelo con una gran variación es muy sensible incluso a pequeños cambios dentro de los datos de entrenamiento. Intenta captar cada pequeño detalle y, por lo tanto, los cambios muy pequeños en los datos de entrenamiento también cambian el modelo. Los modelos con alta varianza también tienden a capturar ruido en los datos. Un valor atípico estaría en el alcance del modelo.

Como puede ver, el modelo intenta ajustarse de acuerdo con todas las variaciones dentro de los datos. Las predicciones de un modelo con alta varianza están muy extendidas. Está claro que este modelo tiene una precisión muy alta en el conjunto de entrenamiento. Sin embargo, funcionará mal en observaciones nuevas, nunca antes vistas.

Los modelos de aprendizaje automático están diseñados para funcionar con observaciones nunca antes vistas, por lo que los modelos con altas variaciones no son aceptables. Tampoco podemos confiar en modelos con un alto sesgo. Por lo tanto, es crucial encontrar la línea entre sesgo y varianza. Siempre existe una compensación entre sesgo y varianza. Podemos encontrar fácilmente un modelo con alto sesgo y baja varianza o bajo sesgo y alta varianza. Sin embargo, el éxito de su modelo depende de encontrar la forma óptima entre el sesgo y la varianza. Por ejemplo, el siguiente modelo parece un buen ajuste.

Sobreajuste y desajuste

• Un modelo con alto sesgo tiende a no encajar.
• Un modelo con una gran variación tiende a sobreajustarse.

En una tarea de aprendizaje supervisada, podemos detectar el sobreajuste comparando la precisión del modelo en los conjuntos de datos de entrenamiento y prueba. Si la precisión en el conjunto de datos de entrenamiento (observaciones que el modelo ve) es mucho mayor que la precisión en el conjunto de datos de prueba (observaciones no vistas), entonces el modelo está sobreajustado.

La pérdida es proporcional a la diferencia entre el valor objetivo real y el valor predicho. Un modelo de aprendizaje supervisado realiza varias iteraciones para minimizar esta pérdida actualizando los pesos de las características. Sin embargo, después de algún momento, el modelo se comporta de manera diferente en los datos de prueba y entrenamiento. La pérdida sigue disminuyendo en los datos de entrenamiento, pero comienza a aumentar en los datos de prueba después de cierto punto. Es crucial detectar este punto para crear un modelo de aprendizaje automático excepcional.

El sobreajuste es un problema en serie para los modelos de aprendizaje automático, pero ¿cómo evitamos que un modelo se sobreajuste? La respuesta es la regularización.

Regularización

La principal razón del sobreajuste es hacer un modelo más complejo de lo necesario. Si encontramos una manera de reducir la complejidad, entonces se resuelve el problema de sobreajuste.

La regularización penaliza los modelos complejos.

La regularización agrega penalización por términos más altos en el modelo y, por lo tanto, controla la complejidad del modelo. Si se agregan términos de regularización, el modelo intenta minimizar tanto la pérdida como la complejidad del modelo.

La regularización reduce la varianza pero no provoca un aumento notable del sesgo.

Dos métodos comunes de regularización son la regularización L1 y L2. La complejidad de un modelo depende de:

• Número total de funciones (gestionadas por la regularización L1), o
• Los pesos de las características (manejados por la regularización L2)

También se le llama regularización por escasez. Como sugiere el nombre, se usa para manejar vectores dispersos. Si tenemos un espacio vectorial de características de alta dimensión, el modelo se vuelve muy difícil de manejar.

La regularización L1 fuerza a que los pesos de las características no informativas sean cero. La regularización L1 actúa como una fuerza que resta una pequeña cantidad del peso en cada iteración y, por lo tanto, hace que el peso sea cero, eventualmente.

La regularización L1 penaliza | peso |.

Regularización L2

También se le llama regularización por simplicidad. Si tomamos la complejidad del modelo en función de los pesos, la complejidad de una característica es proporcional al valor absoluto de su peso.

La regularización L2 fuerza los pesos hacia cero, pero no los convierte en exactamente cero. La regularización L2 actúa como una fuerza que elimina un pequeño porcentaje de pesos en cada iteración. Por lo tanto, los pesos nunca serán iguales a cero.

La regularización L2 penaliza (peso) ²

Hay un parámetro adicional para ajustar el término de regularización L2 que se llama tasa de regularización (lambda). La tasa de regularización es un escalar y se multiplica por el término de regularización L2.

Nota: Es importante elegir un valor óptimo para lambda. El objetivo de la regularización L2 es la simplicidad. Sin embargo, si lambda es demasiado alta, el modelo se vuelve demasiado simple y, por lo tanto, es probable que no se ajuste. Por otro lado, si lambda es demasiado baja, el efecto de la regulación se vuelve insignificante y es probable que el modelo se sobreajuste. Si lambda se establece en cero, la regularización se eliminará por completo (¡alto riesgo de sobreajuste!).

Nota: La regresión Ridge usa regularización L2 mientras que la regresión Lasso usa regularización L1. La regresión neta elástica combina la regularización L1 y L2.

Conclusión

El sobreajuste es un tema crucial para los modelos de aprendizaje automático y debe manejarse con cuidado. Creamos modelos de aprendizaje automático utilizando los datos que ya conocemos, pero los probamos o probamos con datos nuevos que nunca antes se habían visto. Queremos que el modelo aprenda las tendencias en los datos de entrenamiento pero, al mismo tiempo, no queremos que el modelo se centre demasiado en los datos de entrenamiento. El éxito de un modelo depende de encontrar el punto óptimo entre el sobreajuste y el desajuste.

Gracias por leer. Por favor, avíseme si tiene algún comentario.