Ruta de aprendizaje Intermedio
Funciones de pérdida en redes neuronales
Cómo se mide el error de una red: MSE, MAE y Huber para regresión; entropía cruzada binaria y categórica para clasificación; entropía, divergencia KL y la regularización L1/L2.
- 7 recursos
- 1 visitas
- ~58 min
Esta ruta explica cómo una red neuronal convierte sus errores de predicción en un número que se puede derivar y minimizar: la función de pérdida. Está pensada para quien ya conoce los fundamentos de una red neuronal (capas, pesos, descenso de gradiente) y quiere entender qué ecuación gobierna realmente el entrenamiento.
Qué vas a poder hacer al terminar
Al final de la ruta sabrás elegir la función de pérdida adecuada según el problema (regresión o clasificación), leer su fórmula sin que resulte un muro de símbolos y entender por qué algunas opciones penalizan más los errores grandes que otras. Es una ruta de nivel intermedio: conviene llegar con la idea de gradiente y de red neuronal ya asentada.
Cómo se construye el recorrido
Empieza por distinguir la función de pérdida (un ejemplo) de la función de coste (el promedio sobre todo el dataset), la base sobre la que se apoya el resto. A partir de ahí entra en las pérdidas de regresión: el error cuadrático medio (MSE), y después el error absoluto medio (MAE) y la pérdida de Huber, que resuelve el problema de sensibilidad a valores atípicos que tiene el MSE. La ruta gira entonces hacia clasificación con la entropía cruzada binaria y su versión categórica para varias clases, apoyándose en un repaso de entropía y divergencia KL que explica de dónde sale esa fórmula. Cierra con la regularización L1 y L2, que no mide el error en sí sino que penaliza pesos grandes para evitar el sobreajuste.
Son las mismas funciones de pérdida que usan por defecto frameworks como PyTorch o Keras, así que entenderlas de memoria evita tratar el entrenamiento como una caja negra.
Qué es una función de pérdida y una función de coste
Una función de pérdida mide cuánto se equivoca una red neuronal en un solo ejemplo, comparando su predicción con el valor correcto. La función de coste promedia esa pérdida sobre todo el conjunto de datos. Ese número único es el que el entrenamiento intenta reducir paso a paso con el descenso de gradiente.
El error cuadrático medio (MSE) como función de pérdida
El error cuadrático medio (MSE) es la función de pérdida más común en regresión: promedia el cuadrado de la diferencia entre cada valor real y su predicción. Elevar al cuadrado castiga con fuerza los fallos grandes, hace la función derivable y fija un objetivo claro para el descenso de gradiente.
El error absoluto medio (MAE) y la pérdida de Huber
El error absoluto medio (MAE) promedia el valor absoluto de la diferencia entre predicción y realidad, así que un valor atípico pesa lo justo y no dispara la pérdida. La pérdida de Huber combina esa robustez con la suavidad del error cuadrático medio mediante un parámetro delta que decide dónde cambia de comportamiento.
La entropía cruzada binaria (binary cross-entropy)
La entropía cruzada binaria es la función de pérdida estándar para clasificar entre dos clases. Compara la probabilidad que devuelve la sigmoide con la etiqueta real, 0 o 1, y castiga con fuerza los fallos seguros. Su fórmula nace de la máxima verosimilitud y su derivada se combina con la sigmoide en un gradiente muy simple.
La entropía cruzada categórica (categorical cross-entropy)
La entropía cruzada categórica es la función de pérdida estándar para clasificar en varias clases mutuamente excluyentes. Compara la distribución que predice la red, normalmente tras una softmax, con la etiqueta real codificada en formato one-hot, y penaliza con fuerza asignar poca probabilidad a la clase correcta.
Entropía, entropía cruzada y divergencia KL
La entropía mide la incertidumbre media de una distribución en bits, la entropía cruzada mide el coste de codificar los datos reales con un modelo equivocado y la divergencia KL es la diferencia entre ambas. Por eso minimizar la entropía cruzada al entrenar equivale a minimizar la divergencia KL frente a las etiquetas.
La regularización L1 y L2 (weight decay) en la pérdida
La regularización L1 y L2 añade a la función de pérdida un término que penaliza los pesos grandes. La L2, o weight decay, encoge los pesos de forma suave hacia cero; la L1 los lleva exactamente a cero y produce modelos dispersos. Ambas reducen el sobreajuste y mejoran la capacidad de generalización de una red neuronal.