Funciones de pérdida en redes neuronales
Cómo se mide el error de una red: MSE, MAE y Huber para regresión; entropía cruzada binaria y categórica para clasificación; entropía, divergencia KL y la regularización L1/L2.
-
Qué es una función de pérdida y una función de coste
Una función de pérdida mide cuánto se equivoca una red neuronal en un solo ejemplo, comparando su predicción con el valor correcto. La función de coste promedia esa pérdida sobre todo el conjunto de datos. Ese número único es el que el entrenamiento intenta reducir paso a paso con el descenso de gradiente.
-
El error cuadrático medio (MSE) como función de pérdida
El error cuadrático medio (MSE) es la función de pérdida más común en regresión: promedia el cuadrado de la diferencia entre cada valor real y su predicción. Elevar al cuadrado castiga con fuerza los fallos grandes, hace la función derivable y fija un objetivo claro para el descenso de gradiente.
-
El error absoluto medio (MAE) y la pérdida de Huber
El error absoluto medio (MAE) promedia el valor absoluto de la diferencia entre predicción y realidad, así que un valor atípico pesa lo justo y no dispara la pérdida. La pérdida de Huber combina esa robustez con la suavidad del error cuadrático medio mediante un parámetro delta que decide dónde cambia de comportamiento.
-
La entropía cruzada binaria (binary cross-entropy)
La entropía cruzada binaria es la función de pérdida estándar para clasificar entre dos clases. Compara la probabilidad que devuelve la sigmoide con la etiqueta real, 0 o 1, y castiga con fuerza los fallos seguros. Su fórmula nace de la máxima verosimilitud y su derivada se combina con la sigmoide en un gradiente muy simple.
-
La entropía cruzada categórica (categorical cross-entropy)
La entropía cruzada categórica es la función de pérdida estándar para clasificar en varias clases mutuamente excluyentes. Compara la distribución que predice la red, normalmente tras una softmax, con la etiqueta real codificada en formato one-hot, y penaliza con fuerza asignar poca probabilidad a la clase correcta.
-
Entropía, entropía cruzada y divergencia KL
La entropía mide la incertidumbre media de una distribución en bits, la entropía cruzada mide el coste de codificar los datos reales con un modelo equivocado y la divergencia KL es la diferencia entre ambas. Por eso minimizar la entropía cruzada al entrenar equivale a minimizar la divergencia KL frente a las etiquetas.
-
La regularización L1 y L2 (weight decay) en la pérdida
La regularización L1 y L2 añade a la función de pérdida un término que penaliza los pesos grandes. La L2, o weight decay, encoge los pesos de forma suave hacia cero; la L1 los lleva exactamente a cero y produce modelos dispersos. Ambas reducen el sobreajuste y mejoran la capacidad de generalización de una red neuronal.