Qué es una función de pérdida y una función de coste

Una función de pérdida pone un número al error de una predicción: cuánto se aleja lo que la red dice de lo que debería decir. La función de coste toma ese número y lo promedia sobre todos los ejemplos de entrenamiento. Con esa única cifra, la red sabe si va bien o mal y en qué dirección corregir sus pesos. Entender la diferencia entre pérdida y coste, y saber cuál elegir, es la base de todo el entrenamiento. La misma explicación está disponible en inglés.

Puntos clave

• Una función de pérdida mide el error en un solo ejemplo; la función de coste promedia esa pérdida sobre todo el conjunto de datos.
• El objetivo del entrenamiento es un único número: minimizar el coste ajustando los pesos con el descenso de gradiente.
• Para regresión, la elección habitual es el error cuadrático medio; para clasificación, la entropía cruzada.
• La pérdida tiene que ser derivable, porque el aprendizaje necesita su gradiente para saber hacia dónde moverse.
• Elegir mal la pérdida hace que la red optimice el objetivo equivocado, por muy buena que sea la arquitectura.

Qué mide una función de pérdida

Imagina que una red predice el precio de un piso en 200.000 euros y el precio real era 250.000. El error es de 50.000 euros. Una función de pérdida convierte esa distancia en un número que el entrenamiento pueda usar. En notación compacta se escribe $L(\hat{y}, y)$, donde $\hat{y}$ es la predicción de la red y $y$ el valor correcto.

Ese número tiene dos propiedades importantes. La primera es que vale 0 cuando el acierto es perfecto y crece a medida que la predicción se aleja. La segunda es que debe ser derivable: el entrenamiento calcula su gradiente para saber cómo cambiar cada peso. Una pérdida que no se pueda derivar deja a la red sin brújula. Como recoge la Wikipedia sobre la función de pérdida^[1], toda la estadística de decisión se construye sobre esta idea de penalizar los errores.

La forma exacta de la penalización importa. Elevar el error al cuadrado castiga mucho más los fallos grandes que los pequeños, mientras que usar el valor absoluto los trata de forma proporcional. Esa decisión cambia lo que la red aprende a priorizar.

Pérdida frente a coste

Los dos términos se usan casi como sinónimos, pero conviene separarlos. La pérdida es el error de un único ejemplo: una predicción, una respuesta. El coste es la media de la pérdida sobre un lote o sobre todo el conjunto de entrenamiento. Si tienes 1.000 ejemplos, calculas 1.000 pérdidas y las promedias en una sola cifra de coste:

$$J = \frac{1}{n}\sum_{i=1}^{n} L(\hat{y}_i, y_i)$$

Muchos autores llaman a esa media función objetivo, porque es literalmente el objetivo que la optimización intenta minimizar. La distinción no es pedante: el descenso de gradiente trabaja sobre el coste, no sobre una pérdida suelta, y por eso el tamaño del lote afecta a la estabilidad del entrenamiento. Un lote de 32 ejemplos da un coste más ruidoso que uno de 512, pero también más barato de calcular.

Regresión frente a clasificación

El tipo de problema decide la familia de pérdida. En regresión predecimos un número continuo (un precio, una temperatura), y la referencia es el error cuadrático medio, que estudiamos en detalle en el error cuadrático medio. Su fórmula promedia el cuadrado de las diferencias entre predicción y valor real:

$$\mathrm{MSE} = \frac{1}{n}\sum_{i=1}^{n}(\hat{y}_i – y_i)^2$$

En clasificación predecimos una categoría (spam o no, perro o gato), y la salida se interpreta como una probabilidad entre 0 y 1. Aquí la pérdida de referencia es la entropía cruzada, que penaliza con dureza la confianza equivocada: si la red asigna una probabilidad de $0{,}01$ a la clase correcta, la pérdida se dispara. La documentación de PyTorch sobre funciones de pérdida^[2] ofrece más de veinte variantes, pero casi todo el trabajo real se hace con estas dos familias.

Cómo guía el entrenamiento

La pérdida no es un diagnóstico pasivo, sino el motor del aprendizaje. El ciclo es siempre el mismo: la red hace una predicción hacia delante, la función de coste mide el error, y la retropropagación calcula el gradiente de ese coste respecto a cada peso. Después, el descenso de gradiente da un pequeño paso en la dirección que reduce el coste.

Ese paso se controla con la tasa de aprendizaje, un valor típico de $0{,}01$ que decide cuánto se mueven los pesos en cada iteración. Repetido miles de veces sobre lotes de datos, el coste baja y la red mejora. Como resumen Goodfellow, Bengio y Courville en su libro de referencia, «cualquier pérdida que consista en una log-verosimilitud negativa es una entropía cruzada entre la distribución empírica de los datos y la distribución que define el modelo». Ese vínculo con la probabilidad, que preparamos en las nociones de probabilidad, es lo que da fundamento teórico a la entropía cruzada.

Las pérdidas más usadas

Estas son las que aparecen una y otra vez en la práctica:

• Error cuadrático medio (MSE): regresión estándar; eleva las diferencias al cuadrado.
• Error absoluto medio (MAE): regresión más robusta frente a valores atípicos.
• Entropía cruzada binaria: clasificación de dos clases con salida sigmoide.
• Entropía cruzada categórica: clasificación de varias clases con salida softmax.
• Huber: un híbrido que combina MSE cerca del acierto y MAE en los errores grandes.

La elección no es un detalle menor. Herramientas como scikit-learn^[3] documentan decenas de métricas de evaluación, pero la pérdida que se minimiza durante el entrenamiento debe encajar con la naturaleza del problema y con la función de activación de la última capa.

Preguntas frecuentes

¿Cuál es la diferencia entre función de pérdida y función de coste?

La función de pérdida mide el error en un solo ejemplo, mientras que la función de coste es la media de esa pérdida sobre un lote o sobre todo el conjunto de datos. El entrenamiento minimiza el coste, no una pérdida individual.

¿Qué función de pérdida debo usar?

Depende del problema. Para regresión (predecir un número) el punto de partida es el error cuadrático medio. Para clasificación (predecir una categoría) la elección estándar es la entropía cruzada, combinada con una salida sigmoide o softmax.

¿Por qué la pérdida tiene que ser derivable?

Porque el aprendizaje se basa en el descenso de gradiente, que necesita la derivada de la pérdida respecto a cada peso para saber en qué dirección corregir. Sin gradiente, la red no tendría forma de mejorar de manera sistemática.

Conclusión

La función de pérdida y la función de coste son la vara de medir del aprendizaje profundo: la primera juzga una predicción, la segunda resume el rendimiento sobre los datos y marca el número que hay que reducir. Elegir la pérdida adecuada (MSE para regresión, entropía cruzada para clasificación) alinea a la red con el problema real. El siguiente paso natural es ver cómo ese número se minimiza en el mapa de las matemáticas de las redes neuronales.

Fuentes

1. Wikipedia sobre la función de pérdida
2. PyTorch sobre funciones de pérdida
3. scikit-learn
4. Deep Learning (Goodfellow, Bengio y Courville)

Ruta: Funciones de pérdida en redes neuronales