La probabilidad es el lenguaje con el que una red neuronal expresa su incertidumbre. Cuando una red clasifica una imagen, no responde con un sí rotundo, sino con una distribución: 80 % gato, 15 % perro, 5 % otros. Entender esa distribución, el valor que esperamos de ella y cómo medir si el modelo acierta te permite comprender de dónde salen la softmax y la entropía cruzada. Esta guía recorre esas nociones desde cero. La misma explicación está disponible en inglés.

Fórmula clave $\mathbb{E}[X] = \sum_i x_i\,P(x_i)$

Puntos clave

  • La probabilidad en redes neuronales describe la incertidumbre: cada salida es una distribución sobre los resultados posibles, no un único número.
  • Una distribución de probabilidad asigna a cada resultado un peso entre 0 y 1, y todos esos pesos suman exactamente 1.
  • El valor esperado $\mathbb{E}[X] = \sum_i x_i\,P(x_i)$ promedia los resultados ponderando cada uno por su probabilidad.
  • La función softmax convierte las puntuaciones de la red en una distribución categórica válida, lista para interpretarse como probabilidades.
  • La máxima verosimilitud es el principio que justifica la entropía cruzada: entrenar es hacer más probables los datos observados.

Probabilidad, distribuciones y valor esperado

Una probabilidad es un número entre 0 y 1 que mide cuán creíble es un suceso: 0 es imposible y 1 es seguro. Cuando lanzamos un dado justo, cada cara tiene probabilidad 1/6, es decir, alrededor de 0,167. El conjunto de todas esas probabilidades forma una distribución, y su regla de oro es que la suma de todos los casos vale 1.

El valor esperado resume una distribución en un solo número. Se calcula como $\mathbb{E}[X] = \sum_i x_i\,P(x_i)$, la suma de cada resultado multiplicado por su probabilidad. Para el dado, el valor esperado es (1+2+3+4+5+6)/6 = 3,5, aunque el 3,5 nunca aparezca en una tirada real. En una red neuronal, esta misma idea aparece cuando promediamos el error sobre muchos ejemplos: la función de pérdida es, en el fondo, un valor esperado. El libro Deep Learning[1] dedica su capítulo 3 precisamente a estas bases antes de construir cualquier modelo.

Cuando una red predice, casi siempre trabajamos con probabilidad condicional: $P(y \mid x)$, la probabilidad de la etiqueta $y$ dado el dato de entrada $x$. Ese símbolo es el corazón de la clasificación supervisada.

Distribuciones categóricas y softmax

Cuando el problema tiene varias clases (gato, perro, pájaro), la salida es una distribución categórica: un vector de probabilidades, una por clase, que suma 1. El problema es que la última capa de la red produce números sin restricciones, llamados logits, que pueden ser negativos o mayores que 1.

La función softmax resuelve ese desajuste. Toma el vector de logits $z = Wx + b$ y lo transforma exponenciando cada componente y dividiendo por la suma total, de modo que el resultado siempre es positivo y suma 1. Si los logits son 2,0, 1,0 y 0,1, la softmax devuelve aproximadamente 0,66, 0,24 y 0,10: una distribución legítima. Lo explicamos con detalle en la función softmax, pieza clave para la clasificación multiclase.

Verosimilitud y máxima verosimilitud

La verosimilitud (en inglés, likelihood) le da la vuelta a la pregunta habitual. En lugar de preguntar qué probabilidad tiene un dato, pregunta: dado un conjunto de datos observados, ¿cómo de bien los explica este modelo con estos pesos? La verosimilitud es la probabilidad que el modelo asigna a los datos reales.

El principio de máxima verosimilitud dice que los mejores pesos son los que hacen más probables los datos observados. Como multiplicar muchas probabilidades pequeñas da números diminutos, trabajamos con el logaritmo: maximizar la log-verosimilitud es equivalente y numéricamente estable. Por convención, en optimización preferimos minimizar, así que minimizamos la log-verosimilitud negativa. Como resume el libro Mathematics for Machine Learning[2]: «la estimación por máxima verosimilitud busca los parámetros del modelo que maximizan la probabilidad de los datos observados».

Multiplicar muchas probabilidades pequeñas produce números diminutos y numéricamente inestables. Por eso trabajamos con el logaritmo: convierte el producto $\prod_i P(y_i \mid x_i)$ en la suma $\sum_i \log P(y_i \mid x_i)$, mucho más manejable y con el mismo máximo.

Relación con las funciones de pérdida

Aquí se cierra el círculo. Minimizar la log-verosimilitud negativa de una distribución categórica es exactamente calcular la entropía cruzada entre la predicción de la red y la etiqueta correcta. Dicho de otro modo, la pérdida de entropía cruzada que usamos a diario para clasificar no es una elección arbitraria: sale directamente del principio de máxima verosimilitud.

Ver la derivación: de la verosimilitud a la entropía cruzada

La verosimilitud de un conjunto de datos independientes es el producto de las probabilidades que el modelo asigna a cada etiqueta correcta: $\prod_i P(y_i \mid x_i)$. Tomando el logaritmo negativo, el producto se convierte en suma: $-\log \prod_i P(y_i \mid x_i) = -\sum_i \log P(y_i \mid x_i)$. Ese último término es exactamente la entropía cruzada entre la distribución predicha y la etiqueta real, de ahí que minimizar la log-verosimilitud negativa equivalga a minimizar la entropía cruzada.

El flujo completo encaja así: la red produce logits, la softmax los convierte en probabilidades $P(y \mid x)$, la entropía cruzada mide cuánto se aleja esa distribución de la respuesta correcta, y el descenso de gradiente ajusta los pesos $W$ para reducir esa pérdida. La probabilidad no es un añadido: es lo que da sentido a toda la función objetivo. La entropía cruzada[3] mide, en bits o nats, la distancia entre dos distribuciones.

Ejemplos

Un ejemplo numérico ayuda a fijar las ideas. Supongamos una red que clasifica entre 3 clases y, para una imagen de gato (clase correcta), predice la distribución 0,7, 0,2 y 0,1. La pérdida de entropía cruzada es simplemente el logaritmo negativo de la probabilidad asignada a la clase correcta: -ln(0,7) ≈ 0,357. Si la red hubiera estado más segura, con 0,95 en la clase correcta, la pérdida bajaría a -ln(0,95) ≈ 0,051, casi siete veces menor. Y si se hubiera equivocado con 0,1, la pérdida subiría a -ln(0,1) ≈ 2,303. Así, la pérdida castiga con fuerza la confianza mal puesta.

Un segundo ejemplo, el valor esperado de una apuesta: si ganas 10 euros con probabilidad 0,3 y pierdes 3 euros con probabilidad 0,7, el valor esperado es

$$\mathbb{E}[X] = 10 \times 0{,}3 + (-3) \times 0{,}7 = 0{,}9 \text{ euros por jugada.}$$

La misma cuenta, $\mathbb{E}[X] = \sum_i x_i\,P(x_i)$, es la que promedia la pérdida sobre un lote de entrenamiento.

Preguntas frecuentes

¿Qué diferencia hay entre probabilidad y verosimilitud?

La probabilidad fija el modelo y pregunta cuán probables son los datos; la verosimilitud fija los datos y pregunta cuán buenos son los parámetros del modelo. Numéricamente usan la misma fórmula, pero cambia qué mantenemos fijo y qué variamos. Entrenar una red es un ejercicio de verosimilitud: buscamos los pesos que mejor explican los ejemplos.

¿Por qué se usa softmax antes de la entropía cruzada?

Porque la softmax garantiza que las salidas sean una distribución válida (positivas y que sumen 1), y la entropía cruzada solo tiene sentido entre distribuciones. Juntas forman el bloque estándar de clasificación: softmax para producir $P(y \mid x)$ y entropía cruzada para medir el error frente a la etiqueta real.

¿Necesito saber estadística avanzada para entrenar redes?

No. Con entender qué es una distribución, el valor esperado y la idea de verosimilitud cubres el 90 % de lo que necesitas. Los conceptos avanzados (distribuciones continuas, inferencia bayesiana) enriquecen la intuición, pero no son imprescindibles para empezar a clasificar con redes neuronales.

Conclusión

La probabilidad da a las redes neuronales su vocabulario de incertidumbre: distribuciones para describir lo posible, valor esperado para promediarlo y verosimilitud para medir el ajuste. De esas tres nociones brotan la softmax y la entropía cruzada, dos herramientas que usarás en casi cualquier clasificador. El siguiente paso natural es ver cómo el mapa de las matemáticas de las redes neuronales conecta esta pieza con el álgebra lineal y el cálculo.

Fuentes

  1. Deep Learning
  2. Mathematics for Machine Learning
  3. entropía cruzada
  4. Neural Networks and Deep Learning (Michael Nielsen)

Ruta: Fundamentos matemáticos de las redes neuronales