Dos funciones inversas, la exponencial eˣ y el logaritmo natural ln(x), sostienen buena parte de las matemáticas del aprendizaje profundo. La exponencial aparece cada vez que una red convierte números en probabilidades, dentro de la sigmoide y de la softmax. El logaritmo natural aparece en el lado opuesto, cuando medimos el error con la entropía cruzada. Entender bien estas dos piezas, y cómo se cancelan la una a la otra, aclara por qué las fórmulas de pérdida tienen la forma que tienen. La misma explicación está disponible en inglés.

Fórmula clave $e^x \quad \text{y} \quad \ln(x)$

Puntos clave

  • La exponencial y logaritmo natural son funciones inversas: ln(eˣ) = x y e^(ln x) = x, y esa relación es la que simplifica las derivadas del entrenamiento.
  • El número e ≈ 2,718 es la base natural porque la derivada de eˣ es la propia eˣ, algo que ninguna otra base cumple.
  • La exponencial construye la sigmoide y la softmax, que convierten puntuaciones arbitrarias en probabilidades entre 0 y 1.
  • El logaritmo natural define la entropía cruzada, la función de pérdida estándar para clasificar.
  • El truco log-sum-exp evita el desbordamiento numérico al calcular exponenciales de números grandes, un problema real en cualquier red.

El número e y la función exponencial

La función exponencial $e^x$ se define sobre el número $e \approx 2{,}718281828$, una constante irracional igual de fundamental que $\pi$. Su propiedad más útil para el aprendizaje profundo es sorprendente: la derivada de $e^x$ es otra vez $e^x$. Es la única función (salvo un factor constante) que es su propia derivada, y por eso el cálculo con exponenciales sale tan limpio.

Otras dos propiedades importan. La exponencial nunca es negativa: $e^x > 0$ para cualquier $x$, lo que la hace ideal para producir probabilidades. Y transforma sumas en productos, $e^{a+b} = e^a \cdot e^b$, una identidad que reaparece al derivar la softmax. Con valores concretos: $e^0 = 1$, $e^1 \approx 2{,}718$ y $e^{-1} \approx 0{,}368$. Cuando $x$ crece hacia infinito, $e^x$ dispara su valor, y cuando $x$ tiende a menos infinito, $e^x$ se acerca a 0 sin llegar nunca. Esa asimetría es la base de la curva en forma de S que estudiamos en la función sigmoide.

El logaritmo natural

El logaritmo natural $\ln(x)$ es la función inversa de la exponencial: deshace lo que $e^x$ hace. Si $y = e^x$, entonces $x = \ln(y)$. Por eso $\ln(e) = 1$, $\ln(1) = 0$ y $\ln$ solo acepta números positivos, justo el rango que produce la exponencial.

Su derivada también es notablemente simple: la derivada de $\ln(x)$ es $\frac{1}{x}$. Esta limpieza es la razón por la que el logaritmo natural, y no el logaritmo en base 10, es el que aparece en las funciones de pérdida. El logaritmo convierte productos en sumas, $\ln(a \cdot b) = \ln(a) + \ln(b)$, lo que permite transformar la multiplicación de muchas probabilidades pequeñas (que tiende a 0 y provoca errores de cálculo) en una suma estable de logaritmos. Ese cambio de producto a suma es el motivo por el que casi siempre trabajamos con la log-verosimilitud en lugar de con la verosimilitud directa.

Por qué aparecen en sigmoide, softmax y entropía cruzada

La sigmoide se define como

$$\sigma(z) = \frac{1}{1 + e^{-z}}$$

La exponencial del denominador es la que comprime cualquier número real al intervalo $(0, 1)$ para leerlo como una probabilidad. Su hermana para varias clases es la softmax,

$$\mathrm{softmax}(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}}$$

que exponencia cada puntuación y luego normaliza para que la suma dé 1. Aquí la positividad de la exponencial es clave: garantiza que ninguna probabilidad salga negativa.

El logaritmo entra al medir el error. La entropía cruzada para clasificación se escribe $L = -\sum_i y_i \ln(a_i)$, donde $a_i$ es la probabilidad que predice la red y $y_i$ la etiqueta real. Si la red asigna probabilidad 1 a la clase correcta, $\ln(1) = 0$ y la pérdida es cero; si asigna una probabilidad diminuta, el logaritmo se dispara y castiga con fuerza el fallo. La magia ocurre al combinar softmax con entropía cruzada: el logaritmo del numerador cancela la exponencial de la softmax, y el gradiente se reduce a la diferencia limpia $a_i-y_i$. Ese resultado, que conecta con el mapa de las matemáticas de las redes neuronales, es lo que hace tan eficiente entrenar clasificadores.

Cuando softmax y entropía cruzada actúan juntas, la exponencial y el logaritmo se cancelan y el gradiente se reduce a $a_i-y_i$: la diferencia entre lo predicho y lo real. Esa cancelación es la que hace el entrenamiento numéricamente estable y barato de calcular.

Estabilidad numérica (log-sum-exp)

Hay un problema práctico: $e^z$ con $z$ grande desborda la memoria. Con números de coma flotante de 64 bits, $e^{710}$ ya devuelve infinito, y una red puede generar fácilmente puntuaciones de ese tamaño. La solución es el truco log-sum-exp. Como resume el libro de referencia de Goodfellow, Bengio y Courville, «el softmax puede saturarse cuando las diferencias entre las entradas se vuelven extremas».

La idea es restar el máximo antes de exponenciar. En lugar de calcular $\sum_j e^{z_j}$ directamente, se calcula $m = \max(z)$ y luego $m + \ln!\left(\sum_j e^{z_j-m}\right)$. El resultado matemático es idéntico, pero ahora el mayor exponente es $e^0 = 1$, así que nunca hay desbordamiento. Toda librería seria (PyTorch, TensorFlow) implementa la softmax y la entropía cruzada de esta forma combinada y estable, en lugar de encadenar las dos operaciones por separado.

Ver por qué el truco no cambia el resultado

Partimos de $\ln\!\left(\sum_j e^{z_j}\right)$ y sacamos factor común $e^m$ dentro del sumatorio: $\sum_j e^{z_j} = \sum_j e^{m}\,e^{z_j-m} = e^{m}\sum_j e^{z_j-m}$. Tomando logaritmo y usando $\ln(a \cdot b) = \ln(a) + \ln(b)$: $\ln\!\left(\sum_j e^{z_j}\right) = m + \ln\!\left(\sum_j e^{z_j-m}\right)$. El valor es idéntico, pero el mayor exponente pasa a ser $e^0 = 1$.

Ejemplos

Un caso numérico ayuda a ver el mecanismo. Supongamos tres puntuaciones de salida $z = [2, 1, 0]$. Exponenciamos: $e^2 \approx 7{,}389$, $e^1 \approx 2{,}718$ y $e^0 = 1$. La suma es $11{,}107$, y las probabilidades softmax quedan aproximadamente $0{,}665$, $0{,}245$ y $0{,}090$, que suman 1. La clase con mayor puntuación se lleva la mayor probabilidad, como esperábamos.

Ahora la pérdida. Si la etiqueta correcta era la primera clase, la entropía cruzada vale $-\ln(0{,}665) \approx 0{,}408$. Si la red hubiera acertado con más confianza, digamos 0,95, la pérdida bajaría a $-\ln(0{,}95) \approx 0{,}051$. Y si se hubiera equivocado del todo, asignando 0,01 a la clase correcta, la pérdida subiría a $-\ln(0{,}01) \approx 4{,}605$. Ese contraste entre 0,05 y 4,6 muestra cómo el logaritmo natural amplifica el castigo de los errores graves sin necesidad de reglas artificiales.

Preguntas frecuentes

¿Por qué se usa el logaritmo natural y no el logaritmo en base 10?

Porque su derivada es 1/x, la más simple posible, y porque se cancela de forma exacta con la exponencial de la sigmoide y la softmax. Usar base 10 solo introduciría un factor constante de ln(10) ≈ 2,303 en todas las cuentas, sin ninguna ventaja.

¿Qué relación tienen exactamente la exponencial y el logaritmo?

Son funciones inversas: cada una deshace a la otra. Se cumple ln(eˣ) = x para todo x, y e^(ln y) = y para todo y positivo. Esa cancelación es la que simplifica los gradientes cuando softmax y entropía cruzada actúan juntas.

¿Es peligroso el desbordamiento de la exponencial en la práctica?

Sí, es un problema real. Sin el truco log-sum-exp, una puntuación de entrada mayor que unos 710 ya produce infinito en coma flotante de 64 bits y rompe el entrenamiento. Por eso las librerías implementan la softmax de forma numéricamente estable de fábrica.

Conclusión

La exponencial y el logaritmo natural no son adornos matemáticos, sino las dos caras de una misma moneda que recorre todo el aprendizaje profundo. La exponencial construye las probabilidades con la sigmoide y la softmax, el logaritmo las evalúa con la entropía cruzada, y su cancelación mutua es lo que hace elegante y eficiente el entrenamiento. El siguiente paso natural es repasar cómo encajan en la función softmax dentro de un clasificador completo.

Fuentes

  1. Deep Learning (Goodfellow, Bengio y Courville)
  2. Neural Networks and Deep Learning (Michael Nielsen)
  3. Función exponencial (Wikipedia)
  4. Entropía cruzada (Wikipedia)

Ruta: Fundamentos matemáticos de las redes neuronales