Toda red neuronal aprende derivando: necesita saber cómo cambia el error cuando mueve cada peso. Esas derivadas no salen de la nada, se obtienen aplicando un puñado de reglas de derivación que se estudian en el primer curso de cálculo. Dominar esas 5 o 6 reglas basta para seguir, paso a paso, cómo una red calcula su gradiente y ajusta sus pesos con el descenso de gradiente. Esta guía las repasa una a una con ejemplos. La misma explicación está disponible en inglés.

Fórmula clave $(fg)’ = f’g + fg’$

Puntos clave

  • Las reglas de derivación son fórmulas fijas que transforman una función en su derivada sin tener que recurrir cada vez al límite.
  • La regla de la potencia, la del producto y la del cociente cubren la mayoría de las expresiones algebraicas que aparecen en una neurona.
  • Las derivadas del exponencial y del logaritmo son las que sostienen funciones tan usadas como la sigmoide, la softmax y la entropía cruzada.
  • Estas reglas se combinan con la regla de la cadena para propagar el error capa por capa: eso es la retropropagación.
  • Con solo 6 reglas básicas puedes derivar a mano casi cualquier función de activación o de pérdida de una red pequeña.

Regla de la potencia

La primera y más usada. Si una función es una potencia, $f(x) = x^n$, su derivada es $f'(x) = nx^{n-1}$: se baja el exponente como coeficiente y se resta 1 al exponente.

$$\frac{d}{dx}\,x^n = nx^{n-1}$$

Así, la derivada de $x^2$ es $2x$, la de $x^3$ es $3x^2$ y la de $x^5$ es $5x^4$.

La regla funciona con cualquier exponente real, no solo con enteros. La raíz cuadrada es $x$ elevado a $0{,}5$, y su derivada es $0{,}5\,x^{-0{,}5}$. Una constante multiplicando se conserva, y la derivada de una suma es la suma de las derivadas, de modo que un polinomio se deriva término a término. Con esas 3 ideas juntas ya puedes derivar cualquier polinomio que aparezca dentro de una red. Puedes repasar el razonamiento completo en Khan Academy[1].

Regla del producto y del cociente

Cuando dos funciones se multiplican, no basta con multiplicar sus derivadas. La regla del producto dice que $(fg)’ = f’g + fg’$: se deriva la primera por la segunda sin derivar, más la primera sin derivar por la derivada de la segunda. Es la fórmula que aparece en la portada de este artículo y una de las que más se olvidan.

Para un cociente, la regla del cociente extiende la idea:

$$\left(\frac{f}{g}\right)’ = \frac{f’g-fg’}{g^2}$$

Aparece, por ejemplo, al derivar la función sigmoide, que es un cociente con un exponencial en el denominador. Si prefieres una demostración formal, la Wikipedia[2] recoge tanto la regla del producto como la del cociente con sus pruebas.

En la regla del cociente el orden importa: el numerador es $f’g-fg’$, no al revés. Invertir esos dos términos cambia el signo del resultado y es uno de los errores más frecuentes al derivar la sigmoide.

Derivadas de funciones comunes

Además de las potencias, conviene memorizar unas pocas derivadas de referencia porque salen una y otra vez:

  • La derivada de una constante es 0: una constante no cambia.
  • La derivada de $x$ es 1.
  • La derivada del seno es el coseno, y la del coseno es menos el seno.
  • La derivada de la función ReLU, $\max(0, x)$, es 1 cuando $x$ es positivo y 0 cuando es negativo.

Esa última es la razón por la que ReLU es tan cómoda en el aprendizaje profundo: su derivada es trivial de calcular, apenas un 1 o un 0, lo que acelera cada paso de entrenamiento frente a activaciones más costosas.

Derivada del exponencial y del logaritmo

Aquí están las dos derivadas que más importan en una red neuronal. La función exponencial $e^x$ es especial porque es su propia derivada: $(e^x)’ = e^x$. Esa propiedad es la que hace que la sigmoide y la softmax tengan gradientes tan limpios y baratos de calcular.

El logaritmo natural es su compañero: $(\ln x)’ = \dfrac{1}{x}$. Aparece siempre que una red usa la entropía cruzada como función de pérdida, porque esa pérdida se construye con logaritmos de probabilidades. Como recuerda el manual Deep Learning[3] de Goodfellow, Bengio y Courville, «la regla de la cadena del cálculo se usa para calcular las derivadas de funciones formadas al componer otras funciones cuyas derivadas se conocen». Exponencial, logaritmo y regla de la cadena juntos explican casi toda la maquinaria del entrenamiento.

Ejemplos aplicados

Veamos cómo encajan las piezas en una neurona. Una capa calcula $z = Wx+b$ y luego aplica una activación $a = f(z)$. Para entrenar necesitamos la derivada de $a$ respecto a $z$, y ahí entran estas reglas.

Si la activación es la sigmoide, $f(z) = \dfrac{1}{1 + e^{-z}}$, se combinan la regla del cociente y la del exponencial. El resultado es sorprendentemente simple: $f'(z) = f(z)\,(1-f(z))$. La derivada se expresa con la propia salida, así que la red la reutiliza sin recalcular nada.

Ver la derivación de la derivada de la sigmoide

Escribe la sigmoide como $f(z) = (1+e^{-z})^{-1}$ y aplica la regla de la cadena junto con $(e^{-z})’ = -e^{-z}$: $f'(z) = -(1+e^{-z})^{-2}\cdot(-e^{-z}) = \dfrac{e^{-z}}{(1+e^{-z})^2}$. Ahora reescribe $e^{-z} = (1+e^{-z})-1$ para separar la fracción: $f'(z) = \dfrac{1}{1+e^{-z}}\cdot\dfrac{(1+e^{-z})-1}{1+e^{-z}} = f(z)\,(1-f(z))$.

Con la pérdida ocurre lo mismo. Al derivar la entropía cruzada aplicas la derivada del logaritmo, $\dfrac{1}{x}$, y al propagar el error hacia atrás multiplicas todas estas derivadas siguiendo la regla de la cadena. Ese producto encadenado es el gradiente que el optimizador usa, con una tasa de aprendizaje $\eta$, para actualizar cada peso $W$. Para ver dónde encaja cada bloque, este artículo forma parte del mapa de las matemáticas de las redes neuronales.

Preguntas frecuentes

¿Cuántas reglas de derivación necesito para entender una red neuronal?

Con 6 basta: la de la potencia, la del producto, la del cociente, la del exponencial, la del logaritmo y la regla de la cadena. Con ellas puedes derivar a mano casi cualquier función de activación o de pérdida de una red pequeña.

¿Por qué la exponencial es tan importante en el aprendizaje profundo?

Porque e^x es su propia derivada, así que las funciones construidas con ella (la sigmoide y la softmax) tienen gradientes muy sencillos de calcular. Eso reduce el coste de cada paso de entrenamiento, algo decisivo cuando una red repite el cálculo millones de veces.

¿Qué relación hay entre estas reglas y la retropropagación?

La retropropagación no es más que aplicar la regla de la cadena de atrás hacia delante, multiplicando las derivadas locales de cada capa. Cada una de esas derivadas locales se obtiene con las reglas básicas que repasa esta guía.

Conclusión

Las reglas de derivación no son un obstáculo, sino un juego corto de fórmulas que abre la puerta a entender cómo aprende una red. La regla de la potencia, la del producto y el cociente, y las del exponencial y el logaritmo cubren casi todo lo que necesitas; la regla de la cadena las une. El siguiente paso natural es ver cómo se encadenan en la retropropagación dentro del mapa completo de las matemáticas.

Fuentes

  1. Khan Academy
  2. Wikipedia
  3. Deep Learning

Ruta: Fundamentos matemáticos de las redes neuronales