Derivadas, la tasa de cambio que enseña a la red
Índice de contenidos
Una derivada mide la tasa de cambio de una función: cuánto responde su salida cuando movemos la entrada un poquito. Esa idea, que parece un tecnicismo de bachillerato, es exactamente lo que permite que una red neuronal aprenda. Cuando la red se equivoca, la derivada le indica en qué dirección y con qué intensidad corregir cada peso. Sin derivadas no habría descenso de gradiente ni retropropagación, y sin ellos no existiría el aprendizaje profundo. La misma explicación está disponible en inglés.
Puntos clave
- Una derivada mide la tasa de cambio instantánea de una función: el límite del cociente
[f(x+h) − f(x)]/hcuandohtiende a 0. - Geométricamente, la derivada en un punto es la pendiente de la recta tangente a la curva en ese punto.
- En una red neuronal, la derivada de la pérdida respecto a cada peso indica cómo cambiar ese peso para reducir el error.
- El descenso de gradiente usa esas derivadas para dar pasos pequeños, escalados por la tasa de aprendizaje
η, en la dirección que baja la pérdida. - Newton y Leibniz formalizaron el cálculo en el siglo XVII; hoy las mismas reglas ajustan miles de millones de parámetros.
¿Qué mide una derivada?
Imagina una función f que recibe un número x y devuelve otro número. La derivada responde a una pregunta muy concreta: si aumento x una cantidad diminuta, ¿cuánto cambia f(x)? La respuesta es un cociente entre el cambio de salida y el cambio de entrada, medido en el límite en que ese cambio se hace infinitamente pequeño.
Formalmente, la derivada se define como f'(x) = lim(h→0) [f(x+h) − f(x)]/h. El numerador es cuánto sube o baja la función; el denominador, h, es lo que hemos movido la entrada. Al hacer que h tienda a 0 obtenemos la tasa de cambio exacta en el punto x, y no un promedio sobre un intervalo. El libro Deep Learning[1] lo resume así: la derivada «especifica cómo escalar un pequeño cambio en la entrada para obtener el cambio correspondiente en la salida».
Interpretación como pendiente
La forma más intuitiva de ver una derivada es como una pendiente. Si dibujas la curva de f y trazas la recta tangente en un punto, la derivada es la inclinación de esa recta: cuántas unidades sube por cada unidad que avanza a la derecha. Una derivada positiva significa que la función crece; una negativa, que decrece; un valor de 0 marca un punto llano, como la cima de una colina o el fondo de un valle.
El signo de la derivada dice hacia dónde ir: positiva, la función sube; negativa, baja; y un valor de 0 marca un punto llano. El entrenamiento busca justamente ese 0, el fondo del valle donde el error es mínimo.
Ese último caso es el que persigue el entrenamiento: buscamos el fondo del valle de la función de pérdida, donde la derivada vale 0 y el error es mínimo. Khan Academy[2] desarrolla esta interpretación con animaciones interactivas que ayudan a fijar la intuición.
Notación
Conviven varias notaciones para lo mismo, y conviene reconocerlas todas. La notación de Lagrange escribe f'(x) (se lee «f prima de x»). La de Leibniz escribe dy/dx, que recuerda el cociente de un cambio diminuto en y entre un cambio diminuto en x. Cuando una función depende de varias variables, usamos derivadas parciales, con el símbolo ∂: ∂L/∂W es la derivada de la pérdida L respecto a un peso W, manteniendo el resto constante.
El vector que agrupa todas las derivadas parciales se llama gradiente y se denota con ∇. En una red, ∇L reúne la derivada de la pérdida respecto a cada uno de los pesos, y es la brújula que guía el aprendizaje. La Wikipedia[3] recoge estas notaciones y su historia con detalle.
Por qué importan en redes neuronales
Una red neuronal calcula z = Wx + b y luego una activación a = f(z), capa tras capa, hasta producir una predicción. Comparando esa predicción con la respuesta correcta obtenemos la pérdida L. Entrenar la red consiste en cambiar los pesos W y los sesgos b para que L sea lo más pequeña posible.
¿Cómo sabemos hacia dónde mover cada peso? Con su derivada. La derivada ∂L/∂W dice cuánto sube la pérdida si ese peso sube un poco. Si la derivada es positiva, bajamos el peso; si es negativa, lo subimos. El descenso de gradiente formaliza esa regla: W ← W − η · ∂L/∂W, donde η es la tasa de aprendizaje, un número pequeño como 0,1 o 0,01 que controla el tamaño del paso. Como una red encadena muchas funciones, la regla de la cadena reparte esas derivadas capa por capa: eso es la retropropagación. Encontrarás el recorrido completo en el mapa de las matemáticas de las redes neuronales.
Ejemplos
Nada fija mejor la idea que calcular a mano. Para f(x) = x², la regla de la potencia da f'(x) = 2x. En el punto x = 3, la pendiente vale 2 · 3 = 6: la función sube seis unidades por cada unidad que avanzamos allí. En x = 0 la derivada es 0, el fondo de la parábola.
Ver la derivación de la derivada de x² desde el límite
Partimos de la definición: $f'(x) = \lim_{h \to 0} \frac{(x+h)^2-x^2}{h}$. Desarrollamos el numerador: $(x+h)^2-x^2 = x^2+2xh+h^2-x^2 = 2xh+h^2$. Dividimos entre $h$: $\frac{2xh+h^2}{h} = 2x+h$. Al hacer $h \to 0$ desaparece el último término y queda $f'(x) = 2x$.
Un segundo ejemplo, más cercano a una red: la función sigmoide σ(z) tiene una derivada especialmente cómoda, σ'(z) = σ(z)·(1 − σ(z)), cuyo valor máximo es 0,25 en z = 0. Esa forma explica por qué las sigmoides saturan y frenan el aprendizaje cuando z es muy grande o muy pequeño. El texto Neural Networks and Deep Learning[4] muestra este cálculo dentro de la retropropagación paso a paso.
Preguntas frecuentes
¿Cuál es la diferencia entre derivada y pendiente?
Son casi lo mismo: la derivada en un punto es la pendiente de la recta tangente a la curva en ese punto. La diferencia es que «pendiente» suele referirse a una recta entera, mientras que la derivada mide la inclinación local, que puede cambiar de un punto a otro a lo largo de una curva.
¿Qué es una derivada parcial?
Es la derivada de una función de varias variables respecto a una sola de ellas, tratando las demás como constantes. En una red neuronal usamos derivadas parciales porque la pérdida depende de miles o millones de pesos a la vez, y necesitamos saber cómo influye cada uno por separado.
¿Por qué se usa un límite en la definición?
Porque queremos la tasa de cambio en un instante, no un promedio. El cociente [f(x+h) − f(x)]/h da un cambio medio sobre un intervalo de tamaño h; al hacer que h tienda a 0, ese promedio se convierte en la tasa exacta en el punto.
Conclusión
Una derivada no es más que una tasa de cambio: cuánto se mueve la salida cuando movemos la entrada. Vista como pendiente, nos dice hacia dónde y con qué fuerza corregir. Esa señal, multiplicada por la tasa de aprendizaje y repartida con la regla de la cadena, es lo que convierte una red neuronal en un sistema que aprende. El siguiente paso natural es ver cómo esas derivadas se combinan en el mapa de las matemáticas de las redes neuronales.
