La tasa de aprendizaje decide cuánto se mueve una red neuronal en cada paso del entrenamiento. Es un solo número, casi siempre entre 0,001 y 0,1, y gobierna si el modelo converge, se estanca o diverge sin remedio. Afinarla bien suele importar más que cualquier otro hiperparámetro. Esta guía explica qué es, cómo afecta al aprendizaje y cómo elegir un valor razonable. Forma parte del recorrido de las matemáticas detrás de las redes neuronales y la misma explicación está disponible en inglés.

Fórmula clave $\mathbf{w} \leftarrow \mathbf{w}-\eta\cdot\nabla L$

Puntos clave

  • La tasa de aprendizaje ($\eta$) fija el tamaño del paso en la regla de actualización $\mathbf{w} \leftarrow \mathbf{w}-\eta\cdot\nabla L$.
  • Un valor demasiado alto hace que la pérdida oscile o diverja; uno demasiado bajo alarga el entrenamiento durante miles de iteraciones.
  • Para el optimizador Adam, 0,001 es el punto de partida habitual; para el descenso de gradiente estocástico, entre 0,1 y 0,01.
  • La forma práctica de encontrarla es probar en escala logarítmica (0,1, 0,01, 0,001) y comparar la curva de pérdida.
  • Los schedules ajustan $\eta$ a lo largo del entrenamiento: empiezan alto para avanzar rápido y bajan para afinar el resultado.

¿Qué es la tasa de aprendizaje?

Entrenar una red consiste en repetir un gesto muy simple: medir el error, calcular hacia dónde crece con el gradiente y dar un paso en dirección contraria. La tasa de aprendizaje es el número que multiplica ese paso. En la regla de actualización $\mathbf{w} \leftarrow \mathbf{w}-\eta\cdot\nabla L$, la letra griega $\eta$ (eta) es esa tasa: cuanto mayor sea, más largo es el salto que da cada peso $\mathbf{w}$ en contra del gradiente $\nabla L$.

Conviene verla como el tamaño de la zancada al bajar una montaña con niebla. El gradiente indica la pendiente bajo tus pies; la tasa de aprendizaje decide si avanzas con pasos cortos y seguros o con saltos grandes y arriesgados. Es un hiperparámetro, es decir, un valor que fijas antes de entrenar y que el modelo no aprende por sí mismo, a diferencia de los pesos. El mecanismo completo se explica en el descenso de gradiente.

Demasiado alta frente a demasiado baja

El equilibrio de $\eta$ se entiende mejor por sus dos extremos. Con una tasa demasiado alta, cada paso sobrepasa el punto que buscabas: la pérdida rebota de un lado a otro del valle e incluso crece hasta desbordarse (aparece NaN en el registro). Es el caso de la divergencia. Con una tasa demasiado baja ocurre lo contrario: el modelo avanza, pero tan despacio que necesitarías 10 o 100 veces más iteraciones para llegar al mismo sitio, y a menudo se queda atascado en una zona plana antes de tiempo.

Entre esos dos fracasos hay una franja amplia de valores que funcionan. Por eso el objetivo no es acertar el número perfecto, sino situarse dentro de esa franja. Un síntoma claro de tasa excesiva es una curva de pérdida que sube en las primeras iteraciones en lugar de bajar; un síntoma de tasa escasa es una curva casi horizontal que apenas mejora tras cientos de pasos.

Cómo elegir un buen valor

El método más fiable es un barrido en escala logarítmica: prueba 0,1, 0,01 y 0,001, observa la curva de pérdida de cada uno durante unas pocas épocas y quédate con el mayor valor que aún baje de forma estable. Existe una variante automatizada, el learning rate range test, que aumenta $\eta$ de forma gradual durante una época y localiza el punto en el que la pérdida empieza a dispararse. La documentación de Stanford CS231n[1] recoge estas heurísticas con ejemplos de curvas.

Como valores de partida razonables, Adam funciona bien alrededor de 0,001 (y el célebre 3e-4, es decir 0,0003, se ha vuelto casi un tópico entre profesionales), mientras que el descenso de gradiente estocástico con momento suele empezar en 0,1. El manual de referencia lo resume sin rodeos: «la tasa de aprendizaje es quizá el hiperparámetro más importante», según Goodfellow, Bengio y Courville en Deep Learning[2]. Si solo tienes tiempo de ajustar un valor, ajusta este.

Relación con la convergencia

La convergencia es el proceso por el que la pérdida se estabiliza cerca de un mínimo. La tasa de aprendizaje controla su velocidad y su estabilidad al mismo tiempo, y ahí está la tensión: subirla acelera el avance pero arriesga la estabilidad, y bajarla la garantiza pero ralentiza todo. En problemas convexos sencillos, la teoría fija una tasa máxima por encima de la cual el método deja de converger; en redes profundas, esa frontera no tiene fórmula cerrada y se busca de forma empírica.

Para una función convexa con gradiente $L$-Lipschitz, el descenso de gradiente converge solo si $\eta<2/L$; por encima de ese umbral cada paso amplía el error en lugar de reducirlo. En una red profunda no existe esa cota cerrada, y por eso la tasa se busca con un barrido empírico.

Una técnica habitual para no elegir entre las dos virtudes es el warmup: empezar con una $\eta$ muy pequeña durante los primeros cientos de pasos y subirla poco a poco, de modo que la red no se desestabilice cuando los pesos aún están recién inicializados. Sebastian Ruder mantiene una síntesis muy citada de estas ideas en su repaso de los métodos de optimización[3].

Anticipo de los schedules

Mantener $\eta$ constante durante todo el entrenamiento rara vez es lo óptimo. Los schedules (planificadores) cambian su valor con el tiempo: alto al principio para cubrir mucho terreno y bajo al final para asentarse en el mínimo. Los más comunes son la reducción por escalones (dividir $\eta$ entre 10 cada cierto número de épocas), el decaimiento coseno y el ya citado warmup, que a menudo se combina con los anteriores.

La intuición es la misma zancada de la montaña: das pasos largos mientras estás lejos de la meta y los acortas al acercarte. Este ajuste dinámico es el tema del siguiente artículo de la serie; aquí basta con saber que la tasa de aprendizaje no tiene por qué ser un número fijo. Puedes ampliar el contexto en la entrada de Wikipedia sobre la tasa de aprendizaje[4].

Preguntas frecuentes

¿Cuál es una buena tasa de aprendizaje para empezar?

Depende del optimizador. Con Adam, 0,001 es un punto de partida sólido para la mayoría de las tareas; con descenso de gradiente estocástico y momento, prueba 0,1 o 0,01. En cualquier caso, haz un barrido rápido en escala logarítmica antes de lanzar un entrenamiento largo.

¿Qué pasa si la pérdida sube en lugar de bajar?

Casi siempre significa que la tasa de aprendizaje es demasiado alta y cada paso sobrepasa el mínimo. Divídela entre 3 o entre 10 y vuelve a intentarlo. Si la pérdida se convierte en NaN, es la señal más clara de divergencia por una $\eta$ excesiva.

¿La tasa de aprendizaje es lo mismo que el tamaño del lote?

No. El tamaño del lote es cuántos ejemplos usas para estimar cada gradiente, mientras que la tasa de aprendizaje es cuánto te mueves con esa estimación. Están relacionados (lotes más grandes admiten tasas algo mayores), pero son dos hiperparámetros distintos.

Conclusión

La tasa de aprendizaje es el mando que regula la velocidad y la seguridad del entrenamiento con un solo número. Demasiado alta y el modelo diverge; demasiado baja y no avanza; en su punto justo, la pérdida baja rápido y de forma estable. Empieza con 0,001 en Adam o 0,1 en descenso de gradiente estocástico, haz un barrido logarítmico y, cuando domines el valor fijo, da el paso hacia los schedules que lo hacen variar durante el entrenamiento.

Fuentes

  1. CS231n
  2. Deep Learning
  3. su repaso de los métodos de optimización
  4. la entrada de Wikipedia sobre la tasa de aprendizaje

Ruta: Entrenamiento: descenso de gradiente y retropropagación