Durante años se creyó que el gran enemigo de entrenar una red era quedar atrapado en un mínimo local; la realidad en alta dimensión es otra. En un espacio de millones de parámetros, los mínimos locales malos son rarísimos y el verdadero freno son los puntos de silla: zonas planas donde el gradiente casi se anula pero que no son el fondo del valle. Entender la forma de la superficie de pérdida explica por qué el entrenamiento funciona tan bien pese a resolver un problema no convexo. La misma explicación está disponible en inglés.

Fórmula clave $\nabla L = \mathbf{0}$

Puntos clave

  • La superficie de pérdida es la función que asigna un error a cada combinación de pesos; entrenar es descender por ella hasta un punto crítico donde el gradiente $\nabla L = \mathbf{0}$.
  • Los mínimos locales son puntos donde ninguna dirección reduce el error, pero en redes grandes casi todos tienen un valor muy cercano al mínimo global.
  • Los puntos de silla, no los mínimos locales, son el obstáculo dominante: en 2014 Dauphin y sus colegas mostraron que proliferan de forma exponencial con la dimensión.
  • El descenso de gradiente estocástico escapa de los puntos de silla porque su ruido lo empuja fuera de las direcciones descendentes que el gradiente exacto no ve.
  • Un problema convexo tiene un único mínimo; entrenar una red no es convexo, y aun así el resultado es sorprendentemente bueno.

La superficie de pérdida en alta dimensión

Imagina la función de pérdida como un paisaje de montañas y valles: cada posición representa un juego de pesos y la altura es el error que comete la red. Con dos pesos ese paisaje cabe en una gráfica tridimensional, pero una red moderna tiene millones o miles de millones de parámetros, así que su superficie de pérdida vive en un espacio de esa misma cantidad de dimensiones. Esa diferencia de escala lo cambia todo.

En dos o tres dimensiones nuestra intuición dice que un valle cerrado (un mínimo local) es fácil de encontrar y difícil de abandonar. En un millón de dimensiones esa intuición falla. Para que un punto sea un mínimo local, el error tiene que subir en las 1.000.000 de direcciones a la vez; basta con que baje en una sola para que no lo sea. La probabilidad de que las 1.000.000 coincidan hacia arriba es minúscula, y por eso los mínimos locales verdaderos escasean. El libro de referencia Deep Learning[1] dedica su capítulo 8 justamente a esta geometría de la optimización.

Mínimos locales frente a globales

Un mínimo global es el punto de menor error posible en toda la superficie. Un mínimo local es el fondo de un valle cualquiera: reduce el error respecto a su entorno inmediato, pero puede que exista otro valle más profundo en otra parte del paisaje. Durante mucho tiempo se temió que el entrenamiento quedara clavado en un mínimo local pobre, lejos del global.

La investigación de la última década desmontó ese miedo. El trabajo de Choromanska y sus colaboradores, The Loss Surfaces of Multilayer Networks[2] (2015), mostró que en redes grandes la inmensa mayoría de los mínimos locales se agrupan en una banda estrecha de valores muy próximos al mínimo global. Dicho de otro modo: si el descenso de gradiente encuentra un mínimo local, casi seguro que ese mínimo es lo bastante bueno. Encontrar el óptimo perfecto deja de ser el objetivo cuando cualquier fondo de valle sirve.

Puntos de silla, el verdadero obstáculo

Un punto de silla es un lugar donde el gradiente se anula, igual que en un mínimo, pero no es ni cima ni fondo: en unas direcciones el error sube y en otras baja, como la silla de montar que le da nombre. Como el gradiente es cero, un descenso de gradiente puro se queda ahí quieto, engañado, creyendo que ha terminado.

La condición $\nabla L = \mathbf{0}$ la cumplen mínimos, máximos y sillas por igual. Lo que distingue el tipo son los signos de los valores propios de la matriz hessiana $\nabla^2 L$: todos positivos indican un mínimo, todos negativos un máximo y una mezcla de signos, un punto de silla.

En alta dimensión los puntos de silla no son una rareza, sino la norma. La teoría de matrices aleatorias predice que, entre todos los puntos críticos con error alto, la proporción de puntos de silla frente a mínimos crece de forma explosiva con la dimensión. El artículo fundacional de Yann Dauphin y sus colegas, Identifying and attacking the saddle point problem[3] (2014), lo resume con claridad: «una dificultad más profunda surge de la proliferación de puntos de silla, no de mínimos locales». Esos puntos están rodeados de mesetas de error casi plano que ralentizan el aprendizaje durante muchas iteraciones.

Por qué el SGD escapa de ellos

Aquí es donde el ruido resulta ser una virtud. El descenso de gradiente exacto usa todos los datos para calcular la dirección de bajada, y en un punto de silla esa dirección es cero. El descenso de gradiente estocástico, en cambio, estima el gradiente con un lote pequeño de ejemplos, así que cada paso lleva un error de muestreo. Ese ruido actúa como un empujón aleatorio que casi nunca es exactamente cero en las direcciones descendentes, y basta un empujón mínimo para que la optimización ruede fuera de la silla y siga bajando.

Por eso las variantes con lotes y ruido, que repasamos en descenso de gradiente por lotes, estocástico y mini-batch, no solo son más rápidas por iteración: además evitan quedarse atascadas. Los optimizadores modernos como Adam añaden momento y tasas de aprendizaje adaptativas que aceleran todavía más la salida de esas mesetas planas.

Convexidad

Una función es convexa cuando el segmento que une dos puntos cualesquiera de su gráfica queda siempre por encima de la curva; en la práctica significa que tiene un único valle, sin puntos de silla ni mínimos locales secundarios. En un problema convexo, como una regresión lineal, el descenso de gradiente tiene garantía matemática de llegar al único mínimo global. Es el mundo ideal de la optimización, y puedes repasar la definición formal en Wikipedia[4].

Entrenar una red neuronal no es convexo: sus capas apiladas y sus activaciones no lineales crean una superficie llena de puntos de silla y mínimos locales. La paradoja es que, pese a perder todas las garantías teóricas, el método funciona de maravilla en la práctica, precisamente por la geometría que hemos descrito. Si quieres situar esta pieza dentro del conjunto, el mapa de las matemáticas detrás de las redes neuronales conecta la optimización con el álgebra lineal y el cálculo.

Preguntas frecuentes

¿Los mínimos locales son un problema real al entrenar redes?

En la práctica, casi nunca. En redes grandes la mayoría de los mínimos locales tienen un error muy parecido al del mínimo global, así que caer en uno rara vez perjudica al modelo. El obstáculo que sí importa son los puntos de silla y sus mesetas planas.

¿Qué diferencia hay entre un mínimo local y un punto de silla?

En ambos el gradiente vale cero. En un mínimo local el error sube en todas las direcciones; en un punto de silla sube en unas y baja en otras. Por eso un mínimo local es una parada estable y un punto de silla es solo una trampa temporal de la que el ruido del SGD ayuda a salir.

¿Por qué el descenso de gradiente estocástico esquiva los puntos de silla?

Porque estima el gradiente con un lote pequeño y comete un error de muestreo en cada paso. Ese ruido rompe el empate que mantendría quieto a un método exacto y empuja la optimización hacia las direcciones en las que el error todavía puede bajar.

Conclusión

La forma de la superficie de pérdida explica una de las grandes sorpresas del aprendizaje profundo: entrenar un problema no convexo de millones de dimensiones funciona porque los mínimos locales son casi todos buenos y porque el ruido del descenso estocástico deshace los puntos de silla. Los mínimos locales dejaron de ser el villano; el reto real es atravesar las mesetas planas con eficiencia. El siguiente paso natural es ver cómo lo consiguen los optimizadores en el descenso de gradiente.

Fuentes

  1. Deep Learning
  2. The Loss Surfaces of Multilayer Networks
  3. Identifying and attacking the saddle point problem
  4. Wikipedia

Ruta: Entrenamiento: descenso de gradiente y retropropagación