El momentum en el descenso de gradiente
Sobre este vídeo
Cómo el momentum acumula velocidad y suaviza el descenso de gradiente.
El momentum es una mejora del descenso de gradiente que acumula una velocidad a partir de los gradientes anteriores en lugar de mirar solo el actual. Con un coeficiente β cercano a 0,9, esa inercia suaviza el zigzag del SGD puro, atraviesa los valles alargados y hace que el entrenamiento converja bastante más rápido.
Transcripción del vídeo
- 0:02 Con momentum, cada paso conserva parte de la velocidad del anterior.
- 0:06 Frente al descenso normal, la bola acumula inercia y llega antes al mínimo.
Más vídeos
Explicación
El bucle agéntico y el patrón ReAct
El bucle agéntico (razonar, actuar, observar) en movimiento.
Explicación
El grafo computacional y la diferenciación automática
El grafo computacional y la diferenciación automática, en acción.
Explicación
Retropropagación, la derivación matemática paso a paso
La derivación de la retropropagación, factor a factor con la regla de la cadena.
Explicación
Retropropagación, la intuición detrás del aprendizaje
La intuición de la retropropagación: el error fluye hacia atrás por la red.
Explicación
Descenso de gradiente por lotes, estocástico y mini-batch
Batch, estocástico y mini-batch: tres formas de recorrer los datos.
Explicación
El descenso de gradiente (gradient descent)
El descenso de gradiente, paso a paso: cómo la pendiente guía cada actualización del peso.