El problema del gradiente explosivo

El gradiente explosivo ocurre cuando la norma del gradiente crece sin control al retropropagar el error, sobre todo en redes profundas y recurrentes con pesos grandes. El entrenamiento se desestabiliza y la pérdida se vuelve NaN. El recorte de gradiente, junto con una buena inicialización y normalización, es la solución estándar.

16 de julio de 2026 4 min

Inteligencia Artificial

Formulación Matemática de Entrada de Red Neuronal Artificial

En una red neuronal, la entrada se representa como un vector columna x en R^n que la capa oculta transforma mediante una matriz de pesos W, un vector de sesgos b y una función de activación no lineal como ReLU, sigmoide o tanh. El entrenamiento ajusta W y b minimizando la función de pérdida con descenso por gradiente y retropropagación.

24 de marzo de 2023 5 min 250 4,3