La Función Leaky ReLU y su papel en las Redes Neuronales
Actualizado: 2026-07-07
Leaky ReLU nació para resolver uno de los problemas más frustrantes del entrenamiento de redes profundas: la neurona muerta. Cuando una neurona ReLU estándar se desactiva permanentemente, Leaky ReLU mantiene vivo el gradiente con una pendiente mínima en la región negativa.
Puntos clave
-
Leaky ReLU es una variante de ReLU que sustituye el cero en valores negativos por αx, donde α es un número pequeño positivo.
-
Esto evita el problema de la neurona muerta: el gradiente nunca es exactamente cero.
-
El valor de α suele fijarse en 0.01, aunque puede aprenderse (variante Parametric ReLU).
-
Es más robusta que ReLU en redes muy profundas y conjuntos de datos grandes.
-
Para contextos donde la salida debe ser probabilística, la sigmoide sigue siendo la elección en la capa de salida.
El problema que resuelve
La función ReLU estándar define f(x) = max(0, x). Para valores negativos, la salida es exactamente 0 y el gradiente también es 0. Si una neurona recibe consistentemente entradas negativas durante el entrenamiento, deja de actualizarse y muere permanentemente: el fenómeno conocido como "dying ReLU" (neurona muerta).
En redes muy profundas con tasa de aprendizaje alta, este problema puede afectar a una fracción significativa de neuronas, deteriorando la capacidad del modelo.
Cómo funciona Leaky ReLU
La ecuación de Leaky ReLU es:
f(x) = x si x ≥ 0; αx si x < 0
donde α es un hiperparámetro pequeño y positivo. Leaky ReLU se propuso en 2013 en el estudio de Maas, Hannun y Ng[1], donde una pendiente fija resultó suficiente para evitar el colapso de neuronas en modelos acústicos profundos. El valor de α varía según la implementación: PyTorch[2] fija por defecto negative_slope=0.01, mientras que Keras[3] usa alpha=0.3 por defecto, una pendiente bastante más pronunciada.
Esta pequeña pendiente en la región negativa garantiza que:
-
El gradiente nunca es cero en ningún punto de la función.
-
Las neuronas con entradas negativas siguen recibiendo actualizaciones de peso, aunque pequeñas.
-
La red puede recuperarse de estados donde muchas neuronas habrían muerto con ReLU.
Comparativa de funciones de activación mostrando ReLU, Leaky ReLU, sigmoide y tanh
Ventajas y desventajas
Ventajas:
-
Elimina el problema de la neurona muerta de ReLU.
-
Mantiene la eficiencia computacional de ReLU: sigue siendo una operación lineal por tramos.
-
Gradiente no nulo en toda la recta real: convergencia más estable en redes profundas.
-
Variante PReLU permite aprender α durante el entrenamiento, adaptándose a cada capa.
Desventajas:
-
El valor de α debe elegirse con cuidado: si es demasiado grande, la función se acerca a lineal.
-
No siempre supera a ReLU en benchmarks estándar; el beneficio es más pronunciado en arquitecturas muy profundas.
-
Introduce un hiperparámetro adicional que requiere ajuste o validación.
Aplicaciones en redes neuronales
Leaky ReLU se encuentra habitualmente en:
-
Redes neuronales convolucionales (CNN): ampliamente usada en capas intermedias de modelos de visión como el procesamiento descrito en análisis de imágenes.
-
Redes neuronales recurrentes (RNN): ayuda a estabilizar el entrenamiento en secuencias largas.
-
Generative Adversarial Networks (GAN): el discriminador suele usar Leaky ReLU porque permite gradientes en ambas direcciones, facilitando el equilibrio del juego adversarial. El paper de DCGAN (Radford, Metz y Chintala, 2015)[4] fijó la pendiente en 0.2 para todas las capas del discriminador, un valor que se convirtió en práctica habitual en arquitecturas GAN posteriores.
-
Redes profundas de más de 50 capas: donde el dying ReLU es un riesgo real.
El contexto más amplio de estas funciones se enmarca en el desarrollo e inteligencia artificial aplicada, donde arquitecturas como ResNet y VGG han demostrado que la elección de función de activación influye directamente en la velocidad de convergencia. Los modelos pre-entrenados modernos a menudo incluyen variantes como GELU o SiLU, evoluciones de la misma idea que Leaky ReLU.
Red neuronal multicapa con capas de activación diferenciadas
Conclusión
Leaky ReLU es una mejora práctica sobre ReLU en escenarios donde el dying ReLU es un riesgo comprobado. Su coste computacional extra es mínimo y su beneficio en estabilidad de entrenamiento puede ser significativo. Para arquitecturas profundas con grandes conjuntos de datos, vale la pena incluirla en el pipeline de experimentación antes de asumir que ReLU estándar es suficiente.
Este artículo también está disponible en inglés.
