La Función Leaky ReLU y su papel en las Redes Neuronales
Índice de contenidos
Actualizado: 2026-07-17
Leaky ReLU es una función de activación (la operación no lineal que cada neurona aplica a su suma ponderada de entradas antes de transmitir el resultado a la siguiente capa) que resuelve uno de los problemas más frustrantes del entrenamiento de redes profundas: la neurona muerta. Cuando una neurona ReLU estándar se desactiva permanentemente, Leaky ReLU mantiene vivo el gradiente con una pendiente mínima en la región negativa.
Puntos clave
- Leaky ReLU es una variante de ReLU que sustituye el cero en valores negativos por αx, donde α es un número pequeño positivo.
- Esto evita el problema de la neurona muerta: el gradiente nunca es exactamente cero.
- El valor de α suele fijarse en 0.01, aunque puede aprenderse (variante Parametric ReLU).
- Es más robusta que ReLU en redes muy profundas y conjuntos de datos grandes.
- Para contextos donde la salida debe ser probabilística, la sigmoide sigue siendo la elección en la capa de salida.
El problema que resuelve
La función ReLU estándar define f(x) = max(0, x). Para valores negativos, la salida es exactamente 0 y el gradiente también es 0. Si una neurona recibe consistentemente entradas negativas durante el entrenamiento, deja de actualizarse y muere permanentemente: el fenómeno conocido como «dying ReLU».
En redes muy profundas con tasa de aprendizaje alta, este problema puede afectar a una fracción significativa de neuronas, deteriorando la capacidad del modelo.
Cómo funciona Leaky ReLU
La ecuación de Leaky ReLU es:
f(x) = x si x ≥ 0; αx si x < 0
donde α es un hiperparámetro pequeño y positivo (típicamente 0.01).
Esta pequeña pendiente en la región negativa garantiza que:
- El gradiente nunca es cero en ningún punto de la función.
- Las neuronas con entradas negativas siguen recibiendo actualizaciones de peso, aunque pequeñas.
- La red puede recuperarse de estados donde muchas neuronas habrían muerto con ReLU.
Ventajas y desventajas
Ventajas:
- Elimina el problema de la neurona muerta de ReLU.
- Mantiene la eficiencia computacional de ReLU: sigue siendo una operación lineal por tramos.
- Gradiente no nulo en toda la recta real: convergencia más estable en redes profundas.
- Variante PReLU permite aprender α durante el entrenamiento, adaptándose a cada capa.
Desventajas:
- El valor de α debe elegirse con cuidado: si es demasiado grande, la función se acerca a lineal.
- No siempre supera a ReLU en benchmarks estándar; el beneficio es más pronunciado en arquitecturas muy profundas.
- Introduce un hiperparámetro adicional que requiere ajuste o validación.
Aplicaciones en redes neuronales
Leaky ReLU se encuentra habitualmente en:
- Redes neuronales convolucionales (CNN): ampliamente usada en capas intermedias de modelos de visión como el procesamiento descrito en análisis de imágenes.
- Redes neuronales recurrentes (RNN): ayuda a estabilizar el entrenamiento en secuencias largas.
- Generative Adversarial Networks (GAN): el discriminador suele usar Leaky ReLU porque permite gradientes en ambas direcciones, facilitando el equilibrio del juego adversarial.
- Redes profundas de más de 50 capas: donde el dying ReLU es un riesgo real.
El contexto más amplio de estas funciones se enmarca en el desarrollo e inteligencia artificial aplicada, donde arquitecturas como ResNet y VGG han demostrado que la elección de función de activación influye directamente en la velocidad de convergencia. Los modelos pre-entrenados modernos a menudo incluyen variantes como GELU o SiLU, evoluciones de la misma idea que Leaky ReLU.
Preguntas frecuentes
¿Qué valor de alpha se usa en Leaky ReLU?
El valor por defecto en frameworks como PyTorch y TensorFlow es 0.01. También puede tratarse como un hiperparámetro a ajustar por validación, o aprenderse capa a capa en la variante Parametric ReLU (PReLU).
¿Leaky ReLU es siempre mejor que ReLU?
No. En redes poco profundas ambas suelen rendir de forma similar y ReLU es ligeramente más rápida de calcular. La ventaja de Leaky ReLU se nota sobre todo en redes de más de 50 capas o con tasas de aprendizaje altas, donde el riesgo de neuronas muertas es mayor.
¿En qué se diferencia Leaky ReLU de ELU o GELU?
Leaky ReLU usa una recta con pendiente αx en la región negativa, mientras que ELU y GELU emplean curvas suaves (exponencial y basada en la distribución normal, respectivamente). Estas últimas suelen converger algo mejor en redes muy profundas, a cambio de un coste computacional mayor.
Conclusión
Leaky ReLU es una mejora práctica sobre ReLU en escenarios donde el dying ReLU es un riesgo comprobado. Su coste computacional extra es mínimo y su beneficio en estabilidad de entrenamiento puede ser significativo. Para arquitecturas profundas con grandes conjuntos de datos, vale la pena incluirla en el pipeline de experimentación antes de asumir que ReLU estándar es suficiente.
Este artículo también está disponible en inglés.
Fuentes: Maas, Hannun y Ng (2013), Stanford[1], documentación de PyTorch[2], documentación de TensorFlow/Keras[3] y Wikipedia[4].
