La Función Unidad Rectificada Uniforme (RELU): Una Herramienta Esencial para el Aprendizaje Profundo
Índice de contenidos
- Puntos clave
- Cómo funciona ReLU
- Por qué superó a sigmoide y tanh
- Aplicaciones en aprendizaje profundo
- El problema dying ReLU
- Preguntas frecuentes
- ¿Por qué se llama Unidad Lineal Rectificada y no Unidad Rectificada Uniforme?
- ¿Cuándo conviene usar Leaky ReLU en lugar de ReLU estándar?
- ¿ReLU se usa también en la capa de salida?
- Conclusión
- Fuentes
Actualizado: 2026-07-17
ReLU (siglas de Rectified Linear Unit, en español Unidad Lineal Rectificada, no «Uniforme») es la función de activación f(x) = max(0, x): devuelve la entrada tal cual si es positiva y cero si es negativa. Esta regla, más barata de calcular que sigmoide o tanh y resistente al desvanecimiento del gradiente, la convirtió en la función de activación por defecto del aprendizaje profundo moderno desde que AlexNet la popularizó en 2012.
Esta guía también está disponible en inglés: The Rectified Linear Unit (ReLU): An Essential Tool for Deep Learning.
Puntos clave
- ReLU se define como f(x) = max(0, x): la operación más barata posible como función de activación no lineal.
- Popularizada por AlexNet (2012), marcó el inicio del aprendizaje profundo moderno.
- Evita el desvanecimiento del gradiente que afecta a sigmoide y tanh en redes profundas.
- Su principal debilidad es el «dying ReLU»: neuronas que se desactivan permanentemente, problema que Leaky ReLU mitiga.
- Sigue siendo la función por defecto en la mayoría de arquitecturas de visión y NLP.
Cómo funciona ReLU
La función ReLU se define matemáticamente como:
f(x) = max(0, x)
Su comportamiento:
- Para x > 0: la salida es x (función identidad).
- Para x ≤ 0: la salida es 0 (la neurona no transmite señal).
La siguiente visualización interactiva traza ReLU junto a su derivada, que vale 1 para x > 0 y 0 para x < 0 (en x = 0 no está definida):
La elegancia de ReLU es que no hay exponenciaciones, ni divisiones, ni saturaciones: en una GPU procesando millones de activaciones por segundo, la diferencia de coste frente a sigmoide es enorme.
Por qué superó a sigmoide y tanh
Antes de ReLU, la función sigmoide y la tangente hiperbólica dominaban. Ambas tienen el mismo problema en redes profundas: saturación y desvanecimiento del gradiente.
Cuando una sigmoide recibe entradas muy grandes o muy pequeñas, su derivada se aproxima a cero. Al multiplicar gradientes capa a capa (regla de la cadena), el gradiente llega prácticamente extinguido a las primeras capas. ReLU no satura en la región positiva, por lo que el gradiente fluye sin atenuarse.
Tres razones concretas de su adopción masiva:
- Velocidad de entrenamiento: convergencia 6 veces más rápida que tanh en experimentos de AlexNet.
- Activaciones dispersas: en cualquier instante, muchas neuronas devuelven 0, generando representaciones más compactas.
- Facilidad de implementación: un simple
max(0, x)es trivial en cualquier framework.
Aplicaciones en aprendizaje profundo
ReLU es la función de activación estándar en la práctica:
- Clasificación de imágenes: AlexNet (2012), VGG, ResNet usan ReLU en todas sus capas convolucionales.
- Procesamiento de lenguaje natural: los transformers modernos usan GELU y SiLU, variantes suaves de la idea de ReLU.
- Reconocimiento de voz: arquitecturas deep speech usan ReLU en capas densas intermedias.
- Redes generativas (GAN): el generador típicamente usa ReLU o Leaky ReLU en sus capas ocultas.
En el contexto de análisis de imágenes con visión computarizada, ReLU aparece en prácticamente todas las arquitecturas convolucionales. Los modelos pre-entrenados que se usan como base en transfer learning llevan ReLU o sus variantes en las capas de extracción de características.
Para el aprendizaje por refuerzo, las redes de política y valor también usan ReLU por defecto en la mayoría de implementaciones de referencia.
El problema dying ReLU
Su única debilidad estructural: si una neurona recibe entradas muy negativas de forma consistente, su salida es siempre 0 y su gradiente también. Esa neurona deja de aprender permanentemente.
Soluciones establecidas:
- Leaky ReLU: sustituye el 0 por αx con α pequeño (ver artículo completo sobre Leaky ReLU).
- ELU (Exponential Linear Unit): curva suave para x < 0.
- GELU: usado en BERT y GPT, aproxima ReLU con una curva gaussiana.
- Inicialización cuidadosa de pesos: He initialization reduce la probabilidad de dying ReLU desde el inicio.
Preguntas frecuentes
¿Por qué se llama Unidad Lineal Rectificada y no Unidad Rectificada Uniforme?
Porque la función no es uniforme: es lineal solo a partir de cero (f(x) = x para x > 0) y constante en cero para el resto. «Rectificada» viene de la electrónica, donde un rectificador deja pasar solo la parte positiva de una señal; ReLU hace exactamente eso con las activaciones de la red.
¿Cuándo conviene usar Leaky ReLU en lugar de ReLU estándar?
Cuando el ritmo de aprendizaje es alto o la red tiene muchas capas, sube el riesgo de dying ReLU. Leaky ReLU sustituye el cero por una pendiente pequeña (por ejemplo 0.01x) en la parte negativa, así que ninguna neurona queda completamente muerta.
¿ReLU se usa también en la capa de salida?
Casi nunca. En las capas ocultas es la opción por defecto, pero la capa de salida suele usar softmax para clasificación multiclase o una función lineal para regresión, porque ahí interesa una distribución de probabilidad o un valor sin recortar, no una activación dispersa.
Conclusión
ReLU es la función de activación que democratizó el aprendizaje profundo. Su coste computacional mínimo, su resistencia al desvanecimiento del gradiente y su compatibilidad con arquitecturas de cientos de capas la convirtieron en el estándar de la industria. Entender sus fortalezas y el problema dying ReLU es imprescindible para cualquier profesional que diseñe o ajuste redes neuronales profundas.
Fuentes: Glorot, Bordes y Bengio, «Deep Sparse Rectifier Neural Networks» (AISTATS 2011)[1], documentación de PyTorch sobre torch.nn.ReLU[2], documentación de TensorFlow sobre tf.keras.activations.relu[3], notas de Stanford CS231n sobre funciones de activación[4].
