Actualizado: 2026-07-12

ReLU revolucionó el entrenamiento de redes neuronales profundas con una fórmula engañosamente sencilla: devolver el valor de entrada si es positivo, y cero si es negativo. Esta simplicidad, combinada con su eficiencia computacional y resistencia al desvanecimiento del gradiente, la convirtió en la función de activación dominante del aprendizaje profundo moderno.

Puntos clave

  • ReLU se define como f(x) = max(0, x): la operación más barata posible como función de activación no lineal.

  • Popularizada por AlexNet (Krizhevsky, Sutskever y Hinton, 2012)[1], marcó el inicio del aprendizaje profundo moderno.

  • Evita el desvanecimiento del gradiente que afecta a sigmoide y tanh en redes profundas.

  • Su principal debilidad es el "dying ReLU": neuronas que se desactivan permanentemente, problema que Leaky ReLU mitiga.

  • Sigue siendo la función por defecto en la mayoría de arquitecturas de visión y NLP.

Cómo funciona ReLU

Nair y Hinton (2010)[2] formalizaron la idea para máquinas de Boltzmann restringidas, aunque no se generalizó hasta que AlexNet la llevó a redes convolucionales profundas dos años después. La función ReLU se define matemáticamente como:

f(x) = max(0, x)

Su comportamiento:

  • Para x > 0: la salida es x (función identidad).

  • Para x ≤ 0: la salida es 0 (la neurona no transmite señal).

Gráfica de la función de activación ReLU mostrando la región nula para x negativo y la región lineal para x positivoGráfica de la función de activación ReLU mostrando la región nula para x negativo y la región lineal para x positivo

La elegancia de ReLU es que no hay exponenciaciones, ni divisiones, ni saturaciones: en una GPU procesando millones de activaciones por segundo, la diferencia de coste frente a sigmoide es enorme.

Por qué superó a sigmoide y tanh

Antes de ReLU, la función sigmoide y la tangente hiperbólica dominaban. Ambas tienen el mismo problema en redes profundas: saturación y desvanecimiento del gradiente.

Cuando una sigmoide recibe entradas muy grandes o muy pequeñas, su derivada se aproxima a cero. Al multiplicar gradientes capa a capa (regla de la cadena), el gradiente llega prácticamente extinguido a las primeras capas. ReLU no satura en la región positiva, por lo que el gradiente fluye sin atenuarse.

Tres razones concretas de su adopción masiva:

  • Velocidad de entrenamiento: convergencia 6 veces más rápida que tanh[1] en los experimentos originales de AlexNet.

  • Activaciones dispersas: en cualquier instante, muchas neuronas devuelven 0, generando representaciones más compactas.

  • Facilidad de implementación: un simple max(0, x) es trivial en cualquier framework.

Aplicaciones en aprendizaje profundo

ReLU es la función de activación estándar en la práctica:

  • Clasificación de imágenes: AlexNet (2012), VGG, ResNet usan ReLU en todas sus capas convolucionales.

  • Procesamiento de lenguaje natural: los transformers modernos usan GELU y SiLU, variantes suaves de la idea de ReLU.

  • Reconocimiento de voz: arquitecturas deep speech usan ReLU en capas densas intermedias.

  • Redes generativas (GAN): el generador típicamente usa ReLU o Leaky ReLU en sus capas ocultas.

Comparativa de varias funciones de activación incluyendo ReLU y sus variantesComparativa de varias funciones de activación incluyendo ReLU y sus variantes

En el contexto de análisis de imágenes con visión computarizada, ReLU aparece en prácticamente todas las arquitecturas convolucionales. Los modelos pre-entrenados que se usan como base en transfer learning llevan ReLU o sus variantes en las capas de extracción de características.

Para el aprendizaje por refuerzo, las redes de política y valor también usan ReLU por defecto en la mayoría de implementaciones de referencia.

El problema dying ReLU

Su única debilidad estructural: si una neurona recibe entradas muy negativas de forma consistente, su salida es siempre 0 y su gradiente también. Esa neurona deja de aprender permanentemente.

Soluciones establecidas:

Conclusión

ReLU es la función de activación que democratizó el aprendizaje profundo. Su coste computacional mínimo, su resistencia al desvanecimiento del gradiente y su compatibilidad con arquitecturas de cientos de capas la convirtieron en el estándar de la industria. Entender sus fortalezas y el problema dying ReLU es imprescindible para cualquier profesional que diseñe o ajuste redes neuronales profundas. Para un repaso más completo de sus variantes, la entrada de Wikipedia sobre funciones rectificadoras[5] recoge la familia entera (Leaky ReLU, ELU, GELU, SiLU) con sus fórmulas.

Este artículo también está disponible en inglés.

Fuentes

  1. AlexNet (Krizhevsky, Sutskever y Hinton, 2012)
  2. Nair y Hinton (2010)
  3. aproxima ReLU con una curva gaussiana
  4. He initialization
  5. entrada de Wikipedia sobre funciones rectificadoras