Qué es una función de activación y por qué es necesaria

Una función de activación es la pieza que decide, dentro de cada neurona, cómo se convierte la suma de las entradas en una señal de salida. Su papel parece pequeño, pero es lo que separa a una red neuronal de una simple regresión lineal. Sin ella, podrías apilar mil capas y seguirías teniendo el poder de una sola. Este artículo reúne y ordena las funciones de activación que ya hemos explicado por separado en el sitio, y responde a la pregunta que las conecta a todas. La misma explicación está disponible en inglés.

Puntos clave

• Una función de activación aplica una transformación, casi siempre no lineal, a la suma ponderada z = Wx + b para producir la salida de la neurona a = f(z).
• Sin no linealidad, una red de muchas capas equivale a una sola capa lineal: no puede aprender fronteras curvas ni relaciones complejas.
• La no linealidad es la condición que hace que una red con una capa oculta sea un aproximador universal de funciones, un resultado demostrado en 1989.
• No hay una única función buena: ReLU domina las capas ocultas modernas, mientras que sigmoide y softmax se reservan para la salida.
• Elegir bien afecta a la velocidad de entrenamiento y a problemas conocidos como el gradiente que se desvanece.

¿Qué es una función de activación?

Cada neurona hace dos cosas. Primero combina sus entradas: multiplica cada valor de entrada por su peso, los suma y añade un sesgo, lo que da un número $z = Wx + b$. Ese número puede ser cualquier cosa, de menos infinito a más infinito. La función de activación es el segundo paso: toma ese $z$ y lo transforma en la salida definitiva de la neurona, $a = f(z)$.

El nombre viene de la analogía biológica. En una neurona real, las señales de entrada tienen que superar un umbral para que la célula «se active» y dispare. Las primeras funciones de activación imitaban ese comportamiento de todo o nada, como estudiamos en la función escalón. Las funciones modernas son más suaves, pero conservan la idea: modular cuánto pasa a la siguiente capa. Para una referencia general puedes consultar el artículo de Wikipedia sobre la función de activación^[1].

Por qué la no linealidad es imprescindible

Aquí está el corazón del asunto. Supongamos que quitamos la función de activación, o que usamos una lineal como $f(z) = z$. Entonces cada capa solo multiplica por una matriz y suma un vector. Pero la composición de dos transformaciones lineales sigue siendo una transformación lineal: al encadenar dos capas, el resultado se reordena en

$$W_2\,(W_1 x + b_1) + b_2 = (W_2 W_1)\,x + (W_2 b_1 + b_2) = W’ x + b’$$

es decir, existe una única matriz equivalente que hace el mismo trabajo. En consecuencia, una red de 50 capas sin activación no lineal tendría exactamente la misma capacidad que una red de 1 capa. Todo el esfuerzo de la profundidad se desperdiciaría.

La no linealidad rompe esa trampa. Al introducir una curva, un codo o un salto entre capas, la red puede doblar el espacio de decisión y separar datos que una recta jamás separaría. Ese es el argumento del teorema de aproximación universal: con una función de activación no lineal, una red con una sola capa oculta y suficientes neuronas puede aproximar cualquier función continua con la precisión que quieras. Puedes leer la formulación del teorema de aproximación universal^[2] para ver los detalles. Como resume el libro de referencia de Goodfellow, Bengio y Courville, «en las redes neuronales modernas, la recomendación por defecto es usar la unidad lineal rectificada».

Un recorrido por las funciones de activación

Estas son las funciones que hemos tratado en detalle, ordenadas de la más antigua a la más habitual hoy:

• Escalón: devuelve 0 o 1 según un umbral. Es intuitiva pero no tiene derivada útil, así que no sirve para entrenar con gradiente. Ver la función escalón.
• Sigmoide: comprime cualquier valor al rango entre 0 y 1, ideal para interpretar salidas como probabilidades. Ver la función sigmoide.
• Tangente hiperbólica: parecida a la sigmoide pero centrada en cero, con salida entre -1 y 1. Ver la tangente hiperbólica.
• ReLU: devuelve 0 si la entrada es negativa y el valor tal cual si es positiva. Es rápida y evita en buena parte el gradiente que se desvanece. Ver la función ReLU.
• Leaky ReLU: una variante que deja pasar una pequeña pendiente para las entradas negativas y evita que la neurona «muera». Ver la función Leaky ReLU.
• Softmax: convierte un vector de números en una distribución de probabilidad que suma 1, la opción estándar en la capa de salida de un clasificador. Ver la función softmax.

Cómo elegir

La elección depende de dónde esté la neurona. Para las capas ocultas, la recomendación por defecto desde hace más de una década es ReLU: es barata de calcular y entrena rápido. Fue una de las claves del salto de rendimiento del aprendizaje profundo hacia 2012. Si observas neuronas que dejan de aprender, Leaky ReLU o sus variantes suelen resolverlo.

Para la capa de salida, la función la fija el problema. En una clasificación binaria se usa una sigmoide, que da un número entre 0 y 1 interpretable como probabilidad. En una clasificación de varias clases se usa softmax, que reparte la probabilidad entre todas las categorías. En una regresión, donde la salida es un número real cualquiera, muchas veces no se aplica ninguna activación. Sigmoide y tanh casi han desaparecido de las capas ocultas profundas porque saturan y frenan el gradiente, un problema documentado en textos como Neural Networks and Deep Learning^[3].

Ejemplos visuales

Imagina una neurona que recibe $z = 2$. La sigmoide la convierte en aproximadamente $0{,}88$; la tanh, en unos $0{,}96$; y ReLU la deja en $2$. Ahora imagina $z = -3$. La sigmoide devuelve casi $0{,}05$; la tanh, cerca de $-0{,}99$; y ReLU la corta en seco a $0$. Ese comportamiento distinto para el mismo valor es lo que da a cada función su carácter.

La forma de la curva importa. La sigmoide y la tanh son suaves y acotadas, con forma de S, y por eso saturan en los extremos. ReLU es una recta partida: plana a la izquierda de cero y con pendiente 1 a la derecha. Esa geometría simple explica por qué su derivada es tan barata (vale $0$ o $1$) y por qué domina las redes profundas actuales.

Preguntas frecuentes

¿Qué pasa si no uso ninguna función de activación?

La red se comporta como un modelo lineal, sin importar cuántas capas tenga. Podrías ajustar una recta o un plano, pero no una frontera curva. En la práctica, una red profunda sin activaciones no lineales no aporta nada sobre una regresión lineal simple.

¿Cuál es la mejor función de activación?

No existe una única mejor. Para las capas ocultas, ReLU es el punto de partida recomendado por su velocidad. Para la salida, la elige el problema: sigmoide para clasificación binaria y softmax para varias clases. La respuesta correcta casi siempre es «depende de la capa y de la tarea».

¿Por qué la sigmoide ya no se usa en capas ocultas?

Porque satura: cuando la entrada es muy grande o muy pequeña, su derivada se acerca a cero y el gradiente casi desaparece al retropropagarse por muchas capas. Esto ralentiza o detiene el aprendizaje en redes profundas, algo que ReLU mitiga al mantener una pendiente constante de 1 en la zona positiva.

Conclusión

La función de activación es la pieza que convierte una pila de multiplicaciones de matrices en una máquina capaz de aprender casi cualquier cosa. Su secreto no es la fórmula concreta, sino la no linealidad que introduce entre capas. Con ese principio claro, cada función particular (escalón, sigmoide, tanh, ReLU, Leaky ReLU o softmax) deja de ser un nombre suelto y encuentra su lugar. El siguiente paso natural es repasar cada una en detalle y ver cómo encaja en el mapa de las matemáticas de las redes neuronales.

Fuentes

1. Wikipedia sobre la función de activación
2. teorema de aproximación universal
3. Neural Networks and Deep Learning
4. Deep Learning (Goodfellow, Bengio y Courville)

Ruta: La neurona y las funciones de activación