Matemáticas de redes neuronales: funciones de activación
Las funciones de activación son lo que permite a una red neuronal aprender relaciones no lineales. Esta ruta las recorre en orden pedagógico, de la más sencilla (el escalón) a la más usada hoy (ReLU y softmax), cada una con su fórmula, su derivada y gráficas interactivas para entenderlas de verdad.
-
La Función Escalón: Una Herramienta Esencial en Redes Neuronales
La función escalón, o función de Heaviside, es la función de activación más simple en redes neuronales: convierte cualquier valor numérico de entrada en una salida binaria, 0 o 1, según supere o no un umbral fijo. Fue la pieza central del perceptrón de Rosenblatt en 1958, pero al no ser diferenciable, hoy no sirve para el entrenamiento con retropropagación.
-
Función Lineal: Una Función de Activación Común
La función lineal, f(x) = ax + b, es la activación más simple de una red neuronal: la salida es directamente proporcional a la entrada, sin ninguna transformación no lineal. Es la elección estándar en la capa de salida para problemas de regresión, pero en capas ocultas colapsa toda la red a un único modelo lineal, por lo que no debe usarse ahí.
-
La Función Sigmoide: Una Herramienta Clave en Redes Neuronales
La función sigmoide comprime cualquier valor real en el rango (0, 1), lo que la convierte en la función de activación natural para modelar probabilidades en redes neuronales. Es diferenciable en todos los puntos, lo que permite el entrenamiento por backpropagation, aunque sufre saturación y desvanecimiento del gradiente en las capas profundas, donde ReLU y tanh la sustituyen.
-
La Tangente Hiperbólica: Función de Activación Potente
La tangente hiperbólica (tanh) es una función de activación que mapea cualquier valor real al intervalo (-1, 1) con salida centrada en cero, lo que la hace más estable que la sigmoide en capas ocultas. Es el estándar en las celdas LSTM y GRU, aunque comparte con la sigmoide el desvanecimiento del gradiente en valores extremos.
-
La Función Unidad Rectificada Uniforme (RELU): Una Herramienta Esencial para el Aprendizaje Profundo
ReLU (unidad lineal rectificada) es la función de activación f(x) = max(0, x) más utilizada en redes neuronales profundas: devuelve la entrada si es positiva y cero si es negativa. Su bajo coste computacional y su resistencia al desvanecimiento del gradiente que lastra a la sigmoide la convirtieron en el estándar de facto desde AlexNet en 2012.
-
La Función Leaky ReLU y su papel en las Redes Neuronales
Leaky ReLU es una variante de la función ReLU que sustituye el cero en valores negativos por una pendiente pequeña, evitando que las neuronas dejen de actualizarse. Resuelve así el problema de la neurona muerta, mejorando la estabilidad del entrenamiento en redes neuronales profundas, CNN y discriminadores de GAN.
-
Función SoftMax: Activación para la clasificación
La función Softmax convierte un vector de logits (valores arbitrarios) en una distribución de probabilidad donde todos los valores son positivos y suman exactamente 1. Es la activación estándar en la capa de salida para clasificación multiclase, y la operación final que usan los modelos de lenguaje para predecir el siguiente token.