Etiqueta
El gradiente explosivo ocurre cuando la norma del gradiente crece sin control al retropropagar el error, sobre todo en redes profundas y recurrentes con pesos grandes. El entrenamiento se desestabiliza y la pérdida se vuelve NaN. El recorte de gradiente, junto con una buena inicialización y normalización, es la solución estándar.
El perceptrón es la neurona artificial más simple: recibe varias entradas, las multiplica por sus pesos, suma un sesgo y aplica una función de activación que decide entre dos salidas. Frank Rosenblatt lo presentó en 1958 y sigue siendo la pieza básica con la que se construyen las redes neuronales modernas.
La tangente hiperbólica (tanh) es una función de activación que comprime cualquier valor real en el intervalo (-1, 1) con salida centrada en cero, lo que reduce el sesgo sistemático de los gradientes frente a la sigmoide. Es la activación estándar en las celdas de memoria LSTM y GRU de las redes recurrentes.
La función sigmoide convierte cualquier número real en un valor entre 0 y 1, lo que la vuelve la función de activación natural para expresar probabilidades en una red neuronal. Es diferenciable en todo su dominio, aunque sufre saturación y desvanecimiento del gradiente en redes profundas, por lo que hoy se reserva casi siempre a la capa de salida.
Leaky ReLU es una función de activación derivada de ReLU que sustituye el valor cero de las entradas negativas por una pendiente pequeña, normalmente 0.01. Así el gradiente nunca es exactamente cero, lo que evita el problema de la neurona muerta y estabiliza el entrenamiento en redes convolucionales, recurrentes y GAN muy profundas.
ReLU (Unidad Lineal Rectificada, f(x) = max(0, x)) es la función de activación dominante en el aprendizaje profundo desde que AlexNet la popularizó en 2012: barata de calcular, resistente al desvanecimiento del gradiente y con una debilidad conocida, el dying ReLU.
La función escalón o de Heaviside es la función de activación más simple de una red neuronal: convierte cualquier entrada en una salida binaria, 0 o 1, según supere o no un umbral fijo. Fue el mecanismo central del perceptrón de Rosenblatt en 1958, pero su derivada es nula en casi todo punto, por lo que hoy se sustituye por la sigmoide o la ReLU.
La red neuronal totalmente conectada, también llamada red densa, es la arquitectura fundamental del aprendizaje profundo: cada neurona de una capa se conecta con todas las neuronas de la capa anterior y de la siguiente. Esta conectividad total le permite aproximar cualquier función continua, aunque su coste computacional crece de forma cuadrática con el número de neuronas.
En una red neuronal, la entrada se representa como un vector columna x en R^n que la capa oculta transforma mediante una matriz de pesos W, un vector de sesgos b y una función de activación no lineal como ReLU, sigmoide o tanh. El entrenamiento ajusta W y b minimizando la función de pérdida con descenso por gradiente y retropropagación.
Una red neuronal multicapa está formada por una capa de entrada, una o más capas ocultas y una capa de salida, donde cada neurona pondera sus entradas y aplica una función de activación no lineal antes de pasar el resultado a la siguiente capa. Mediante forward propagation y backpropagation, la red ajusta millones de pesos hasta aprender representaciones jerárquicas capaces de clasificar imágenes, traducir texto o generar lenguaje.
Las redes neuronales profundas son hoy la base de casi toda aplicación de inteligencia artificial: desde el reconocimiento facial hasta la traducción automática. Con arquitecturas como CNN, RNN y Transformers, el deep learning ha transformado la visión computarizada, el reconocimiento de voz y el procesamiento del lenguaje natural durante la última década.
La inteligencia artificial moderna se apoya en tres pilares: aprendizaje automático, redes neuronales profundas y procesamiento del lenguaje natural. Estas técnicas han llevado el reconocimiento de imágenes y la traducción automática a superar la precisión humana en tareas concretas, aunque el sistema completo sigue dependiendo de datos de calidad y supervisión humana constante.
