Etiqueta
La función Softmax transforma los logits de salida de una red neuronal en una distribución de probabilidad que suma 1. Es la activación estándar en clasificación multiclase, desde clasificadores de imágenes hasta el vocabulario de los modelos de lenguaje como GPT.
La función lineal f(x) = ax + b es la activación más simple de una red neuronal: en su forma identidad, f(x) = x, es el estándar en la capa de salida para regresión porque no acota el rango de valores posibles. En capas ocultas falla, porque componer varias funciones lineales colapsa toda la red en una única capa lineal equivalente.
En una red neuronal, la entrada se representa como un vector columna x en R^n que la capa oculta transforma mediante una matriz de pesos W, un vector de sesgos b y una función de activación no lineal como ReLU, sigmoide o tanh. El entrenamiento ajusta W y b minimizando la función de pérdida con descenso por gradiente y retropropagación.
