Categorías

Inteligencia Artificial

Nociones de probabilidad para redes neuronales

La probabilidad en redes neuronales aparece en tres ideas: una distribución asigna pesos a los resultados posibles, el valor esperado promedia esos resultados y la verosimilitud mide cómo de bien encaja el modelo con los datos. De esas tres piezas nacen la softmax y la entropía cruzada.

Inteligencia Artificial

Función SoftMax: Activación para la clasificación

La función Softmax convierte un vector de logits (valores arbitrarios) en una distribución de probabilidad donde todos los valores son positivos y suman exactamente 1. Es la activación estándar en la capa de salida para clasificación multiclase, y la operación final que usan los modelos de lenguaje para predecir el siguiente token.