La probabilidad en redes neuronales aparece en tres ideas: una distribución asigna pesos a los resultados posibles, el valor esperado promedia esos resultados y la verosimilitud mide cómo de bien encaja el modelo con los datos. De esas tres piezas nacen la softmax y la entropía cruzada.
La función Softmax convierte un vector de logits (valores arbitrarios) en una distribución de probabilidad donde todos los valores son positivos y suman exactamente 1. Es la activación estándar en la capa de salida para clasificación multiclase, y la operación final que usan los modelos de lenguaje para predecir el siguiente token.
5 min7364,1
Usamos cookies propias y de terceros para analizar el tráfico del sitio. Puedes aceptarlas, rechazarlas o configurar tu elección.
Más información sobre las cookies
Preferencias de cookies
NecesariasImprescindibles para el funcionamiento del sitio. Siempre activas.
AnalíticasNos ayudan a entender cómo se usa el sitio (Google Analytics).