La entropía cruzada categórica es la función de pérdida estándar para clasificar en varias clases mutuamente excluyentes. Compara la distribución que predice la red, normalmente tras una softmax, con la etiqueta real codificada en formato one-hot, y penaliza con fuerza asignar poca probabilidad a la clase correcta.
La función Softmax convierte un vector de logits (valores arbitrarios) en una distribución de probabilidad donde todos los valores son positivos y suman exactamente 1. Es la activación estándar en la capa de salida para clasificación multiclase, y la operación final que usan los modelos de lenguaje para predecir el siguiente token.
5 min7364,1
Usamos cookies propias y de terceros para analizar el tráfico del sitio. Puedes aceptarlas, rechazarlas o configurar tu elección.
Más información sobre las cookies
Preferencias de cookies
NecesariasImprescindibles para el funcionamiento del sitio. Siempre activas.
AnalíticasNos ayudan a entender cómo se usa el sitio (Google Analytics).