Entropía, entropía cruzada y divergencia KL
Sobre este vídeo
Entropía, entropía cruzada y divergencia KL, visualizadas.
La entropía mide la incertidumbre media de una distribución en bits, la entropía cruzada mide el coste de codificar los datos reales con un modelo equivocado y la divergencia KL es la diferencia entre ambas. Por eso minimizar la entropía cruzada al entrenar equivale a minimizar la divergencia KL frente a las etiquetas.
Transcripción del vídeo
- 0:02 La entropía cruzada compara la predicción con la clase verdadera, la B.
- 0:07 Cuanta más probabilidad le da la red, más baja la pérdida:
- 0:11 de 1,08 a 0,13.
Más vídeos
Explicación
El bucle agéntico y el patrón ReAct
El bucle agéntico (razonar, actuar, observar) en movimiento.
Explicación
El momentum en el descenso de gradiente
Cómo el momentum acumula velocidad y suaviza el descenso de gradiente.
Explicación
El grafo computacional y la diferenciación automática
El grafo computacional y la diferenciación automática, en acción.
Explicación
Retropropagación, la derivación matemática paso a paso
La derivación de la retropropagación, factor a factor con la regla de la cadena.
Explicación
Retropropagación, la intuición detrás del aprendizaje
La intuición de la retropropagación: el error fluye hacia atrás por la red.
Explicación
Descenso de gradiente por lotes, estocástico y mini-batch
Batch, estocástico y mini-batch: tres formas de recorrer los datos.