La entropía cruzada binaria es la función de pérdida estándar para clasificar entre dos clases. Compara la probabilidad que devuelve la sigmoide con la etiqueta real, 0 o 1, y castiga con fuerza los fallos seguros. Su fórmula nace de la máxima verosimilitud y su derivada se combina con la sigmoide en un gradiente muy simple.
La función sigmoide comprime cualquier valor real en el rango (0, 1), lo que la convierte en la función de activación natural para modelar probabilidades en redes neuronales. Es diferenciable en todos los puntos, lo que permite el entrenamiento por backpropagation, aunque sufre saturación y desvanecimiento del gradiente en las capas profundas, donde ReLU y tanh la sustituyen.
6 min9754,2
Usamos cookies propias y de terceros para analizar el tráfico del sitio. Puedes aceptarlas, rechazarlas o configurar tu elección.
Más información sobre las cookies
Preferencias de cookies
NecesariasImprescindibles para el funcionamiento del sitio. Siempre activas.
AnalíticasNos ayudan a entender cómo se usa el sitio (Google Analytics).