Inteligencia Artificial
La Función Leaky ReLU y su papel en las Redes Neuronales
Leaky ReLU es una función de activación derivada de ReLU que sustituye el valor cero de las entradas negativas por una pendiente pequeña, normalmente 0.01. Así el gradiente nunca es exactamente cero, lo que evita el problema de la neurona muerta y estabiliza el entrenamiento en redes convolucionales, recurrentes y GAN muy profundas.