Etiqueta
La función exponencial eˣ y su inversa, el logaritmo natural ln(x), aparecen una y otra vez en el aprendizaje profundo. La exponencial construye la sigmoide y la softmax para convertir números en probabilidades, y el logaritmo natural define la entropía cruzada, la pérdida con la que se entrenan los clasificadores.
La multiplicación de matrices es la operación central de una red neuronal: cada capa agrupa sus pesos en una matriz W y calcula su salida como el producto W por X. Esa sola operación, repetida capa tras capa, es la que convierte las entradas en predicciones y explica por qué las tarjetas gráficas dominan el aprendizaje profundo.
Las matemáticas de las redes neuronales se apoyan en tres bloques: el álgebra lineal representa datos y pesos como vectores y matrices, el cálculo con derivadas y la regla de la cadena permite que la red aprenda mediante el descenso de gradiente, y la probabilidad da forma a las funciones de pérdida. Este mapa recorre ese camino de principio a fin.
ReLU (Unidad Lineal Rectificada, f(x) = max(0, x)) es la función de activación dominante en el aprendizaje profundo desde que AlexNet la popularizó en 2012: barata de calcular, resistente al desvanecimiento del gradiente y con una debilidad conocida, el dying ReLU.
