Etiqueta
En una capa densa con z igual a Wx más b, la matriz jacobiana de la salida respecto a la entrada es la propia matriz de pesos W. De ahí salen las dos reglas del entrenamiento: el gradiente respecto a los pesos vale delta por x transpuesta, y el gradiente respecto a la entrada vale W transpuesta por delta.
La propagación hacia delante es el proceso por el que una red neuronal transforma la entrada en una predicción, capa por capa. En cada capa multiplica el vector de entradas por una matriz de pesos, suma un sesgo y aplica una función de activación, de modo que la salida de una capa alimenta a la siguiente hasta el resultado final.
La norma de un vector mide su longitud o magnitud. La norma L1 suma los valores absolutos de las componentes y la norma L2 aplica el teorema de Pitágoras: raíz de la suma de cuadrados. Ambas definen distancias distintas entre puntos y son la base de la regularización que evita el sobreajuste en las redes neuronales.
La matriz transpuesta intercambia filas por columnas y aparece en cada paso de la retropropagación; la matriz identidad actúa como el 1 del álgebra de matrices y no altera ningún vector, y la matriz inversa deshace una transformación, aunque solo existe cuando la matriz es cuadrada y su determinante no es cero.
La multiplicación de matrices es la operación central de una red neuronal: cada capa agrupa sus pesos en una matriz W y calcula su salida como el producto W por X. Esa sola operación, repetida capa tras capa, es la que convierte las entradas en predicciones y explica por qué las tarjetas gráficas dominan el aprendizaje profundo.
El producto escalar multiplica cada entrada por su peso y suma los resultados en un solo número. Una neurona usa esa operación para calcular su suma ponderada z igual a w por x más el sesgo b, y ese valor decide, tras la activación, cuánto se enciende la neurona ante los datos que recibe.
Un escalar es un solo número, un vector una lista ordenada de números, una matriz una tabla de dos dimensiones y un tensor la generalización a cualquier número de dimensiones. En una red neuronal los datos entran como vectores y los pesos forman matrices, de modo que cada capa calcula z = Wx + b combinando ambos.
Las matemáticas de las redes neuronales se apoyan en tres bloques: el álgebra lineal representa datos y pesos como vectores y matrices, el cálculo con derivadas y la regla de la cadena permite que la red aprenda mediante el descenso de gradiente, y la probabilidad da forma a las funciones de pérdida. Este mapa recorre ese camino de principio a fin.
