Tres operaciones sencillas del álgebra de matrices sostienen buena parte del cálculo de una red neuronal: la transpuesta, la matriz identidad y la inversa. La transpuesta reordena una tabla de números, la identidad hace de elemento neutro y la inversa deshace lo que otra matriz hizo. Con estas tres piezas se entienden la propagación hacia atrás y la resolución de sistemas lineales. Esta guía las explica una a una, con ejemplos numéricos y sin dar nada por supuesto. La misma explicación está disponible en inglés.

Fórmula clave $(\mathbf{A}^\top)_{ij} = \mathbf{A}_{ji}$

Puntos clave

  • La matriz transpuesta e inversa son dos operaciones distintas: la transpuesta intercambia filas y columnas, y la inversa deshace la transformación de una matriz.
  • La transpuesta de una matriz de tamaño 2×3 es una matriz de 3×2; se escribe Aᵀ y cumple que (AB)ᵀ = BᵀAᵀ.
  • La matriz identidad I tiene unos en la diagonal y ceros en el resto; multiplicar por ella no cambia nada, igual que multiplicar un número por 1.
  • La inversa A⁻¹ solo existe si la matriz es cuadrada y su determinante no es cero; entonces A·A⁻¹ = I.
  • En la retropropagación, el gradiente que vuelve hacia atrás por una capa usa la transpuesta de la matriz de pesos Wᵀ.

La transpuesta y su papel en backprop

La transpuesta de una matriz A es otra matriz, escrita Aᵀ, que se obtiene intercambiando sus filas por sus columnas. El elemento de la fila i y la columna j de A pasa a ocupar la fila j y la columna i de Aᵀ. Por eso una matriz de tamaño 2×3 (2 filas, 3 columnas) se convierte al transponerse en una de 3×2.

Esta operación no es un tecnicismo decorativo. En la propagación hacia adelante, una capa calcula z = Wx + b, la misma expresión que estudiamos en el mapa de las matemáticas de las redes neuronales. Cuando el error vuelve hacia atrás durante la retropropagación, el gradiente respecto a la entrada de la capa se calcula multiplicando por Wᵀ, la transpuesta de la matriz de pesos. La transpuesta es lo que permite que las dimensiones encajen: si W transforma un vector de entrada en un vector de salida, Wᵀ lleva el gradiente en sentido contrario, de la salida a la entrada.

Dos propiedades resultan útiles al programar: la transpuesta de una transpuesta devuelve la matriz original, $(\mathbf{A}^\top)^\top = \mathbf{A}$, y la transpuesta de un producto invierte el orden, $(\mathbf{A}\mathbf{B})^\top = \mathbf{B}^\top\mathbf{A}^\top$. Esta última regla es la que hace que las dimensiones de la retropropagación cuadren capa por capa.

La matriz identidad

La matriz identidad, que se escribe I, es la matriz cuadrada con unos en la diagonal principal y ceros en todas las demás posiciones. Una identidad de tamaño 3×3 tiene, por tanto, 3 unos y 6 ceros. Su papel es el de elemento neutro de la multiplicación de matrices: para cualquier matriz A compatible se cumple que $\mathbf{A}\mathbf{I} = \mathbf{I}\mathbf{A} = \mathbf{A}$.

Como lo definen Goodfellow, Bengio y Courville en su libro Deep Learning, «una matriz identidad es una matriz que no cambia ningún vector cuando lo multiplicamos por ella». Ese comportamiento la convierte en la referencia frente a la que se define la inversa y en un punto de partida cómodo para inicializar ciertas capas, como algunas conexiones residuales, donde interesa empezar sin alterar la señal.

La matriz inversa y cuándo existe

La inversa de una matriz A, escrita $\mathbf{A}^{-1}$, es la matriz que deshace su efecto: al multiplicarlas se obtiene la identidad.

$$\mathbf{A}\mathbf{A}^{-1} = \mathbf{A}^{-1}\mathbf{A} = \mathbf{I}$$

Si una matriz representa una transformación (rotar, escalar, proyectar), su inversa es la transformación que devuelve cada vector a su punto de partida.

No todas las matrices tienen inversa. Para que A⁻¹ exista se deben cumplir dos condiciones: la matriz tiene que ser cuadrada (mismo número de filas que de columnas) y su determinante no puede ser cero. Cuando el determinante vale 0, la matriz se llama singular y aplasta el espacio sobre una dimensión menor, de modo que la información se pierde y no hay forma de volver atrás. Una matriz de 2×2 como [[1, 2], [2, 4]] tiene determinante 0 (porque 1·4 − 2·2 = 0) y, por tanto, no es invertible.

En la práctica del aprendizaje profundo rara vez se invierte una matriz de pesos de forma explícita: es costoso y numéricamente inestable. En su lugar se resuelven sistemas lineales o se usa el descenso de gradiente. La inversa importa sobre todo como concepto y aparece en métodos clásicos como la regresión por mínimos cuadrados y en técnicas de optimización de segundo orden.

En una matriz ortogonal la inversa coincide con la transpuesta, $\mathbf{A}^{-1} = \mathbf{A}^\top$. Por eso invertir una rotación es tan barato como transponerla, y algunas capas se inicializan con matrices ortogonales para preservar la señal.

Uso en redes neuronales

Estas tres operaciones se combinan constantemente. En la retropropagación, la transpuesta de la matriz de pesos redirige el gradiente hacia las capas anteriores. La identidad aparece al inicializar pesos y en las conexiones residuales de arquitecturas como ResNet, que sumaron millones de capas efectivas al permitir que la señal pase sin modificarse. Y la idea de inversa está detrás de la resolución de sistemas y de por qué preferimos métodos iterativos: invertir una matriz de 1000×1000 exige del orden de mil millones de operaciones, mientras que un paso de descenso de gradiente es mucho más barato.

Si quieres ver cómo encajan con el producto de matrices que hay dentro de cada capa, el siguiente paso natural es la multiplicación de matrices en redes neuronales.

Ejemplos

Transponer una matriz

Partimos de una matriz de 2×3:

$$\mathbf{A} = \begin{bmatrix} 1 & 2 & 3 \ 4 & 5 & 6 \end{bmatrix}$$

Su transpuesta es de 3×2, con las filas convertidas en columnas:

$$\mathbf{A}^\top = \begin{bmatrix} 1 & 4 \ 2 & 5 \ 3 & 6 \end{bmatrix}$$

En NumPy esto es simplemente A.T, una operación que ni siquiera copia los datos: solo cambia cómo se recorren.

Comprobar una inversa

Tomamos una matriz cuadrada con determinante distinto de cero:

$$\mathbf{A} = \begin{bmatrix} 2 & 0 \ 0 & 4 \end{bmatrix}$$

Su determinante es 2·4 − 0·0 = 8, así que es invertible. La inversa se obtiene invirtiendo cada valor de la diagonal:

$$\mathbf{A}^{-1} = \begin{bmatrix} 0{,}5 & 0 \ 0 & 0{,}25 \end{bmatrix}$$

Y al multiplicarlas recuperamos la identidad, $\mathbf{A}\mathbf{A}^{-1} = \begin{bmatrix} 1 & 0 \ 0 & 1 \end{bmatrix} = \mathbf{I}$, que es la comprobación de que el cálculo es correcto.

Preguntas frecuentes

¿Cuál es la diferencia entre la transpuesta y la inversa de una matriz?

La transpuesta solo reordena los números, intercambiando filas por columnas, y existe para cualquier matriz. La inversa, en cambio, deshace la transformación que representa la matriz y solo existe si la matriz es cuadrada y su determinante no es cero. Son operaciones con propósitos distintos, aunque en las matrices ortogonales coinciden: allí la transpuesta es igual a la inversa.

¿Por qué aparece la transpuesta en la retropropagación?

Porque el gradiente viaja en sentido contrario a la señal. Si una capa transforma la entrada con la matriz W, el error tiene que volver de la salida a la entrada, y la matriz que realiza ese camino inverso, respetando las dimensiones, es la transpuesta Wᵀ. No es la inversa: es la transpuesta, que es mucho más barata de calcular y siempre existe.

¿Toda matriz tiene inversa?

No. Solo las matrices cuadradas con determinante distinto de cero, llamadas invertibles o no singulares, tienen inversa. Si el determinante es 0, la matriz colapsa el espacio y pierde información, por lo que no hay forma de deshacer su efecto.

Conclusión

La transpuesta, la matriz identidad y la inversa son el vocabulario mínimo para leer con soltura las fórmulas de una red neuronal. La transpuesta reordena y mueve gradientes hacia atrás, la identidad es el 1 que no cambia nada y la inversa deshace transformaciones cuando existe. Con estas tres ideas claras, la retropropagación deja de ser una fórmula misteriosa. El siguiente paso es repasar el mapa completo de las matemáticas de las redes neuronales y seguir con la multiplicación de matrices.

Fuentes

  1. Mathematics for Machine Learning (Deisenroth, Faisal y Ong)
  2. Deep Learning (Goodfellow, Bengio y Courville)
  3. numpy.transpose, documentación de NumPy
  4. Invertible matrix (Wikipedia)

Ruta: Fundamentos matemáticos de las redes neuronales