Etiqueta
Los métodos de segundo orden usan la hessiana, la matriz de segundas derivadas de la pérdida, para orientar mejor cada paso que el gradiente solo. El método de Newton actualiza los pesos restando la inversa de la hessiana por el gradiente, pero invertirla es demasiado costoso en redes grandes, así que se recurre a aproximaciones cuasi-Newton.
En una capa densa con z igual a Wx más b, la matriz jacobiana de la salida respecto a la entrada es la propia matriz de pesos W. De ahí salen las dos reglas del entrenamiento: el gradiente respecto a los pesos vale delta por x transpuesta, y el gradiente respecto a la entrada vale W transpuesta por delta.
El error absoluto medio (MAE) promedia el valor absoluto de la diferencia entre predicción y realidad, así que un valor atípico pesa lo justo y no dispara la pérdida. La pérdida de Huber combina esa robustez con la suavidad del error cuadrático medio mediante un parámetro delta que decide dónde cambia de comportamiento.
El error cuadrático medio (MSE) es la función de pérdida más común en regresión: promedia el cuadrado de la diferencia entre cada valor real y su predicción. Elevar al cuadrado castiga con fuerza los fallos grandes, hace la función derivable y fija un objetivo claro para el descenso de gradiente.
Las reglas de derivación esenciales son un puñado de fórmulas que convierten cualquier función en su derivada: la regla de la potencia, las del producto y del cociente, y las del exponencial y el logaritmo. Con ellas, más la regla de la cadena, una red neuronal calcula gradientes y aprende ajustando sus pesos.
La matriz transpuesta intercambia filas por columnas y aparece en cada paso de la retropropagación; la matriz identidad actúa como el 1 del álgebra de matrices y no altera ningún vector, y la matriz inversa deshace una transformación, aunque solo existe cuando la matriz es cuadrada y su determinante no es cero.
Las matemáticas de las redes neuronales se apoyan en tres bloques: el álgebra lineal representa datos y pesos como vectores y matrices, el cálculo con derivadas y la regla de la cadena permite que la red aprenda mediante el descenso de gradiente, y la probabilidad da forma a las funciones de pérdida. Este mapa recorre ese camino de principio a fin.
