Etiqueta
El dropout es una técnica de regularización que desactiva neuronas al azar durante el entrenamiento, con probabilidad de retención p, y divide las activaciones supervivientes entre p para conservar su escala. En inferencia la red completa actúa sin apagar nada. Matemáticamente equivale a promediar un ensemble enorme de subredes que comparten pesos.
La regularización L1 y L2 añade a la función de pérdida un término que penaliza los pesos grandes. La L2, o weight decay, encoge los pesos de forma suave hacia cero; la L1 los lleva exactamente a cero y produce modelos dispersos. Ambas reducen el sobreajuste y mejoran la capacidad de generalización de una red neuronal.
La norma de un vector mide su longitud o magnitud. La norma L1 suma los valores absolutos de las componentes y la norma L2 aplica el teorema de Pitágoras: raíz de la suma de cuadrados. Ambas definen distancias distintas entre puntos y son la base de la regularización que evita el sobreajuste en las redes neuronales.
