Etiqueta
La normalización de capa estabiliza el entrenamiento normalizando cada ejemplo por separado, con la media y la desviación típica de sus propias activaciones. A diferencia de la normalización por lotes, no depende del tamaño del lote, y por eso los transformers la adoptaron. RMSNorm es su variante más ligera y extendida hoy.
La programación de la tasa de aprendizaje cambia el valor de η a lo largo del entrenamiento en lugar de dejarlo fijo. Empieza con un calentamiento que sube η desde casi cero, mantiene un pico y después la reduce con decaimiento por pasos, exponencial o coseno para converger más rápido y con menos oscilación.
La función GELU (Gaussian Error Linear Unit) multiplica cada valor de entrada por la probabilidad de que la normal estándar sea menor que ese valor. El resultado es una curva suave, con derivada continua, que pesa las entradas por su magnitud y se ha convertido en la activación por defecto de BERT y GPT.
El procesamiento del lenguaje natural (NLP) es la disciplina de IA que permite a las máquinas entender, interpretar y generar texto y voz humana. Impulsado por la arquitectura transformer desde 2017, el NLP alimenta chatbots, traductores automáticos y sistemas de diagnóstico clínico, con retos pendientes en razonamiento causal, eficiencia energética y mitigación de sesgos.
