Etiqueta
El dropout es una técnica de regularización que desactiva neuronas al azar durante el entrenamiento, con probabilidad de retención p, y divide las activaciones supervivientes entre p para conservar su escala. En inferencia la red completa actúa sin apagar nada. Matemáticamente equivale a promediar un ensemble enorme de subredes que comparten pesos.
La normalización de capa estabiliza el entrenamiento normalizando cada ejemplo por separado, con la media y la desviación típica de sus propias activaciones. A diferencia de la normalización por lotes, no depende del tamaño del lote, y por eso los transformers la adoptaron. RMSNorm es su variante más ligera y extendida hoy.
La normalización por lotes (batch normalization) es una técnica que normaliza las activaciones de cada capa usando la media y la varianza del minilote, y después las reescala con dos parámetros aprendibles, gamma y beta. Introducida en 2015, permite tasas de aprendizaje más altas, acelera el entrenamiento y estabiliza las redes profundas.
La inicialización de pesos fija la escala de los valores iniciales de la matriz W antes de entrenar. Xavier/Glorot, de 2010, reparte la varianza entre entradas y salidas y sirve para sigmoide y tanh; He, de 2015, la duplica para ReLU, que anula la mitad de las activaciones. Elegir mal frena o rompe el aprendizaje.
Los métodos de segundo orden usan la hessiana, la matriz de segundas derivadas de la pérdida, para orientar mejor cada paso que el gradiente solo. El método de Newton actualiza los pesos restando la inversa de la hessiana por el gradiente, pero invertirla es demasiado costoso en redes grandes, así que se recurre a aproximaciones cuasi-Newton.
Adam combina el momento de primer orden (media móvil del gradiente) y el de segundo orden (media de sus cuadrados) para dar a cada parámetro su propia tasa de aprendizaje. Con la corrección de sesgo y los valores por defecto β1=0,9, β2=0,999 y ε=1e-8, converge rápido y casi sin ajustar nada.
El momentum es una mejora del descenso de gradiente que acumula una velocidad a partir de los gradientes anteriores en lugar de mirar solo el actual. Con un coeficiente β cercano a 0,9, esa inercia suaviza el zigzag del SGD puro, atraviesa los valles alargados y hace que el entrenamiento converja bastante más rápido.
En redes neuronales grandes la superficie de pérdida casi nunca atrapa al entrenamiento en un mínimo local malo. El obstáculo real son los puntos de silla, mucho más abundantes en alta dimensión. Este artículo explica mínimos locales frente a globales, por qué el descenso de gradiente estocástico los esquiva y qué papel juega la convexidad.
La retropropagación reparte la culpa del error entre todos los pesos de una red neuronal. Propaga hacia atrás una señal de error capa por capa, multiplicando por las derivadas locales, y así obtiene el gradiente de cada peso en una sola pasada. Esa idea, publicada en 1986, es la que hace posible entrenar redes profundas.
El descenso de gradiente es el algoritmo que entrena casi todas las redes neuronales. Calcula la pendiente de la función de pérdida respecto a cada peso y da un paso pequeño en la dirección contraria, controlado por la tasa de aprendizaje, hasta acercarse a un mínimo donde el error deja de bajar.
El error absoluto medio (MAE) promedia el valor absoluto de la diferencia entre predicción y realidad, así que un valor atípico pesa lo justo y no dispara la pérdida. La pérdida de Huber combina esa robustez con la suavidad del error cuadrático medio mediante un parámetro delta que decide dónde cambia de comportamiento.
Una función de pérdida mide cuánto se equivoca una red neuronal en un solo ejemplo, comparando su predicción con el valor correcto. La función de coste promedia esa pérdida sobre todo el conjunto de datos. Ese número único es el que el entrenamiento intenta reducir paso a paso con el descenso de gradiente.
La propagación hacia delante es el proceso por el que una red neuronal transforma la entrada en una predicción, capa por capa. En cada capa multiplica el vector de entradas por una matriz de pesos, suma un sesgo y aplica una función de activación, de modo que la salida de una capa alimenta a la siguiente hasta el resultado final.
El gradiente explosivo ocurre cuando la norma del gradiente crece sin control al retropropagar el error, sobre todo en redes profundas y recurrentes con pesos grandes. El entrenamiento se desestabiliza y la pérdida se vuelve NaN. El recorte de gradiente, junto con una buena inicialización y normalización, es la solución estándar.
El gradiente que se desvanece aparece cuando la señal de error se encoge al retropropagarse por muchas capas. Las funciones sigmoide y tangente hiperbólica tienen derivadas pequeñas, y su producto tiende a cero, así que las primeras capas apenas aprenden. ReLU, una buena inicialización y la normalización resuelven el problema.
Elegir una función de activación es sencillo con una regla base: usa ReLU en las capas ocultas, GELU o SiLU en transformers y reserva la salida para softmax en clasificación multiclase, sigmoide en problemas binarios y una activación lineal en regresión. Esta comparativa reúne fórmulas, rangos y casos de uso.
La función Mish se define como mish(x) = x·tanh(softplus(x)). Es suave, no monótona y se autorregulariza, propiedades que le permiten superar a Swish y a ReLU en muchas pruebas. El detector de objetos YOLOv4 la adoptó en su columna vertebral como activación por defecto.
La función Softplus se define como softplus(x) = ln(1 + eˣ): una aproximación suave y siempre positiva de ReLU cuya derivada es exactamente la sigmoide. Es derivable en todo su dominio, evita el vértice anguloso de ReLU y su salida nunca llega a cero del todo.
La función SELU (Scaled Exponential Linear Unit) se define como SELU(x) igual a lambda por ELU(x), con lambda cercano a 1,0507 y alfa cercano a 1,6733. Esas dos constantes hacen que las activaciones converjan solas hacia media cero y varianza uno capa tras capa, y crean redes profundas que se normalizan a sí mismas sin batch normalization.
La función ELU (Exponential Linear Unit) devuelve x cuando la entrada es positiva y α(eˣ−1) cuando es negativa. Al permitir valores negativos suaves, acerca a cero la media de las activaciones, acelera la convergencia frente a ReLU y evita las neuronas muertas gracias a un gradiente que nunca se anula del todo.
La función Swish, también llamada SiLU, multiplica la entrada por su sigmoide: swish(x) = x·σ(x). Es suave, no monótona y se autorregula, por lo que suele superar a ReLU en redes profundas. Modelos como LLaMA y EfficientNet la usan como activación por defecto.
La función GELU (Gaussian Error Linear Unit) multiplica cada valor de entrada por la probabilidad de que la normal estándar sea menor que ese valor. El resultado es una curva suave, con derivada continua, que pesa las entradas por su magnitud y se ha convertido en la activación por defecto de BERT y GPT.
Una función de activación es la operación no lineal que cada neurona aplica a su suma ponderada z para producir su salida a igual a f de z. Sin ella, apilar capas solo encadena transformaciones lineales y toda la red se reduce a una sola. La no linealidad es lo que permite aprender patrones complejos.
En una neurona artificial, los pesos miden la importancia de cada entrada y el sesgo desplaza el resultado. La neurona multiplica cada entrada por su peso, suma todo y añade el sesgo para obtener la suma ponderada z = Wx + b, el número que luego pasa por la función de activación.
La función exponencial eˣ y su inversa, el logaritmo natural ln(x), aparecen una y otra vez en el aprendizaje profundo. La exponencial construye la sigmoide y la softmax para convertir números en probabilidades, y el logaritmo natural define la entropía cruzada, la pérdida con la que se entrenan los clasificadores.
La multiplicación de matrices es la operación central de una red neuronal: cada capa agrupa sus pesos en una matriz W y calcula su salida como el producto W por X. Esa sola operación, repetida capa tras capa, es la que convierte las entradas en predicciones y explica por qué las tarjetas gráficas dominan el aprendizaje profundo.
Las matemáticas de las redes neuronales se apoyan en tres bloques: el álgebra lineal representa datos y pesos como vectores y matrices, el cálculo con derivadas y la regla de la cadena permite que la red aprenda mediante el descenso de gradiente, y la probabilidad da forma a las funciones de pérdida. Este mapa recorre ese camino de principio a fin.
DINOv2 es el modelo de visión por computadora de Meta AI entrenado con autoaprendizaje sobre 142 millones de imágenes sin etiquetas humanas. Con una simple capa lineal sobre el codificador congelado iguala o supera a modelos supervisados en clasificación ImageNet, segmentación semántica y estimación de profundidad monocular.
La tangente hiperbólica (tanh) es una función de activación que comprime cualquier valor real en el intervalo (-1, 1) con salida centrada en cero, lo que reduce el sesgo sistemático de los gradientes frente a la sigmoide. Es la activación estándar en las celdas de memoria LSTM y GRU de las redes recurrentes.
La función sigmoide convierte cualquier número real en un valor entre 0 y 1, lo que la vuelve la función de activación natural para expresar probabilidades en una red neuronal. Es diferenciable en todo su dominio, aunque sufre saturación y desvanecimiento del gradiente en redes profundas, por lo que hoy se reserva casi siempre a la capa de salida.
La función Softmax transforma los logits de salida de una red neuronal en una distribución de probabilidad que suma 1. Es la activación estándar en clasificación multiclase, desde clasificadores de imágenes hasta el vocabulario de los modelos de lenguaje como GPT.
Leaky ReLU es una función de activación derivada de ReLU que sustituye el valor cero de las entradas negativas por una pendiente pequeña, normalmente 0.01. Así el gradiente nunca es exactamente cero, lo que evita el problema de la neurona muerta y estabiliza el entrenamiento en redes convolucionales, recurrentes y GAN muy profundas.
ReLU (Unidad Lineal Rectificada, f(x) = max(0, x)) es la función de activación dominante en el aprendizaje profundo desde que AlexNet la popularizó en 2012: barata de calcular, resistente al desvanecimiento del gradiente y con una debilidad conocida, el dying ReLU.
La función escalón o de Heaviside es la función de activación más simple de una red neuronal: convierte cualquier entrada en una salida binaria, 0 o 1, según supere o no un umbral fijo. Fue el mecanismo central del perceptrón de Rosenblatt en 1958, pero su derivada es nula en casi todo punto, por lo que hoy se sustituye por la sigmoide o la ReLU.
La función lineal f(x) = ax + b es la activación más simple de una red neuronal: en su forma identidad, f(x) = x, es el estándar en la capa de salida para regresión porque no acota el rango de valores posibles. En capas ocultas falla, porque componer varias funciones lineales colapsa toda la red en una única capa lineal equivalente.
La red neuronal totalmente conectada, también llamada red densa, es la arquitectura fundamental del aprendizaje profundo: cada neurona de una capa se conecta con todas las neuronas de la capa anterior y de la siguiente. Esta conectividad total le permite aproximar cualquier función continua, aunque su coste computacional crece de forma cuadrática con el número de neuronas.
En una red neuronal, la entrada se representa como un vector columna x en R^n que la capa oculta transforma mediante una matriz de pesos W, un vector de sesgos b y una función de activación no lineal como ReLU, sigmoide o tanh. El entrenamiento ajusta W y b minimizando la función de pérdida con descenso por gradiente y retropropagación.
Una red neuronal multicapa está formada por una capa de entrada, una o más capas ocultas y una capa de salida, donde cada neurona pondera sus entradas y aplica una función de activación no lineal antes de pasar el resultado a la siguiente capa. Mediante forward propagation y backpropagation, la red ajusta millones de pesos hasta aprender representaciones jerárquicas capaces de clasificar imágenes, traducir texto o generar lenguaje.
La transferencia de aprendizaje permite reutilizar un modelo ya entrenado en un conjunto de datos masivo, como ImageNet o un corpus de texto extenso, para resolver una tarea nueva con muchos menos datos propios y horas de cómputo. Funciona mediante fine-tuning, extracción de características o prompts, y rinde mejor cuanto más se parecen el dominio de origen y el de destino.
El aprendizaje de máquina adversarial estudia los ataques deliberados contra sistemas de IA (evasión, envenenamiento y extracción de modelos) y las defensas para resistirlos, sobre todo el entrenamiento adversarial, la certificación de robustez y la monitorización de la distribución de datos de entrada en producción.
El aprendizaje federado entrena modelos de IA de forma colaborativa entre varios dispositivos u organizaciones sin mover los datos originales: cada participante entrena en local y solo envía gradientes al servidor central. Formalizado por Google en 2016, no garantiza privacidad por sí solo: necesita privacidad diferencial o agregación segura para evitar fugas de información en esos gradientes.
El aprendizaje por refuerzo es la técnica de IA en la que un agente aprende a tomar decisiones óptimas por prueba y error, sin datos etiquetados: actúa en un entorno, recibe una recompensa o penalización según el resultado y ajusta su estrategia para maximizar la recompensa acumulada a largo plazo.
La visión computarizada es la rama de la inteligencia artificial que permite a las máquinas interpretar imágenes digitales: detectar objetos, segmentar regiones y reconocer patrones mediante redes neuronales convolucionales. Desde 2012, cuando AlexNet redujo el error de clasificación en ImageNet al 15,3%, se aplica en fabricación, medicina, transporte y agricultura de precisión.
Las redes neuronales profundas son hoy la base de casi toda aplicación de inteligencia artificial: desde el reconocimiento facial hasta la traducción automática. Con arquitecturas como CNN, RNN y Transformers, el deep learning ha transformado la visión computarizada, el reconocimiento de voz y el procesamiento del lenguaje natural durante la última década.
La inteligencia artificial moderna se apoya en tres pilares: aprendizaje automático, redes neuronales profundas y procesamiento del lenguaje natural. Estas técnicas han llevado el reconocimiento de imágenes y la traducción automática a superar la precisión humana en tareas concretas, aunque el sistema completo sigue dependiendo de datos de calidad y supervisión humana constante.
