Etiqueta
Direct Preference Optimization (DPO) y sus variantes, IPO, KTO y SimPO, han desplazado a RLHF como método preferido para alinear modelos de lenguaje: eliminan el modelo de recompensa separado, reducen el coste de entrenamiento y son más fáciles de reproducir. RLHF conserva ventaja solo en modelos frontera con presupuesto muy grande.
Los datos sintéticos han dejado de ser un sustituto precario de los datos reales para convertirse en un componente central del entrenamiento moderno de modelos: el patrón más fiable amplía un núcleo real de 500 ejemplos con miles de parafraseos sintéticos, siempre que se valide diversidad, corrección y distribución, y se mantenga al menos un 30% de datos reales para evitar el colapso del modelo.
Tres años después de que RLHF se hiciera popular, el paisaje del alineamiento de modelos es más rico. Repaso de RLHF, DPO y los métodos más recientes como KTO o ORPO, con criterios para elegir.
LoRA reduce el coste del fine-tuning de modelos de lenguaje al entrenar solo pequeñas matrices de adaptación de rango bajo, no todos los parámetros del modelo base. QLoRA añade cuantización a 4 bits, lo que recorta la memoria de GPU necesaria entre un 65 % y un 75 %, con una pérdida de calidad de solo 1-3 %.
El fine-tuning de un LLM propio compensa en tres casos: necesitas un estilo o voz muy específicos, un formato de salida rígido y estructurado, o quieres reducir coste y latencia con un modelo pequeño especializado. LoRA y QLoRA han bajado el coste de GPU, pero preparar datos y operar el modelo en producción siguen siendo caros. Para el resto, RAG y prompt engineering bastan.
La transferencia de aprendizaje permite reutilizar un modelo ya entrenado en un conjunto de datos masivo, como ImageNet o un corpus de texto extenso, para resolver una tarea nueva con muchos menos datos propios y horas de cómputo. Funciona mediante fine-tuning, extracción de características o prompts, y rinde mejor cuanto más se parecen el dominio de origen y el de destino.
