Etiqueta
LoRA reduce el coste del fine-tuning de modelos de lenguaje al entrenar solo pequeñas matrices de adaptación de rango bajo, no todos los parámetros del modelo base. QLoRA añade cuantización a 4 bits, lo que recorta la memoria de GPU necesaria entre un 65 % y un 75 %, con una pérdida de calidad de solo 1-3 %.
Claude 3.5 Sonnet (Anthropic, junio de 2024) iguala la calidad de Claude 3 Opus al precio del tier Sonnet, con 200 k tokens de contexto y un 92 % en HumanEval. Destaca especialmente en coding y seguimiento de instrucciones largas, y fue el primer modelo en integrar la función Artifacts en Claude.ai.
Mistral Large 2, lanzado por la startup francesa Mistral AI en julio de 2024, es un modelo de 123.000 millones de parámetros con ventana de contexto de 128k tokens que rivaliza con GPT-4o y Claude 3.5 Sonnet en varios benchmarks. Su residencia de datos en la UE y su precio de 3 EUR por millón de tokens de entrada lo convierten en la alternativa europea más seria frente a los proveedores estadounidenses.
GPT-4 Turbo, lanzado en noviembre de 2023, amplió el contexto de GPT-4 a 128.000 tokens y redujo el precio de entrada 3 veces, hasta 10 dólares por millón de tokens. GPT-4o lo supera en precio, velocidad y calidad de respuesta, pero Turbo sigue siendo válido en apps productivas estables, contratos con versión fija y pruebas deterministas que dependen de su comportamiento concreto.
La decodificación restringida garantiza matemáticamente que la salida de un LLM cumpla el esquema JSON. En cada paso de generación se enmascaran los tokens ilegales y es imposible producir JSON roto. Outlines, Guidance e Instructor son las implementaciones de referencia. Gana a los reintentos en extracción masiva y agentes con tool calling.
Mixtral 8x22B es el modelo Mixture of Experts de Mistral AI liberado en abril de 2024: 141B parámetros totales pero solo 39B activos por token, licencia Apache 2.0 sin restricciones comerciales y rendimiento multilingüe superior a Llama 3 70B en español, francés, italiano y alemán. Requiere GPU de datacenter para servirlo en producción real.
