Etiqueta
Google ha lanzado Gemini 2.0 con un énfasis claro en uso de herramientas y agentes. Repaso de qué aporta, dónde está por detrás de la competencia y en qué tipo de aplicaciones encaja mejor.
Los procesadores Copilot+ de Qualcomm, Intel y AMD han normalizado la presencia de una NPU en el PC doméstico. Una NPU de 40 TOPS puede ejecutar Phi-3 Mini cuantizado consumiendo entre 5 y 10 W, frente a los 40-50 W de una GPU de portátil haciendo la misma tarea. Qué cambia realmente para ejecutar modelos localmente y cuándo merece la pena.
LoRA entrena solo dos matrices pequeñas por capa y QLoRA lo hace sobre un modelo base en 4 bits. La cuenta de memoria de cada técnica y un ejemplo reproducible en Docker sin GPU: LoRA entrenó el 3,5 % de los parámetros de SmolLM2-135M con un pico de 2,35 GB, frente a 3,88 GB del ajuste completo.
Claude 3.5 Sonnet (Anthropic, junio de 2024) iguala la calidad de Claude 3 Opus al precio del tier Sonnet, con 200 k tokens de contexto y un 92 % en HumanEval. Destaca especialmente en coding y seguimiento de instrucciones largas, y fue el primer modelo en integrar la función Artifacts en Claude.ai.
Mistral Large 2, lanzado por la startup francesa Mistral AI en julio de 2024, es un modelo de 123.000 millones de parámetros con ventana de contexto de 128k tokens que rivaliza con GPT-4o y Claude 3.5 Sonnet en varios benchmarks. Su residencia de datos en la UE y su precio de 3 EUR por millón de tokens de entrada lo convierten en la alternativa europea más seria frente a los proveedores estadounidenses.
GPT-4 Turbo, lanzado en noviembre de 2023, amplió el contexto de GPT-4 a 128.000 tokens y redujo el precio de entrada 3 veces, hasta 10 dólares por millón de tokens. GPT-4o lo supera en precio, velocidad y calidad de respuesta, pero Turbo sigue siendo válido en apps productivas estables, contratos con versión fija y pruebas deterministas que dependen de su comportamiento concreto.
La decodificación restringida garantiza matemáticamente que la salida de un LLM cumpla el esquema JSON. En cada paso de generación se enmascaran los tokens ilegales y es imposible producir JSON roto. Outlines, Guidance e Instructor son las implementaciones de referencia. Gana a los reintentos en extracción masiva y agentes con tool calling.
Mixtral 8x22B es el modelo Mixture of Experts de Mistral AI liberado en abril de 2024: 141B parámetros totales pero solo 39B activos por token, licencia Apache 2.0 sin restricciones comerciales y rendimiento multilingüe superior a Llama 3 70B en español, francés, italiano y alemán. Requiere GPU de datacenter para servirlo en producción real.
Claude 2, lanzado por Anthropic en julio de 2023, ofrece una ventana de contexto de 100.000 tokens y seguridad basada en Constitutional AI. Frente a GPT-4, gana en analisis de documentos largos y codigo con contexto amplio; GPT-4 sigue adelante en razonamiento matematico complejo y en su ecosistema de herramientas.
LangChain es un framework Python que unifica la construcción de aplicaciones con LLM: prompt templates, retrievers sobre bases vectoriales, agentes con function calling y memoria conversacional. Aporta valor real en prototipos rápidos y sistemas con varios modelos, pero en producción de un caso único bien definido el código directo suele ser más mantenible.
Function calling en OpenAI formaliza la comunicación entre el LLM y el código externo mediante JSON Schema declarativo: el modelo devuelve datos estructurados en lugar de texto libre. Introducido en junio de 2023 con GPT-3.5-turbo y GPT-4, es el estándar para agentes, extracción de datos y APIs conversacionales.
Cinco meses después de su lanzamiento, GPT-4 destaca en razonamiento encadenado, escritura técnica y código de mediana complejidad, pero sigue fallando en aritmética, información posterior a su corte de datos y consistencia entre conversaciones. Claude 2 gana en contexto largo; LLaMA 2, en coste y privacidad.
Google lanzó Bard en febrero de 2023 con PaLM 2 como respuesta a ChatGPT, y presentó el modelo en mayo del mismo año en cuatro tamaños: Gecko, Otter, Bison y Unicorn. PaLM 2 compite con GPT-3.5 y GPT-4 en benchmarks como MMLU y BIG-bench, pero la ventaja real de Google está en la integración con Workspace, no en el modelo en sí.
El fine-tuning de un LLM propio compensa en tres casos: necesitas un estilo o voz muy específicos, un formato de salida rígido y estructurado, o quieres reducir coste y latencia con un modelo pequeño especializado. LoRA y QLoRA han bajado el coste de GPU, pero preparar datos y operar el modelo en producción siguen siendo caros. Para el resto, RAG y prompt engineering bastan.
Cerebras-GPT es una familia de 7 modelos de lenguaje open-source, de 111 millones a 13.000 millones de parámetros, entrenados por Cerebras Systems en sus procesadores CS-2 con arquitectura GPT-3 estándar. Publicados en Hugging Face y GitHub bajo licencia Apache 2.0, sirven para fine-tuning, investigación e inferencia local, aunque solo entienden inglés.
GitHub Copilot es un asistente de programación basado en IA que sugiere código mientras escribes, integrado en VS Code, JetBrains y Neovim. Acelera tareas repetitivas y la exploración de APIs, pero genera código plausible con errores reales: los estudios documentan vulnerabilidades de seguridad en buena parte de sus sugerencias, así que toda propuesta necesita revisión humana.
