Categoría
Inteligencia artificial sin hype: modelos, agentes y casos de uso que funcionan en producción.
Medir la calidad de un sistema RAG con rigor exige más que revisar unas cuantas respuestas: hacen falta métricas objetivas (fidelidad, relevancia, precisión y cobertura de contexto), un conjunto dorado de cientos de preguntas curadas y validación humana periódica del juez LLM para evitar conclusiones engañosas.
OpenAI lanzó o1-preview el 12 de septiembre de 2024: el primer modelo que razona internamente antes de responder. En lugar de generar tokens directamente, o1 dedica una fase de pensamiento oculto a explorar el problema, alcanzando un 83% en AIME frente al 13% de GPT-4o. El coste adicional se justifica en problemas complejos; para tareas cotidianas, GPT-4o sigue siendo más eficiente.
La búsqueda híbrida combina BM25 y recuperación vectorial para cubrir lo que cada una no puede sola. El vector falla en identificadores exactos como SKUs o CVEs; BM25 falla cuando consulta y documento usan vocabulario distinto. La fusión mediante Reciprocal Rank Fusion (RRF) suma los dos rankings sin depender de sus escalas de puntuación.
llama.cpp es la biblioteca en C++ que impulsa a Ollama y gran parte del ecosistema de LLM locales. En 2024 sumó decodificación especulativa con aceleraciones de dos a tres veces, un servidor RPC para repartir capas entre máquinas y un formato GGUF estable. Ollama basta para el 90% de los casos; ir directo compensa con hardware poco común.
Ollama se consolidó en 2024 como el estándar para ejecutar LLMs en local. Empaqueta llama.cpp en un binario único con interfaz de línea de comandos estilo Docker y API compatible con OpenAI. Phi-3 Mini corre en 4 GB; Llama 3.1 8B Q4 necesita 6 GB. Para tráfico de producción a escala, vLLM sigue siendo la opción correcta.
Model Context Protocol (MCP) es el estándar abierto que Anthropic publicó el 25 de noviembre de 2024 para conectar modelos de lenguaje con datos y herramientas externas mediante JSON-RPC 2.0. No sustituye al function calling: estandariza el lado del servidor, aspirando a ser para el contexto lo que el Language Server Protocol es para los editores de código.
El product-market fit para productos con LLM sigue dependiendo de las mismas señales clásicas: retención de cohortes, NPS y expansión de revenue. Lo que cambia son el baseline de calidad más alto, la velocidad de la competencia y los moats duraderos: datos propietarios, integración de workflow y efectos de red.
Las aplicaciones basadas en LLM necesitan tres planos de observabilidad distintos: trazas de prompt y respuesta para depurar alucinaciones, seguimiento de costes por token y por función, y evaluación de calidad de respuesta. Herramientas como Langfuse, LangSmith y Helicone cubren estos planos con instrumentación específica.
TensorRT-LLM es el motor de inferencia de NVIDIA que compila cada modelo en un binario optimizado para la GPU exacta y el tamaño de lote donde se va a servir. Usa kernels CUDA hechos a mano y cuantización FP8 nativa en H100. Frente a vLLM puede rendir entre 2 y 3 veces más en el mejor caso, a cambio de un build de 30 a 90 minutos.
LoRA reduce el coste del fine-tuning de modelos de lenguaje al entrenar solo pequeñas matrices de adaptación de rango bajo, no todos los parámetros del modelo base. QLoRA añade cuantización a 4 bits, lo que recorta la memoria de GPU necesaria entre un 65 % y un 75 %, con una pérdida de calidad de solo 1-3 %.
Computer Use es la función de la API de Claude, lanzada por Anthropic el 22 de octubre de 2024, que deja al modelo mirar capturas de pantalla y mover el ratón, escribir y hacer clic dentro de un bucle que tu propio sistema ejecuta y controla. Rinde bien en apps sin API y falla con CAPTCHAs, interfaces muy dinámicas y tareas largas.
GitHub Copilot Workspace, en preview técnica desde abril de 2024, propone un desarrollo orientado a tareas: describe el problema en un issue de GitHub y la IA lee el codebase, genera un plan editable multi-fichero y lo implementa. Compite con Cursor Composer, aunque con más latencia; su ventaja es la integración nativa con PRs, issues e historial de GitHub.
Swarm es el framework experimental de OpenAI para orquestar sistemas multi-agente. Publicado en octubre de 2024 con una advertencia explícita de no usar en producción, reduce toda la coordinación a dos conceptos: agentes e handoffs. En menos de 500 líneas de Python demuestra que el enrutamiento puede emerger del propio modelo sin grafos ni planificadores externos.
vLLM sirve modelos de lenguaje en GPU con PagedAttention y batching continuo, dos técnicas que multiplican el throughput frente a un servidor ingenuo. Expone una API compatible con OpenAI, así que migrar una aplicación existente solo exige cambiar la URL base y desplegar el binario correcto.
Claude 3.5 Sonnet (Anthropic, junio de 2024) iguala la calidad de Claude 3 Opus al precio del tier Sonnet, con 200 k tokens de contexto y un 92 % en HumanEval. Destaca especialmente en coding y seguimiento de instrucciones largas, y fue el primer modelo en integrar la función Artifacts en Claude.ai.
Mistral Large 2, lanzado por la startup francesa Mistral AI en julio de 2024, es un modelo de 123.000 millones de parámetros con ventana de contexto de 128k tokens que rivaliza con GPT-4o y Claude 3.5 Sonnet en varios benchmarks. Su residencia de datos en la UE y su precio de 3 EUR por millón de tokens de entrada lo convierten en la alternativa europea más seria frente a los proveedores estadounidenses.
Tras dos años de RAG en producción, los patrones que separan sistemas fiables de los fallidos son claros: el chunking semántico mejora el retrieval, hybrid search (BM25 + vectorial) recupera lo que lo vectorial puro pierde, el re-ranking eleva la precisión un 15-30%, y sin evaluación continua con un golden dataset cualquier mejora es un placebo.
CrewAI es un framework Python que modela agentes de IA como un equipo con roles, objetivos y tareas concretas. Cada agente tiene un LLM base y herramientas propias. Los agentes se coordinan en una tripulación con procesos secuenciales o jerárquicos. Comparo el framework con LangGraph y AutoGen, y cuándo adoptar el patrón multi-agente.
La Assistants API de OpenAI ofrece threads persistentes, ejecución de código en sandbox y búsqueda documental gestionada, pero OpenAI la retira por completo el 26 de agosto de 2026 en favor de la Responses API. Analizamos cuándo compensaba frente a Chat Completions con infraestructura propia y qué hacer si tu proyecto todavía depende de ella.
La Ley de IA de la UE (Reglamento 2024/1689) entró en vigor el 1 de agosto de 2024. Clasifica los sistemas IA en cuatro niveles de riesgo con plazos escalonados: prohibiciones en febrero 2025, obligaciones GPAI en agosto 2025 y requisitos de alto riesgo en agosto 2026. Aplica a cualquier empresa que opere o venda en la UE, con sanciones que superan al GDPR.
Instalar Ollama en un Mac con Apple Silicon es tan simple como ejecutar un comando de Homebrew. Después, elige el modelo según la RAM disponible (Phi-3 con 8 GB, Llama 3.1 8B con 16 GB) y expón la API HTTP local, compatible con OpenAI, en el puerto 11434 para integrarla en tus propias aplicaciones.
GitLab Duo integra IA nativa en todo el flujo devops: autocompletado, chat, resumen de MR y explicación de vulnerabilidades. Duo Pro cuesta 19 dólares por usuario al mes sobre Premium o Ultimate, igual que GitHub Copilot Business. Compensa si tu equipo ya vive en GitLab.
Meta lanzó Llama 3.1 405B el 23 de julio de 2024: 405 000 millones de parámetros, 128k tokens de contexto y benchmarks equivalentes a GPT-4o y Claude 3.5 Sonnet. El self-hosting exige unos 220 GB de VRAM en Q4; Together.ai, Fireworks y Groq lo ofrecen por token.
Los embeddings recuperan rápido pero ordenan mal, porque codifican consulta y documento en vectores independientes sin cruzar tokens. Un reranker cross-encoder sobre el top-100 corrige esa señal y sube Precisión@10 entre un 15 y un 30 por ciento en corpus de más de 100k documentos. Cuándo compensa añadir uno y cuándo el límite de latencia hace que no sea viable.
