Categoría
Inteligencia artificial sin hype: modelos, agentes y casos de uso que funcionan en producción.
Los agentes de IA han pasado de ser un tema de laboratorio a tener SDKs serios en tres grandes proveedores. Reflexión sobre cómo pasar de la demo llamativa a un caso de uso interno que mueva una métrica real.
Desde que Microsoft abrió GraphRAG, el patrón de usar grafos sobre tus propios datos ha pasado de experimento académico a técnica con aplicaciones prácticas. Reflexión sobre cuándo compensa, cómo se monta y qué errores se repiten.
Las funciones de IA que Figma ha ido integrando desde Config 2024 están cambiando cómo trabajan los equipos de diseño de producto. Repaso de qué aporta cada función, qué se mantiene como trabajo humano y qué hábitos están cuajando.
Con las primeras obligaciones del AI Act europeo ya en vigor, la gobernanza de la IA en empresa deja de ser teórica. Qué comités montar, qué políticas escribir y qué auditar, desde la experiencia de varias implantaciones.
Anthropic publicó Claude 3.7 Sonnet a finales de febrero con pensamiento extendido opcional y un compañero de consola llamado Claude Code. Reflexión sobre qué cambia de verdad y qué queda para la próxima familia.
Hace un año los pesos abiertos eran una apuesta; hoy son una opción de producción real. Repaso lo que ha funcionado, lo que no y cómo están encajando Llama, DeepSeek, Qwen y Mistral en arquitecturas empresariales que antes dependían de APIs cerradas.
vLLM sigue siendo el motor de referencia para servir LLM en GPU en 2025: el prefix caching automático recorta drásticamente la latencia con prompts repetidos, el speculative decoding acelera los modelos grandes y el soporte multi-LoRA abarata el SaaS multi-tenant, aunque el multi-GPU y el hardware no NVIDIA siguen siendo puntos débiles.
GraphRAG lleva más de un año en uso empresarial real: durante la indexación, un LLM construye un grafo de conocimiento que responde bien a preguntas globales sobre un corpus, justo donde el RAG clásico falla porque ningún fragmento aislado contiene la respuesta completa. Aquí comparo costes de indexación, casos donde compensa y el patrón híbrido que se ha impuesto entre equipos.
Tres años después de que RLHF se hiciera popular, el paisaje del alineamiento de modelos es más rico. Repaso de RLHF, DPO y los métodos más recientes como KTO o ORPO, con criterios para elegir.
Google publicó Gemma 2 a mediados de 2024 y ya lleva tiempo en uso real. Balance de cómo compite en el ecosistema de modelos abiertos, qué tamaños tienen sentido y dónde ha cuajado su adopción.
o3-mini, la primera versión pública de la serie de razonamiento o3 de OpenAI, mejora de forma clara la lógica, las matemáticas y el código complejo frente a GPT-4o, aunque tarda más en responder y sigue alucinando datos. Este análisis, basado en semanas de uso real, explica dónde compensa usarlo y dónde no.
Google ha lanzado Gemini 2.0 con un énfasis claro en uso de herramientas y agentes. Repaso de qué aporta, dónde está por detrás de la competencia y en qué tipo de aplicaciones encaja mejor.
Dos años probando revisiones de código asistidas por IA en un equipo real dejan un balance claro: la IA detecta bien olvidos mecánicos y genera resúmenes útiles de cada pull request, pero falla en juicio arquitectónico y comete muchos falsos positivos en bugs sutiles. La decisión que más ha ayudado ha sido no bloquear el merge por sus comentarios automáticos.
Meta publicó Llama 3.2 con modelos de 1B y 3B parámetros cuantizados a 4 bits para ejecutarse en dispositivos con recursos limitados. El 3B ocupa 2 GB y alcanza 30-60 tokens por segundo en un portátil con M2. No compite con GPT-4: cubre clasificación, extracción estructurada y conversación guiada sin depender de APIs externas.
Los procesadores Copilot+ de Qualcomm, Intel y AMD han normalizado la presencia de una NPU en el PC doméstico. Una NPU de 40 TOPS puede ejecutar Phi-3 Mini cuantizado consumiendo entre 5 y 10 W, frente a los 40-50 W de una GPU de portátil haciendo la misma tarea. Qué cambia realmente para ejecutar modelos localmente y cuándo merece la pena.
Medir la calidad de un sistema RAG con rigor exige más que revisar unas cuantas respuestas: hacen falta métricas objetivas (fidelidad, relevancia, precisión y cobertura de contexto), un conjunto dorado de cientos de preguntas curadas y validación humana periódica del juez LLM para evitar conclusiones engañosas.
OpenAI lanzó o1-preview el 12 de septiembre de 2024: el primer modelo que razona internamente antes de responder. En lugar de generar tokens directamente, o1 dedica una fase de pensamiento oculto a explorar el problema, alcanzando un 83% en AIME frente al 13% de GPT-4o. El coste adicional se justifica en problemas complejos; para tareas cotidianas, GPT-4o sigue siendo más eficiente.
La búsqueda híbrida combina BM25 y recuperación vectorial para cubrir lo que cada una no puede sola. El vector falla en identificadores exactos como SKUs o CVEs; BM25 falla cuando consulta y documento usan vocabulario distinto. La fusión mediante Reciprocal Rank Fusion (RRF) suma los dos rankings sin depender de sus escalas de puntuación.
llama.cpp es la biblioteca en C++ que impulsa a Ollama y gran parte del ecosistema de LLM locales. En 2024 sumó decodificación especulativa con aceleraciones de dos a tres veces, un servidor RPC para repartir capas entre máquinas y un formato GGUF estable. Ollama basta para el 90% de los casos; ir directo compensa con hardware poco común.
Ollama se consolidó en 2024 como el estándar para ejecutar LLMs en local. Empaqueta llama.cpp en un binario único con interfaz de línea de comandos estilo Docker y API compatible con OpenAI. Phi-3 Mini corre en 4 GB; Llama 3.1 8B Q4 necesita 6 GB. Para tráfico de producción a escala, vLLM sigue siendo la opción correcta.
Model Context Protocol (MCP) es el estándar abierto que Anthropic publicó el 25 de noviembre de 2024 para conectar modelos de lenguaje con datos y herramientas externas mediante JSON-RPC 2.0. No sustituye al function calling: estandariza el lado del servidor, aspirando a ser para el contexto lo que el Language Server Protocol es para los editores de código.
El product-market fit para productos con LLM sigue dependiendo de las mismas señales clásicas: retención de cohortes, NPS y expansión de revenue. Lo que cambia son el baseline de calidad más alto, la velocidad de la competencia y los moats duraderos: datos propietarios, integración de workflow y efectos de red.
Las aplicaciones basadas en LLM necesitan tres planos de observabilidad distintos: trazas de prompt y respuesta para depurar alucinaciones, seguimiento de costes por token y por función, y evaluación de calidad de respuesta. Herramientas como Langfuse, LangSmith y Helicone cubren estos planos con instrumentación específica.
TensorRT-LLM es el motor de inferencia de NVIDIA que compila cada modelo en un binario optimizado para la GPU exacta y el tamaño de lote donde se va a servir. Usa kernels CUDA hechos a mano y cuantización FP8 nativa en H100. Frente a vLLM puede rendir entre 2 y 3 veces más en el mejor caso, a cambio de un build de 30 a 90 minutos.
LoRA reduce el coste del fine-tuning de modelos de lenguaje al entrenar solo pequeñas matrices de adaptación de rango bajo, no todos los parámetros del modelo base. QLoRA añade cuantización a 4 bits, lo que recorta la memoria de GPU necesaria entre un 65 % y un 75 %, con una pérdida de calidad de solo 1-3 %.
Computer Use es la función de la API de Claude, lanzada por Anthropic el 22 de octubre de 2024, que deja al modelo mirar capturas de pantalla y mover el ratón, escribir y hacer clic dentro de un bucle que tu propio sistema ejecuta y controla. Rinde bien en apps sin API y falla con CAPTCHAs, interfaces muy dinámicas y tareas largas.
GitHub Copilot Workspace, en preview técnica desde abril de 2024, propone un desarrollo orientado a tareas: describe el problema en un issue de GitHub y la IA lee el codebase, genera un plan editable multi-fichero y lo implementa. Compite con Cursor Composer, aunque con más latencia; su ventaja es la integración nativa con PRs, issues e historial de GitHub.
Swarm es el framework experimental de OpenAI para orquestar sistemas multi-agente. Publicado en octubre de 2024 con una advertencia explícita de no usar en producción, reduce toda la coordinación a dos conceptos: agentes e handoffs. En menos de 500 líneas de Python demuestra que el enrutamiento puede emerger del propio modelo sin grafos ni planificadores externos.
vLLM sirve modelos de lenguaje en GPU con PagedAttention y batching continuo, dos técnicas que multiplican el throughput frente a un servidor ingenuo. Expone una API compatible con OpenAI, así que migrar una aplicación existente solo exige cambiar la URL base y desplegar el binario correcto.
Claude 3.5 Sonnet (Anthropic, junio de 2024) iguala la calidad de Claude 3 Opus al precio del tier Sonnet, con 200 k tokens de contexto y un 92 % en HumanEval. Destaca especialmente en coding y seguimiento de instrucciones largas, y fue el primer modelo en integrar la función Artifacts en Claude.ai.
Mistral Large 2, lanzado por la startup francesa Mistral AI en julio de 2024, es un modelo de 123.000 millones de parámetros con ventana de contexto de 128k tokens que rivaliza con GPT-4o y Claude 3.5 Sonnet en varios benchmarks. Su residencia de datos en la UE y su precio de 3 EUR por millón de tokens de entrada lo convierten en la alternativa europea más seria frente a los proveedores estadounidenses.
Tras dos años de RAG en producción, los patrones que separan sistemas fiables de los fallidos son claros: el chunking semántico mejora el retrieval, hybrid search (BM25 + vectorial) recupera lo que lo vectorial puro pierde, el re-ranking eleva la precisión un 15-30%, y sin evaluación continua con un golden dataset cualquier mejora es un placebo.
CrewAI es un framework Python que modela agentes de IA como un equipo con roles, objetivos y tareas concretas. Cada agente tiene un LLM base y herramientas propias. Los agentes se coordinan en una tripulación con procesos secuenciales o jerárquicos. Comparo el framework con LangGraph y AutoGen, y cuándo adoptar el patrón multi-agente.
La Assistants API de OpenAI ofrece threads persistentes, ejecución de código en sandbox y búsqueda documental gestionada, pero OpenAI la retira por completo el 26 de agosto de 2026 en favor de la Responses API. Analizamos cuándo compensaba frente a Chat Completions con infraestructura propia y qué hacer si tu proyecto todavía depende de ella.
La Ley de IA de la UE (Reglamento 2024/1689) entró en vigor el 1 de agosto de 2024. Clasifica los sistemas IA en cuatro niveles de riesgo con plazos escalonados: prohibiciones en febrero 2025, obligaciones GPAI en agosto 2025 y requisitos de alto riesgo en agosto 2026. Aplica a cualquier empresa que opere o venda en la UE, con sanciones que superan al GDPR.
Instalar Ollama en un Mac con Apple Silicon es tan simple como ejecutar un comando de Homebrew. Después, elige el modelo según la RAM disponible (Phi-3 con 8 GB, Llama 3.1 8B con 16 GB) y expón la API HTTP local, compatible con OpenAI, en el puerto 11434 para integrarla en tus propias aplicaciones.
GitLab Duo integra IA nativa en todo el flujo devops: autocompletado, chat, resumen de MR y explicación de vulnerabilidades. Duo Pro cuesta 19 dólares por usuario al mes sobre Premium o Ultimate, igual que GitHub Copilot Business. Compensa si tu equipo ya vive en GitLab.
Meta lanzó Llama 3.1 405B el 23 de julio de 2024: 405 000 millones de parámetros, 128k tokens de contexto y benchmarks equivalentes a GPT-4o y Claude 3.5 Sonnet. El self-hosting exige unos 220 GB de VRAM en Q4; Together.ai, Fireworks y Groq lo ofrecen por token.
Los embeddings recuperan rápido pero ordenan mal, porque codifican consulta y documento en vectores independientes sin cruzar tokens. Un reranker cross-encoder sobre el top-100 corrige esa señal y sube Precisión@10 entre un 15 y un 30 por ciento en corpus de más de 100k documentos. Cuándo compensa añadir uno y cuándo el límite de latencia hace que no sea viable.
GPT-4 Turbo, lanzado en noviembre de 2023, amplió el contexto de GPT-4 a 128.000 tokens y redujo el precio de entrada 3 veces, hasta 10 dólares por millón de tokens. GPT-4o lo supera en precio, velocidad y calidad de respuesta, pero Turbo sigue siendo válido en apps productivas estables, contratos con versión fija y pruebas deterministas que dependen de su comportamiento concreto.
Evaluar un sistema RAG sin métricas es pura intuición. Ragas mide cuatro señales clave: faithfulness, answer relevancy, context precision y context recall, apoyándose en un LLM como juez. TruLens, DeepEval y otros frameworks cubren enfoques similares. Integrar la evaluación en CI desde el primer día detecta regresiones de prompts, chunking o modelo antes de que lleguen a producción.
SGLang añade un DSL en Python para controlar la generación de LLM con decoding restringido, branching paralelo y RadixAttention, la estructura que indexa el caché KV en un trie radix para reutilizar prefijos compartidos entre peticiones. Cuando ese patrón existe, los speedups frente a vLLM llegan hasta 5 veces; sin él, la ventaja se diluye.
GPT-4o es el modelo de OpenAI presentado el 13 de mayo de 2024 que funde texto, imagen y audio en un único modelo nativo, sin pipelines separados. Ofrece latencia de conversación de unos 320 milisegundos, mejor comprensión multimodal y un precio un 50% inferior al de GPT-4 Turbo.
Llama 3 es la familia de modelos abiertos que Meta lanzó el 18 de abril de 2024 en 8.000 y 70.000 millones de parámetros, entrenada con 15 billones de tokens. El 70B superó a Claude Sonnet, Mistral Medium y GPT-3.5 en la evaluación humana de Meta, y su licencia permite uso comercial gratuito hasta 700 millones de usuarios activos al mes.
nomic-embed-text-v1.5 de Nomic AI es un modelo de embeddings con pesos, código y datos de entrenamiento publicados en Apache 2.0: 137 millones de parámetros, hasta 8192 tokens de contexto y un MTEB de 62.4 puntos, casi igual al 62.3 de text-embedding-3-small de OpenAI, con 768 dimensiones en lugar de 1536.
LangGraph modela los agentes LLM como grafos de estados explícitos con nodos independientes, aristas condicionales y estado tipado. A diferencia del bucle ReAct clásico de LangChain, ofrece checkpointing nativo sobre SQLite, Postgres o Redis, streaming por paso y condiciones de parada declaradas, lo que permite construir agentes que sobreviven a fallos y se pueden reanudar.
La decodificación restringida garantiza matemáticamente que la salida de un LLM cumpla el esquema JSON. En cada paso de generación se enmascaran los tokens ilegales y es imposible producir JSON roto. Outlines, Guidance e Instructor son las implementaciones de referencia. Gana a los reintentos en extracción masiva y agentes con tool calling.
Anthropic lanzó la familia Claude 3 el 4 de marzo de 2024 con tres modelos: Haiku, Sonnet y Opus, todos con 200k tokens de contexto. Haiku cuesta $0.25 por millón de tokens; Opus compite con GPT-4 Turbo en benchmarks. Esta comparativa explica cuándo elegir cada nivel y cómo combinarlos en producción para minimizar coste sin perder calidad donde importa.
Mixtral 8x22B es el modelo Mixture of Experts de Mistral AI liberado en abril de 2024: 141B parámetros totales pero solo 39B activos por token, licencia Apache 2.0 sin restricciones comerciales y rendimiento multilingüe superior a Llama 3 70B en español, francés, italiano y alemán. Requiere GPU de datacenter para servirlo en producción real.
LM Studio es una aplicación de escritorio para Mac, Windows y Linux que descarga y ejecuta modelos de lenguaje grandes en tu propio equipo, con una interfaz de chat pulida y sin necesidad de terminal. Incluye una API compatible con OpenAI y RAG con tus documentos. Para uso individual gana a Ollama en experiencia de usuario; para equipos o producción conviene OpenWebUI, vLLM o TGI.
Un modelo entrenado en PyTorch o TensorFlow, ejecutado igual en servidor, móvil, navegador o un gateway ARM en planta: eso es lo que resuelve ONNX Runtime. Convierte el formato ONNX en un artefacto portable de verdad, exportado una vez, a costa de ceder algo de rendimiento máximo frente a un runtime nativo específico de cada plataforma.
Cuando una aplicación habla con dos o más proveedores de LLM, antes o después aparece un proxy entre medias. LiteLLM propone uno concreto, y esta es la lectura honesta de qué gana y qué cuesta.
Gemini 1.5 Pro irrumpió en febrero de 2024 con un contexto de un millón de tokens verificado. Recupera más del 95% de los datos hasta los 530.000 tokens en pruebas de recuperación, lo que transforma el diseño de sistemas RAG, hace viable el análisis de documentos completos y habilita nuevos patrones arquitectónicos con context caching.
Elegir un LLM abierto para empresa en 2024 ya no se limita a Llama 2: Mistral, Mixtral, Qwen, Yi, DeepSeek y Phi-2 compiten con licencias y tamaños distintos. Los criterios que de verdad deciden son la licencia comercial, el hardware disponible, el soporte de idioma y una evaluación propia sobre casos de uso reales, no solo el benchmark de moda.
OpenAI liberó text-embedding-3 el 25 de enero de 2024 en dos variantes: small y large. Mejora la calidad MTEB frente a ada-002, añade dimensiones variables (truncar sin reentrenar) y baja el precio en small. Migrar compensa en la mayoría de RAG serios, pero conviene medir el recall real con tu propio corpus antes de reindexar todo.
pgvector maduró en 2023-2024 con el tipo de índice HNSW y la construcción paralela que llegó en la versión 0.6. Para los proyectos que ya operan PostgreSQL, ya no hace falta una base vectorial dedicada en la mayoría de los casos: esta guía explica cuándo basta, cómo configurar el índice y dónde empieza a quedarse corto.
Cohere Embed v3 es un modelo de embeddings que distingue queries de documentos con el parámetro input_type y valora la calidad intrínseca del texto, con soporte multilingüe para más de 100 idiomas en 1024 dimensiones. Cuesta 0,10 dólares por millón de tokens, frente a 0,02 de OpenAI, y rinde mejor en RAG multilingüe.
Text Generation Inference (TGI) es la pila de inferencia de Hugging Face para servir LLM abiertos en producción: continuous batching, cuantización de 4 y 8 bits, streaming y una API compatible con OpenAI. Tras un episodio de licencia restrictiva en 2023, volvió a Apache 2.0 en la versión 2.0.
Claude 2, lanzado por Anthropic en julio de 2023, ofrece una ventana de contexto de 100.000 tokens y seguridad basada en Constitutional AI. Frente a GPT-4, gana en analisis de documentos largos y codigo con contexto amplio; GPT-4 sigue adelante en razonamiento matematico complejo y en su ecosistema de herramientas.
Las bases de datos vectoriales han pasado de ser una curiosidad experimental a ser el componente central de la mayoría de productos basados en LLMs. Esta comparativa cubre Qdrant, Pinecone y Weaviate: arquitectura, fortalezas, limitaciones y un árbol de decisión para elegir según tus prioridades operativas y presupuesto.
Con cuantización, los pesos de un modelo se guardan con menos bits (4, 5 u 8 en vez de 16), así que Llama 2 13B pasa de 26 GB a unos 7,5 GB. Con llama.cpp corre en un portátil normal de 16 GB de RAM sin GPU dedicada, y la pérdida de calidad es menor de lo que la intuición sugiere.
pgvector convierte PostgreSQL en una base vectorial completamente funcional, sin necesidad de añadir un servicio separado al stack. Extiende Postgres con el tipo vector, índices IVFFlat para búsqueda aproximada (ANN) y la capacidad de combinar filtros SQL relacionales con ranking vectorial en la misma query. Para la mayoría de proyectos RAG y chatbots internos, esos límites nunca se alcanzan.
LangChain es un framework Python que unifica la construcción de aplicaciones con LLM: prompt templates, retrievers sobre bases vectoriales, agentes con function calling y memoria conversacional. Aporta valor real en prototipos rápidos y sistemas con varios modelos, pero en producción de un caso único bien definido el código directo suele ser más mantenible.
Un embedding de texto es un vector numérico que codifica el significado de una palabra o frase, de forma que fragmentos semánticamente parecidos generan vectores cercanos por distancia coseno. Los modelos más usados en producción son OpenAI ada-002, Sentence Transformers y BGE, y sirven sobre todo para búsqueda semántica, sistemas RAG y clasificación de texto sin entrenar un clasificador.
Function calling en OpenAI formaliza la comunicación entre el LLM y el código externo mediante JSON Schema declarativo: el modelo devuelve datos estructurados en lugar de texto libre. Introducido en junio de 2023 con GPT-3.5-turbo y GPT-4, es el estándar para agentes, extracción de datos y APIs conversacionales.
Chroma es la base de datos vectorial más sencilla para empezar con embeddings y búsqueda semántica: se instala con pip install chromadb, no exige infraestructura adicional y ofrece una API mínima (add, query, delete). Es ideal para prototipos y RAG de tamaño medio; por encima de unos pocos millones de vectores, conviene migrar a Qdrant o Milvus.
Midjourney v5, lanzado en marzo de 2023, logra fotorrealismo consistente en piel, luz y profundidad de campo, algo que v4 no conseguía. El parámetro --style raw desactiva el estilo artístico por defecto, ideal para fotografía de producto. Sigue sin API oficial: solo funciona desde Discord, así que Stable Diffusion XL y DALL-E 3 siguen siendo más prácticos para automatizar pipelines.
En 2023, tres marcos regulan la IA generativa con enfoques distintos: el EU AI Act europeo establece cuatro niveles de riesgo con multas del 6 % de facturación; el NIST framework de EEUU es voluntario; el Reino Unido delega en reguladores sectoriales. Equipos de producto deben inventariar casos de uso y documentar riesgos.
Ollama hace trivial ejecutar modelos como Llama 2 o Mistral en tu propio ordenador: un binario, un comando y los pesos cuantizados descargándose al disco sin compilar nada. Esta guía cubre la instalación en macOS, Linux y Windows, con una valoración honesta de lo que la inferencia local puede y no puede hacer frente a los modelos de frontera.
El mantenimiento predictivo industrial rara vez necesita deep learning: modelos clásicos como random forests, SVM o modelos de supervivencia resuelven el 80% de los casos. La clave está en el feature engineering sobre señales de vibración, temperatura y consumo eléctrico, con pipelines que corren en apenas 50 MB de RAM sin GPU.
Cinco meses después de su lanzamiento, GPT-4 destaca en razonamiento encadenado, escritura técnica y código de mediana complejidad, pero sigue fallando en aritmética, información posterior a su corte de datos y consistencia entre conversaciones. Claude 2 gana en contexto largo; LLaMA 2, en coste y privacidad.
Meta publicó LLaMA 2 el 18 de julio de 2023 con licencia comercial libre de royalties, en tres tamaños (7B, 13B, 70B parámetros). El modelo 70B iguala o supera a GPT-3.5 en benchmarks estándar. Para el 99,9 % de las organizaciones la licencia permite descargar, modificar y ejecutar el modelo en producción con privacidad total.
