Categorías

Categorías Jacar — explora los temas Un cohete cuyos ojos siguen el cursor.
Arquitectura

Cachés para LLM: ahorrar tokens sin tirar la calidad

Un proxy con caché delante de un modelo de lenguaje puede reducir la factura de tokens de forma significativa, pero introduce riesgos sutiles si el diseño no es cuidadoso. Qué tipos de caché funcionan en producción, dónde están las trampas habituales y cómo integrarlos sin degradar la experiencia.

Arquitectura

Enrutadores de inferencia: elegir modelo según la petición

Un enrutador de inferencia decide qué modelo atiende cada petición en función de coste, latencia y complejidad. Bien diseñados reducen la factura de tokens sin que el usuario perciba degradación; mal diseñados introducen fallos sutiles difíciles de depurar.

Inteligencia Artificial

Testing con IA: el problema del determinismo

Probar sistemas que incluyen modelos de lenguaje rompe la primera regla del testing: la misma entrada da la misma salida. Analizo las estrategias que han funcionado tras un año largo integrando IA en productos reales, por qué los tests deterministas tradicionales no bastan y cómo plantear un cinturón de pruebas que capture regresiones sin bloquearse en la varianza.

Arquitectura

Agent OS: el concepto que está moldeando la nueva capa

El término Agent OS lleva un año ganando tracción entre investigación y producto. Describe una capa que va más allá de una biblioteca de agentes: planificador, gestión de contexto, memoria persistente y aislamiento. Una lectura del estado real de ese concepto.

Arquitectura

Model Context Protocol en 2025: del anuncio al ecosistema

Model Context Protocol cumple diez meses desde su anuncio de Anthropic y ya no es una propuesta: hay cientos de servidores, implementaciones cruzadas entre proveedores y un registro público. Repaso de qué ha funcionado, qué sigue flojo y por qué 2025 marca el paso de curiosidad a infraestructura básica.

Arquitectura

Redis 8.2 y su soporte vectorial: cuándo tiene sentido

Redis 8.2 incorpora la búsqueda vectorial como tipo de dato nativo. La duda real es si sustituye a un motor dedicado como Qdrant, Weaviate o pgvector en cargas con millones de vectores y latencias exigentes, o si solo sirve como complemento del caché que ya tienes.

Inteligencia Artificial

RAG 2.0: grafos de conocimiento, vectores e híbrido

El RAG de 2023 era búsqueda vectorial con un LLM detrás. El de 2025 es un sistema híbrido que combina vectores, búsqueda léxica y grafos de conocimiento. Qué ha cambiado, dónde funciona cada pieza y qué decisiones marcan la diferencia entre un RAG útil y uno decepcionante.

Herramientas

Clientes MCP en editores: la IA se integra donde ya trabajas

Los editores de código han empezado a incorporar MCP como cliente nativo: VS Code, Zed, Cursor y varios forks de Neovim. Esto cambia la forma en que el agente accede al contexto del proyecto y abre preguntas prácticas sobre qué servidores activar y cómo configurarlos sin abrir puertas.

Inteligencia Artificial

Gemini 2.5: escalado de contexto y multimodalidad

Google publicó Gemini 2.5 Pro en vista previa en marzo y la versión general llegó en junio. El salto respecto a Gemini 2.0 no está solo en puntuaciones sino en dos frentes prácticos: ventana de contexto utilizable en serio y multimodalidad que deja de ser demostración para convertirse en herramienta.

Herramientas

Servidores MCP de la comunidad: cuáles merecen la pena

Seis meses después de que MCP se volviera el protocolo común de integración de agentes, el catálogo comunitario supera el millar de servidores. Repaso cuáles uso a diario, cuáles son ruido y cómo separarlos sin caer en la trampa de la novedad.

Inteligencia Artificial

La era del grafo de conocimiento renace con los LLM

Durante una década, los grafos de conocimiento fueron una idea académica con pocos casos de uso reales, frenada por el coste de construir y mantener el esquema. Los LLM han cambiado esa ecuación: ahora extraen entidades automáticamente y sirven para anclar respuestas, auditar razonamiento y sostener agentes sin alucinar.

Inteligencia Artificial

FinOps aplicado a IA: dónde se va el coste de verdad

En sistemas de IA el coste real no está en las instancias EC2, sino en los tokens de entrada de RAG y agentes, las llamadas de herramientas encadenadas y los reindexados frecuentes; esos vectores, sumados a los experimentos sin atribución, concentran la mayor parte de la factura mensual en producción.

Arquitectura

Aplicar RAG con grafos a un producto real

Desde que Microsoft abrió GraphRAG, el patrón de usar grafos sobre tus propios datos ha pasado de experimento académico a técnica con aplicaciones prácticas. Reflexión sobre cuándo compensa, cómo se monta y qué errores se repiten.

Inteligencia Artificial

vLLM en 2025: las mejoras que importan a quien sirve LLM

vLLM sigue siendo el motor de referencia para servir LLM en GPU en 2025: el prefix caching automático recorta drásticamente la latencia con prompts repetidos, el speculative decoding acelera los modelos grandes y el soporte multi-LoRA abarata el SaaS multi-tenant, aunque el multi-GPU y el hardware no NVIDIA siguen siendo puntos débiles.

Arquitectura

GraphRAG de Microsoft en empresa: patrones que funcionan

GraphRAG lleva más de un año en uso empresarial real: durante la indexación, un LLM construye un grafo de conocimiento que responde bien a preguntas globales sobre un corpus, justo donde el RAG clásico falla porque ningún fragmento aislado contiene la respuesta completa. Aquí comparo costes de indexación, casos donde compensa y el patrón híbrido que se ha impuesto entre equipos.

Inteligencia Artificial

o3 en público: el salto en razonamiento se confirma

o3-mini, la primera versión pública de la serie de razonamiento o3 de OpenAI, mejora de forma clara la lógica, las matemáticas y el código complejo frente a GPT-4o, aunque tarda más en responder y sigue alucinando datos. Este análisis, basado en semanas de uso real, explica dónde compensa usarlo y dónde no.

Herramientas

Code review asistido por IA: adopción honesta

Dos años probando revisiones de código asistidas por IA en un equipo real dejan un balance claro: la IA detecta bien olvidos mecánicos y genera resúmenes útiles de cada pull request, pero falla en juicio arquitectónico y comete muchos falsos positivos en bugs sutiles. La decisión que más ha ayudado ha sido no bloquear el merge por sus comentarios automáticos.

Inteligencia Artificial

Llama 3.2 en el edge: Meta apuesta por lo pequeño

Meta publicó Llama 3.2 con modelos de 1B y 3B parámetros cuantizados a 4 bits para ejecutarse en dispositivos con recursos limitados. El 3B ocupa 2 GB y alcanza 30-60 tokens por segundo en un portátil con M2. No compite con GPT-4: cubre clasificación, extracción estructurada y conversación guiada sin depender de APIs externas.

Inteligencia Artificial

NPU en el PC: IA local más rápida y barata

Los procesadores Copilot+ de Qualcomm, Intel y AMD han normalizado la presencia de una NPU en el PC doméstico. Una NPU de 40 TOPS puede ejecutar Phi-3 Mini cuantizado consumiendo entre 5 y 10 W, frente a los 40-50 W de una GPU de portátil haciendo la misma tarea. Qué cambia realmente para ejecutar modelos localmente y cuándo merece la pena.

Inteligencia Artificial

Cómo evaluar un sistema RAG sin engañarte a ti mismo

Medir la calidad de un sistema RAG con rigor exige más que revisar unas cuantas respuestas: hacen falta métricas objetivas (fidelidad, relevancia, precisión y cobertura de contexto), un conjunto dorado de cientos de preguntas curadas y validación humana periódica del juez LLM para evitar conclusiones engañosas.

Inteligencia Artificial

o1-preview: el modelo de OpenAI que piensa antes de responder

OpenAI lanzó o1-preview el 12 de septiembre de 2024: el primer modelo que razona internamente antes de responder. En lugar de generar tokens directamente, o1 dedica una fase de pensamiento oculto a explorar el problema, alcanzando un 83% en AIME frente al 13% de GPT-4o. El coste adicional se justifica en problemas complejos; para tareas cotidianas, GPT-4o sigue siendo más eficiente.

Arquitectura

Búsqueda híbrida: combinar BM25 y vectores en serio

La búsqueda híbrida combina BM25 y recuperación vectorial para cubrir lo que cada una no puede sola. El vector falla en identificadores exactos como SKUs o CVEs; BM25 falla cuando consulta y documento usan vocabulario distinto. La fusión mediante Reciprocal Rank Fusion (RRF) suma los dos rankings sin depender de sus escalas de puntuación.

Inteligencia Artificial

llama.cpp: optimizaciones que siguen sorprendiendo

llama.cpp es la biblioteca en C++ que impulsa a Ollama y gran parte del ecosistema de LLM locales. En 2024 sumó decodificación especulativa con aceleraciones de dos a tres veces, un servidor RPC para repartir capas entre máquinas y un formato GGUF estable. Ollama basta para el 90% de los casos; ir directo compensa con hardware poco común.

Herramientas

Ollama en 2024: ejecutar LLM localmente sin dolor

Ollama se consolidó en 2024 como el estándar para ejecutar LLMs en local. Empaqueta llama.cpp en un binario único con interfaz de línea de comandos estilo Docker y API compatible con OpenAI. Phi-3 Mini corre en 4 GB; Llama 3.1 8B Q4 necesita 6 GB. Para tráfico de producción a escala, vLLM sigue siendo la opción correcta.

Arquitectura

Model Context Protocol: la propuesta abierta de Anthropic

Model Context Protocol (MCP) es el estándar abierto que Anthropic publicó el 25 de noviembre de 2024 para conectar modelos de lenguaje con datos y herramientas externas mediante JSON-RPC 2.0. No sustituye al function calling: estandariza el lado del servidor, aspirando a ser para el contexto lo que el Language Server Protocol es para los editores de código.

Inteligencia Artificial

Product-market fit en la era de la IA: lo que cambia

El product-market fit para productos con LLM sigue dependiendo de las mismas señales clásicas: retención de cohortes, NPS y expansión de revenue. Lo que cambia son el baseline de calidad más alto, la velocidad de la competencia y los moats duraderos: datos propietarios, integración de workflow y efectos de red.

Inteligencia Artificial

Observabilidad de LLM: trazas, costes y calidad

Las aplicaciones basadas en LLM necesitan tres planos de observabilidad distintos: trazas de prompt y respuesta para depurar alucinaciones, seguimiento de costes por token y por función, y evaluación de calidad de respuesta. Herramientas como Langfuse, LangSmith y Helicone cubren estos planos con instrumentación específica.

Inteligencia Artificial

TensorRT-LLM: aceleración extrema en GPUs NVIDIA para LLM

TensorRT-LLM es el motor de inferencia de NVIDIA que compila cada modelo en un binario optimizado para la GPU exacta y el tamaño de lote donde se va a servir. Usa kernels CUDA hechos a mano y cuantización FP8 nativa en H100. Frente a vLLM puede rendir entre 2 y 3 veces más en el mejor caso, a cambio de un build de 30 a 90 minutos.