Categoría
Inteligencia artificial sin hype: modelos, agentes y casos de uso que funcionan en producción.
GPT-4 Turbo, lanzado en noviembre de 2023, amplió el contexto de GPT-4 a 128.000 tokens y redujo el precio de entrada 3 veces, hasta 10 dólares por millón de tokens. GPT-4o lo supera en precio, velocidad y calidad de respuesta, pero Turbo sigue siendo válido en apps productivas estables, contratos con versión fija y pruebas deterministas que dependen de su comportamiento concreto.
Evaluar un sistema RAG sin métricas es pura intuición. Ragas mide cuatro señales clave: faithfulness, answer relevancy, context precision y context recall, apoyándose en un LLM como juez. TruLens, DeepEval y otros frameworks cubren enfoques similares. Integrar la evaluación en CI desde el primer día detecta regresiones de prompts, chunking o modelo antes de que lleguen a producción.
SGLang añade un DSL en Python para controlar la generación de LLM con decoding restringido, branching paralelo y RadixAttention, la estructura que indexa el caché KV en un trie radix para reutilizar prefijos compartidos entre peticiones. Cuando ese patrón existe, los speedups frente a vLLM llegan hasta 5 veces; sin él, la ventaja se diluye.
GPT-4o es el modelo de OpenAI presentado el 13 de mayo de 2024 que funde texto, imagen y audio en un único modelo nativo, sin pipelines separados. Ofrece latencia de conversación de unos 320 milisegundos, mejor comprensión multimodal y un precio un 50% inferior al de GPT-4 Turbo.
Llama 3 es la familia de modelos abiertos que Meta lanzó el 18 de abril de 2024 en 8.000 y 70.000 millones de parámetros, entrenada con 15 billones de tokens. El 70B superó a Claude Sonnet, Mistral Medium y GPT-3.5 en la evaluación humana de Meta, y su licencia permite uso comercial gratuito hasta 700 millones de usuarios activos al mes.
nomic-embed-text-v1.5 de Nomic AI es un modelo de embeddings con pesos, código y datos de entrenamiento publicados en Apache 2.0: 137 millones de parámetros, hasta 8192 tokens de contexto y un MTEB de 62.4 puntos, casi igual al 62.3 de text-embedding-3-small de OpenAI, con 768 dimensiones en lugar de 1536.
LangGraph modela los agentes LLM como grafos de estados explícitos con nodos independientes, aristas condicionales y estado tipado. A diferencia del bucle ReAct clásico de LangChain, ofrece checkpointing nativo sobre SQLite, Postgres o Redis, streaming por paso y condiciones de parada declaradas, lo que permite construir agentes que sobreviven a fallos y se pueden reanudar.
La decodificación restringida garantiza matemáticamente que la salida de un LLM cumpla el esquema JSON. En cada paso de generación se enmascaran los tokens ilegales y es imposible producir JSON roto. Outlines, Guidance e Instructor son las implementaciones de referencia. Gana a los reintentos en extracción masiva y agentes con tool calling.
Anthropic lanzó la familia Claude 3 el 4 de marzo de 2024 con tres modelos: Haiku, Sonnet y Opus, todos con 200k tokens de contexto. Haiku cuesta $0.25 por millón de tokens; Opus compite con GPT-4 Turbo en benchmarks. Esta comparativa explica cuándo elegir cada nivel y cómo combinarlos en producción para minimizar coste sin perder calidad donde importa.
Mixtral 8x22B es el modelo Mixture of Experts de Mistral AI liberado en abril de 2024: 141B parámetros totales pero solo 39B activos por token, licencia Apache 2.0 sin restricciones comerciales y rendimiento multilingüe superior a Llama 3 70B en español, francés, italiano y alemán. Requiere GPU de datacenter para servirlo en producción real.
LM Studio es una aplicación de escritorio para Mac, Windows y Linux que descarga y ejecuta modelos de lenguaje grandes en tu propio equipo, con una interfaz de chat pulida y sin necesidad de terminal. Incluye una API compatible con OpenAI y RAG con tus documentos. Para uso individual gana a Ollama en experiencia de usuario; para equipos o producción conviene OpenWebUI, vLLM o TGI.
Un modelo entrenado en PyTorch o TensorFlow, ejecutado igual en servidor, móvil, navegador o un gateway ARM en planta: eso es lo que resuelve ONNX Runtime. Convierte el formato ONNX en un artefacto portable de verdad, exportado una vez, a costa de ceder algo de rendimiento máximo frente a un runtime nativo específico de cada plataforma.
Cuando una aplicación habla con dos o más proveedores de LLM, antes o después aparece un proxy entre medias. LiteLLM propone uno concreto, y esta es la lectura honesta de qué gana y qué cuesta.
Gemini 1.5 Pro irrumpió en febrero de 2024 con un contexto de un millón de tokens verificado. Recupera más del 95% de los datos hasta los 530.000 tokens en pruebas de recuperación, lo que transforma el diseño de sistemas RAG, hace viable el análisis de documentos completos y habilita nuevos patrones arquitectónicos con context caching.
Elegir un LLM abierto para empresa en 2024 ya no se limita a Llama 2: Mistral, Mixtral, Qwen, Yi, DeepSeek y Phi-2 compiten con licencias y tamaños distintos. Los criterios que de verdad deciden son la licencia comercial, el hardware disponible, el soporte de idioma y una evaluación propia sobre casos de uso reales, no solo el benchmark de moda.
OpenAI liberó text-embedding-3 el 25 de enero de 2024 en dos variantes: small y large. Mejora la calidad MTEB frente a ada-002, añade dimensiones variables (truncar sin reentrenar) y baja el precio en small. Migrar compensa en la mayoría de RAG serios, pero conviene medir el recall real con tu propio corpus antes de reindexar todo.
pgvector maduró en 2023-2024 con el tipo de índice HNSW y la construcción paralela que llegó en la versión 0.6. Para los proyectos que ya operan PostgreSQL, ya no hace falta una base vectorial dedicada en la mayoría de los casos: esta guía explica cuándo basta, cómo configurar el índice y dónde empieza a quedarse corto.
Cohere Embed v3 es un modelo de embeddings que distingue queries de documentos con el parámetro input_type y valora la calidad intrínseca del texto, con soporte multilingüe para más de 100 idiomas en 1024 dimensiones. Cuesta 0,10 dólares por millón de tokens, frente a 0,02 de OpenAI, y rinde mejor en RAG multilingüe.
Text Generation Inference (TGI) es la pila de inferencia de Hugging Face para servir LLM abiertos en producción: continuous batching, cuantización de 4 y 8 bits, streaming y una API compatible con OpenAI. Tras un episodio de licencia restrictiva en 2023, volvió a Apache 2.0 en la versión 2.0.
