Categoría
Inteligencia artificial sin hype: modelos, agentes y casos de uso que funcionan en producción.
Rutas relacionadas
Evaluar un sistema RAG sin métricas es pura intuición. Ragas mide cuatro señales clave: faithfulness, answer relevancy, context precision y context recall, apoyándose en un LLM como juez. TruLens, DeepEval y otros frameworks cubren enfoques similares. Integrar la evaluación en CI desde el primer día detecta regresiones de prompts, chunking o modelo antes de que lleguen a producción.
SGLang añade un DSL en Python para controlar la generación de LLM con decoding restringido, branching paralelo y RadixAttention, la estructura que indexa el caché KV en un trie radix para reutilizar prefijos compartidos entre peticiones. Cuando ese patrón existe, los speedups frente a vLLM llegan hasta 5 veces; sin él, la ventaja se diluye.
GPT-4o es el modelo de OpenAI presentado el 13 de mayo de 2024 que funde texto, imagen y audio en un único modelo nativo, sin pipelines separados. Ofrece latencia de conversación de unos 320 milisegundos, mejor comprensión multimodal y un precio un 50% inferior al de GPT-4 Turbo.
Llama 3 es la familia de modelos abiertos que Meta lanzó el 18 de abril de 2024 en 8.000 y 70.000 millones de parámetros, entrenada con 15 billones de tokens. El 70B superó a Claude Sonnet, Mistral Medium y GPT-3.5 en la evaluación humana de Meta, y su licencia permite uso comercial gratuito hasta 700 millones de usuarios activos al mes.
nomic-embed-text-v1.5 de Nomic AI es un modelo de embeddings con pesos, código y datos de entrenamiento publicados en Apache 2.0: 137 millones de parámetros, hasta 8192 tokens de contexto y un MTEB de 62.4 puntos, casi igual al 62.3 de text-embedding-3-small de OpenAI, con 768 dimensiones en lugar de 1536.
LangGraph modela los agentes LLM como grafos de estados explícitos con nodos independientes, aristas condicionales y estado tipado. A diferencia del bucle ReAct clásico de LangChain, ofrece checkpointing nativo sobre SQLite, Postgres o Redis, streaming por paso y condiciones de parada declaradas, lo que permite construir agentes que sobreviven a fallos y se pueden reanudar.
La decodificación restringida garantiza matemáticamente que la salida de un LLM cumpla el esquema JSON. En cada paso de generación se enmascaran los tokens ilegales y es imposible producir JSON roto. Outlines, Guidance e Instructor son las implementaciones de referencia. Gana a los reintentos en extracción masiva y agentes con tool calling.
Anthropic lanzó la familia Claude 3 el 4 de marzo de 2024 con tres modelos: Haiku, Sonnet y Opus, todos con 200k tokens de contexto. Haiku cuesta $0.25 por millón de tokens; Opus compite con GPT-4 Turbo en benchmarks. Esta comparativa explica cuándo elegir cada nivel y cómo combinarlos en producción para minimizar coste sin perder calidad donde importa.
Mixtral 8x22B es el modelo Mixture of Experts de Mistral AI liberado en abril de 2024: 141B parámetros totales pero solo 39B activos por token, licencia Apache 2.0 sin restricciones comerciales y rendimiento multilingüe superior a Llama 3 70B en español, francés, italiano y alemán. Requiere GPU de datacenter para servirlo en producción real.
LM Studio es una aplicación de escritorio para Mac, Windows y Linux que descarga y ejecuta modelos de lenguaje grandes en tu propio equipo, con una interfaz de chat pulida y sin necesidad de terminal. Incluye una API compatible con OpenAI y RAG con tus documentos. Para uso individual gana a Ollama en experiencia de usuario; para equipos o producción conviene OpenWebUI, vLLM o TGI.
Un modelo entrenado en PyTorch o TensorFlow, ejecutado igual en servidor, móvil, navegador o un gateway ARM en planta: eso es lo que resuelve ONNX Runtime. Convierte el formato ONNX en un artefacto portable de verdad, exportado una vez, a costa de ceder algo de rendimiento máximo frente a un runtime nativo específico de cada plataforma.
Cuando una aplicación habla con dos o más proveedores de LLM, antes o después aparece un proxy entre medias. LiteLLM propone uno concreto, y esta es la lectura honesta de qué gana y qué cuesta.
Gemini 1.5 Pro irrumpió en febrero de 2024 con un contexto de un millón de tokens verificado. Recupera más del 95% de los datos hasta los 530.000 tokens en pruebas de recuperación, lo que transforma el diseño de sistemas RAG, hace viable el análisis de documentos completos y habilita nuevos patrones arquitectónicos con context caching.
Elegir un LLM abierto para empresa en 2024 ya no se limita a Llama 2: Mistral, Mixtral, Qwen, Yi, DeepSeek y Phi-2 compiten con licencias y tamaños distintos. Los criterios que de verdad deciden son la licencia comercial, el hardware disponible, el soporte de idioma y una evaluación propia sobre casos de uso reales, no solo el benchmark de moda.
OpenAI liberó text-embedding-3 el 25 de enero de 2024 en dos variantes: small y large. Mejora la calidad MTEB frente a ada-002, añade dimensiones variables (truncar sin reentrenar) y baja el precio en small. Migrar compensa en la mayoría de RAG serios, pero conviene medir el recall real con tu propio corpus antes de reindexar todo.
pgvector maduró en 2023-2024 con el tipo de índice HNSW y la construcción paralela que llegó en la versión 0.6. Para los proyectos que ya operan PostgreSQL, ya no hace falta una base vectorial dedicada en la mayoría de los casos: esta guía explica cuándo basta, cómo configurar el índice y dónde empieza a quedarse corto.
Cohere Embed v3 es un modelo de embeddings que distingue queries de documentos con el parámetro input_type y valora la calidad intrínseca del texto, con soporte multilingüe para más de 100 idiomas en 1024 dimensiones. Cuesta 0,10 dólares por millón de tokens, frente a 0,02 de OpenAI, y rinde mejor en RAG multilingüe.
Text Generation Inference (TGI) es la pila de inferencia de Hugging Face para servir LLM abiertos en producción: continuous batching, cuantización de 4 y 8 bits, streaming y una API compatible con OpenAI. Tras un episodio de licencia restrictiva en 2023, volvió a Apache 2.0 en la versión 2.0.
Claude 2, lanzado por Anthropic en julio de 2023, ofrece una ventana de contexto de 100.000 tokens y seguridad basada en Constitutional AI. Frente a GPT-4, gana en analisis de documentos largos y codigo con contexto amplio; GPT-4 sigue adelante en razonamiento matematico complejo y en su ecosistema de herramientas.
Las bases de datos vectoriales han pasado de ser una curiosidad experimental a ser el componente central de la mayoría de productos basados en LLMs. Esta comparativa cubre Qdrant, Pinecone y Weaviate: arquitectura, fortalezas, limitaciones y un árbol de decisión para elegir según tus prioridades operativas y presupuesto.
Con cuantización, los pesos de un modelo se guardan con menos bits (4, 5 u 8 en vez de 16), así que Llama 2 13B pasa de 26 GB a unos 7,5 GB. Con llama.cpp corre en un portátil normal de 16 GB de RAM sin GPU dedicada, y la pérdida de calidad es menor de lo que la intuición sugiere.
pgvector convierte PostgreSQL en una base vectorial sin añadir otro servicio al stack. Con la versión 0.8.6 y PostgreSQL 18, HNSW dio un 95,1 % de recall@10 en 1,15 ms sobre 99.000 embeddings reales. Los filtros SQL comparten consulta con el ranking vectorial, y los recorridos iterativos evitan que un filtro devuelva menos filas de las pedidas.
LangChain es un framework Python que unifica la construcción de aplicaciones con LLM: prompt templates, retrievers sobre bases vectoriales, agentes con function calling y memoria conversacional. Aporta valor real en prototipos rápidos y sistemas con varios modelos, pero en producción de un caso único bien definido el código directo suele ser más mantenible.
Un embedding de texto es un vector numérico que codifica el significado de una palabra o frase, de forma que fragmentos semánticamente parecidos generan vectores cercanos por distancia coseno. Los modelos más usados en producción son OpenAI ada-002, Sentence Transformers y BGE, y sirven sobre todo para búsqueda semántica, sistemas RAG y clasificación de texto sin entrenar un clasificador.
Function calling en OpenAI formaliza la comunicación entre el LLM y el código externo mediante JSON Schema declarativo: el modelo devuelve datos estructurados en lugar de texto libre. Introducido en junio de 2023 con GPT-3.5-turbo y GPT-4, es el estándar para agentes, extracción de datos y APIs conversacionales.
Chroma es la base de datos vectorial más sencilla para empezar con embeddings y búsqueda semántica: se instala con pip install chromadb, no exige infraestructura adicional y ofrece una API mínima (add, query, delete). Es ideal para prototipos y RAG de tamaño medio; por encima de unos pocos millones de vectores, conviene migrar a Qdrant o Milvus.
Midjourney v5, lanzado en marzo de 2023, logra fotorrealismo consistente en piel, luz y profundidad de campo, algo que v4 no conseguía. El parámetro --style raw desactiva el estilo artístico por defecto, ideal para fotografía de producto. Sigue sin API oficial: solo funciona desde Discord, así que Stable Diffusion XL y DALL-E 3 siguen siendo más prácticos para automatizar pipelines.
En 2023, tres marcos regulan la IA generativa con enfoques distintos: el EU AI Act europeo establece cuatro niveles de riesgo con multas del 6 % de facturación; el NIST framework de EEUU es voluntario; el Reino Unido delega en reguladores sectoriales. Equipos de producto deben inventariar casos de uso y documentar riesgos.
Ollama hace trivial ejecutar modelos como Llama 2 o Mistral en tu propio ordenador: un binario, un comando y los pesos cuantizados descargándose al disco sin compilar nada. Esta guía cubre la instalación en macOS, Linux y Windows, con una valoración honesta de lo que la inferencia local puede y no puede hacer frente a los modelos de frontera.
El mantenimiento predictivo industrial rara vez necesita deep learning: modelos clásicos como random forests, SVM o modelos de supervivencia resuelven el 80% de los casos. La clave está en el feature engineering sobre señales de vibración, temperatura y consumo eléctrico, con pipelines que corren en apenas 50 MB de RAM sin GPU.
Cinco meses después de su lanzamiento, GPT-4 destaca en razonamiento encadenado, escritura técnica y código de mediana complejidad, pero sigue fallando en aritmética, información posterior a su corte de datos y consistencia entre conversaciones. Claude 2 gana en contexto largo; LLaMA 2, en coste y privacidad.
Meta publicó LLaMA 2 el 18 de julio de 2023 con licencia comercial libre de royalties, en tres tamaños (7B, 13B, 70B parámetros). El modelo 70B iguala o supera a GPT-3.5 en benchmarks estándar. Para el 99,9 % de las organizaciones la licencia permite descargar, modificar y ejecutar el modelo en producción con privacidad total.
Google lanzó Bard en febrero de 2023 con PaLM 2 como respuesta a ChatGPT, y presentó el modelo en mayo del mismo año en cuatro tamaños: Gecko, Otter, Bison y Unicorn. PaLM 2 compite con GPT-3.5 y GPT-4 en benchmarks como MMLU y BIG-bench, pero la ventaja real de Google está en la integración con Workspace, no en el modelo en sí.
El fine-tuning de un LLM propio compensa en tres casos: necesitas un estilo o voz muy específicos, un formato de salida rígido y estructurado, o quieres reducir coste y latencia con un modelo pequeño especializado. LoRA y QLoRA han bajado el coste de GPU, pero preparar datos y operar el modelo en producción siguen siendo caros. Para el resto, RAG y prompt engineering bastan.
Stable Diffusion XL marca un salto en calidad de imagen generada bajo licencia abierta. Qué cambia frente a SD 1.5/2.1, requisitos de hardware y cuándo elegir SDXL sobre Midjourney o DALL-E 3.
Los plugins de ChatGPT permiten que el modelo invoque servicios externos mediante una especificación OpenAPI. A tres meses de su lanzamiento, el ecosistema suma unos 500 plugins con un patrón claro: funcionan bien para consulta de datos en vivo y exposición de APIs internas, pero presentan fricciones en orquestación múltiple y transacciones con dinero real.
Code Interpreter extiende ChatGPT Plus con un intérprete Python en sandbox aislado: ejecuta el código en el acto, lee los ficheros que subes (CSV, Excel, PDF, imágenes, ZIPs) y devuelve resultados y gráficos dentro del chat. La sesión es efímera y sin internet, pero notablemente eficaz para análisis exploratorio ad-hoc sin arrancar un notebook.
DINOv2 es el modelo de visión por computadora de Meta AI entrenado con autoaprendizaje sobre 142 millones de imágenes sin etiquetas humanas. Con una simple capa lineal sobre el codificador congelado iguala o supera a modelos supervisados en clasificación ImageNet, segmentación semántica y estimación de profundidad monocular.
Cerebras-GPT es una familia de 7 modelos de lenguaje open-source, de 111 millones a 13.000 millones de parámetros, entrenados por Cerebras Systems en sus procesadores CS-2 con arquitectura GPT-3 estándar. Publicados en Hugging Face y GitHub bajo licencia Apache 2.0, sirven para fine-tuning, investigación e inferencia local, aunque solo entienden inglés.
Qdrant es la opción cuando priorizas control total y rendimiento en autoalojamiento; Pinecone gana si buscas SaaS totalmente gestionado sin operaciones; Weaviate destaca cuando necesitas embeddings nativos y búsqueda híbrida integrados en el mismo pipeline. Esta comparativa detalla arquitectura, cuantización, filtrado y casos de uso RAG para decidir según presupuesto y necesidad de control.
Un ensamble de aprendizaje combina las predicciones de varios modelos, mediante bagging, boosting o stacking, para lograr un resultado más preciso y estable que cualquier modelo individual. Random Forest y XGBoost dominan los datos tabulares porque explotan esa idea: la diversidad entre modelos reduce el error, siempre que sus fallos no estén correlacionados entre sí.
La tangente hiperbólica (tanh) es una función de activación que comprime cualquier valor real en el intervalo (-1, 1) con salida centrada en cero, lo que reduce el sesgo sistemático de los gradientes frente a la sigmoide. Es la activación estándar en las celdas de memoria LSTM y GRU de las redes recurrentes.
La función sigmoide convierte cualquier número real en un valor entre 0 y 1, lo que la vuelve la función de activación natural para expresar probabilidades en una red neuronal. Es diferenciable en todo su dominio, aunque sufre saturación y desvanecimiento del gradiente en redes profundas, por lo que hoy se reserva casi siempre a la capa de salida.
La función Softmax transforma los logits de salida de una red neuronal en una distribución de probabilidad que suma 1. Es la activación estándar en clasificación multiclase, desde clasificadores de imágenes hasta el vocabulario de los modelos de lenguaje como GPT.
Leaky ReLU es una función de activación derivada de ReLU que sustituye el valor cero de las entradas negativas por una pendiente pequeña, normalmente 0.01. Así el gradiente nunca es exactamente cero, lo que evita el problema de la neurona muerta y estabiliza el entrenamiento en redes convolucionales, recurrentes y GAN muy profundas.
ReLU (Unidad Lineal Rectificada, f(x) = max(0, x)) es la función de activación dominante en el aprendizaje profundo desde que AlexNet la popularizó en 2012: barata de calcular, resistente al desvanecimiento del gradiente y con una debilidad conocida, el dying ReLU.
La función escalón o de Heaviside es la función de activación más simple de una red neuronal: convierte cualquier entrada en una salida binaria, 0 o 1, según supere o no un umbral fijo. Fue el mecanismo central del perceptrón de Rosenblatt en 1958, pero su derivada es nula en casi todo punto, por lo que hoy se sustituye por la sigmoide o la ReLU.
La función lineal f(x) = ax + b es la activación más simple de una red neuronal: en su forma identidad, f(x) = x, es el estándar en la capa de salida para regresión porque no acota el rango de valores posibles. En capas ocultas falla, porque componer varias funciones lineales colapsa toda la red en una única capa lineal equivalente.
