Categorías

Inteligencia Artificial

ONNX Runtime en el edge: inferencia portable y rápida

Un modelo entrenado en PyTorch o TensorFlow, ejecutado igual en servidor, móvil, navegador o un gateway ARM en planta: eso es lo que resuelve ONNX Runtime. Convierte el formato ONNX en un artefacto portable de verdad, exportado una vez, a costa de ceder algo de rendimiento máximo frente a un runtime nativo específico de cada plataforma.

Inteligencia Artificial

TGI de Hugging Face: servir modelos abiertos a escala

Text Generation Inference (TGI) es la pila de inferencia de Hugging Face para servir LLM abiertos en producción: continuous batching, cuantización de 4 y 8 bits, streaming y una API compatible con OpenAI. Tras un episodio de licencia restrictiva en 2023, volvió a Apache 2.0 en la versión 2.0.