Categorías

Categorías Jacar — explora los temas Un cohete cuyos ojos siguen el cursor.
Herramientas

Cuantización de modelos y llama.cpp en tu portátil

Con cuantización, los pesos de un modelo se guardan con menos bits (4, 5 u 8 en vez de 16), así que Llama 2 13B pasa de 26 GB a unos 7,5 GB. Con llama.cpp corre en un portátil normal de 16 GB de RAM sin GPU dedicada, y la pérdida de calidad es menor de lo que la intuición sugiere.

Herramientas

ChatGPT con plugins: un ecosistema en construcción

Los plugins de ChatGPT permiten que el modelo invoque servicios externos mediante una especificación OpenAPI. A tres meses de su lanzamiento, el ecosistema suma unos 500 plugins con un patrón claro: funcionan bien para consulta de datos en vivo y exposición de APIs internas, pero presentan fricciones en orquestación múltiple y transacciones con dinero real.

Herramientas

GitHub Copilot: El asistente de código inteligente

GitHub Copilot es un asistente de programación de GitHub y OpenAI que sugiere código en tiempo real dentro del editor, entrenado sobre miles de millones de líneas de código público. Acelera tareas repetitivas como tests, boilerplate y documentación, pero sus sugerencias siempre necesitan revisión humana antes de llegar a producción.