Inteligencia Artificial
llama-server como API compatible con OpenAI en Docker, probado con los SDK oficiales
llama-server, el servidor de llama.cpp, expone /v1/chat/completions, /v1/completions, /v1/embeddings y /v1/models con el formato de OpenAI, así que el SDK oficial funciona cambiando base_url. Lo probé en Docker con la v0.5.0: herramientas, JSON con esquema y Open WebUI funcionan, pero el contexto se reparte entre ranuras y tool_choice por nombre se ignora.
