Inteligencia Artificial
Reranking local en tu RAG con llama.cpp y pgvector, medido
Un reranker relee los pasajes que devuelve pgvector y los reordena por relevancia. Con bge-reranker-v2-m3 servido por llama.cpp en CPU, reordenar 20 candidatos subió el nDCG@10 de 0,805 a 0,850 en 300 preguntas de MIRACL en español; pasar 50 no mejoró nada y costó 2,7 veces más tokens.
