RAG no es el primer paso: es una solución a un problema de recuperación

RAG suele presentarse como una arquitectura casi obligatoria cuando queremos que un modelo de lenguaje trabaje con documentación propia. Sin embargo, antes de implementar embeddings, bases vectoriales y procesos de indexación, conviene responder una pregunta más básica: ¿existe realmente un problema de recuperación?

Si una organización dispone de pocos documentos bien estructurados, una búsqueda tradicional por palabras clave, metadatos, títulos o secciones puede resolver muchas consultas con menos costo y menor complejidad.

La búsqueda semántica empieza a aportar valor cuando las preguntas utilizan vocabulario distinto al de los documentos, cuando la información relevante está distribuida entre múltiples fuentes o cuando las técnicas sencillas fallan de forma repetible. En esos casos, los embeddings pueden ayudar a recuperar fragmentos conceptualmente relacionados aunque no compartan exactamente las mismas palabras.

El punto importante es que RAG no es sinónimo de «darle documentos a un LLM». Es una estrategia para mejorar la recuperación de contexto antes de generar una respuesta.

También tiene límites. RAG es apropiado para conocimiento documental relativamente estable, pero no sustituye una base de datos o una API cuando necesitamos conocer un estado que cambia continuamente. Tampoco corrige por sí solo documentos contradictorios, desactualizados o mal organizados.

Agregar una capa vectorial implica nuevas responsabilidades: fragmentación, indexación, actualización, evaluación de la recuperación, costos de almacenamiento y observabilidad. Esa complejidad puede estar plenamente justificada, pero debería responder a un problema demostrado.

Una buena práctica es avanzar por etapas: comenzar con búsqueda simple, medir dónde falla y añadir recuperación semántica solo cuando exista evidencia de que mejora resultados relevantes.

La arquitectura más sofisticada no siempre es la mejor. La mejor es la más sencilla que resuelve el problema con suficiente confiabilidad.