El LLM no debe ser la fuente de verdad

Un modelo de lenguaje puede explicar una respuesta con gran claridad y, aun así, ofrecer un dato equivocado. Esa combinación es peligrosa: cuanto más convincente resulta el texto, más fácil es olvidar que el modelo quizá no consultó la información adecuada. Antes de incorporarlo a un proceso, conviene formular una pregunta sencilla: ¿dónde se encuentra la fuente de verdad para cada dato y cada decisión?

La respuesta cambia según la consulta. Un horario vigente suele estar en una página oficial o una API; una regla de acceso puede estar en una política publicada; una disponibilidad en tiempo real debe venir del sistema que la registra. El modelo puede ayudar a entender la pregunta y redactar la respuesta, pero no debería sustituir a esas fuentes. Su habilidad para producir lenguaje no equivale a tener información actualizada ni autoridad para decidir.

Pensemos en un sitio que ayuda a planificar la visita a un museo. Una persona pregunta si puede entrar el domingo, cuánto cuesta la entrada y si un menor puede acceder sin acompañante. Son tres preguntas distintas. El horario puede consultarse en el calendario oficial. El precio debe venir de la lista vigente de tarifas. La condición de acceso para menores requiere la norma publicada por el museo. Si el sistema solo pide al modelo que responda «según su conocimiento», cualquiera de esos datos podría estar desactualizado o ser inventado.

La separación de responsabilidades permite un recorrido más confiable. Primero, el modelo identifica qué información solicita la persona. Después, el sistema consulta las fuentes correspondientes y conserva la fecha o versión de cada resultado. Por último, el modelo redacta una respuesta comprensible que distinga los hechos confirmados de cualquier dato pendiente. Si una fuente no está disponible, la respuesta debe indicarlo claramente, sin rellenar el espacio con una cifra o una regla plausible.

No basta con adjuntar documentos a una conversación. Un documento puede explicar cómo funciona una regla, pero no necesariamente autoriza una acción. Tampoco garantiza que sea la versión vigente. Para cada fuente conviene definir quién la mantiene, cuándo se actualizó y qué preguntas puede responder. Si dos fuentes discrepan, el proceso necesita una prioridad explícita o una revisión humana. El modelo no debería resolver una contradicción inventando una interpretación que suene razonable.

La trazabilidad también importa. Cuando un dato cambia, debería ser posible identificar de dónde salió la respuesta anterior. En el ejemplo del museo, un enlace al calendario, la fecha de consulta de tarifas y la referencia a la política de acceso facilitan corregir un error. La explicación del modelo se vuelve más útil cuando permite comprobar sus bases, no cuando solo parece segura.

Este enfoque no exige construir una arquitectura compleja para cada pregunta. En un caso sencillo puede bastar con consultar una página oficial antes de responder. En otros habrá que combinar varias fuentes o aplicar una regla determinista. La decisión técnica debe seguir el tipo de información y el costo de equivocarse. Más instrucciones en el prompt no reemplazan una fuente confiable.

La pregunta decisiva para diseñar una solución no es «¿qué modelo responde mejor?», sino «¿qué componente sabe realmente esto y quién tiene autoridad para decidirlo?». El modelo aporta interpretación y comunicación. Los hechos verificables vienen de sus fuentes, y las decisiones sensibles se rigen por controles definidos fuera del texto generado.

El LLM no debe ser la fuente de verdad

Comentarios

Entradas más populares de este blog

Un documento no debe convertirse en autoridad

Human-in-the-loop: dónde debe detenerse la IA