Extraer un dato no significa que sea válido

Los modelos de IA son útiles para interpretar información no estructurada, pero la extracción y la validación resuelven problemas distintos.

Un modelo puede identificar correctamente la estructura esperada y aun así devolver un monto, una fecha o una categoría incorrectos. Por eso, el resultado no debería pasar directamente a una operación de negocio.

Una arquitectura más confiable separa responsabilidades. La IA interpreta; después, reglas determinísticas comprueban formatos, campos obligatorios, rangos, catálogos y otras condiciones que puedan verificarse sin ambigüedad.

Cuando una validación falla, el sistema puede solicitar corrección, enviar el caso a revisión o detener la operación según el riesgo. No es necesario pedirle al mismo modelo que confirme su propia respuesta como única defensa.

La combinación de interpretación probabilística y controles determinísticos permite aprovechar la flexibilidad de la IA sin delegarle decisiones que pueden verificarse de forma más confiable.

Extraer un dato no significa que sea válido

Comentarios

Publicar un comentario

Entradas más populares de este blog

El LLM no debe ser la fuente de verdad

Imagen
Un modelo de lenguaje puede explicar una respuesta con gran claridad y, aun así, ofrecer un dato equivocado. Esa combinación es peligrosa: cuanto más convincente resulta el texto, más fácil es olvidar que el modelo quizá no consultó la información adecuada. Antes de incorporarlo a un proceso, conviene formular una pregunta sencilla: ¿dónde se encuentra la fuente de verdad para cada dato y cada decisión? La respuesta cambia según la consulta. Un horario vigente suele estar en una página oficial o una API; una regla de acceso puede estar en una política publicada; una disponibilidad en tiempo real debe venir del sistema que la registra. El modelo puede ayudar a entender la pregunta y redactar la respuesta, pero no debería sustituir a esas fuentes. Su habilidad para producir lenguaje no equivale a tener información actualizada ni autoridad para decidir. Pensemos en un sitio que ayuda a planificar la visita a un museo. Una persona pregunta si puede entrar el domingo, cuánto cuesta la entra...
Leer más

Un documento no debe convertirse en autoridad

Imagen
Los sistemas con IA suelen procesar contenido que no controlamos: correos, documentos, páginas web, mensajes o información recuperada mediante RAG. Ese contenido puede incluir instrucciones dirigidas al modelo y tratar de modificar su comportamiento. La defensa fundamental consiste en separar información de autoridad. Un documento puede aportar datos para responder una consulta, pero no debe adquirir permisos para cambiar reglas, ejecutar acciones o ampliar privilegios. Por ejemplo, un correo podría indicar que se ignore una política y se modifique un registro administrativo. El modelo puede analizar o resumir ese texto, pero la operación debe seguir dependiendo de permisos, reglas de negocio y, cuando corresponda, confirmación humana. Esto implica que la seguridad no puede descansar únicamente en un prompt que diga “ignore instrucciones maliciosas”. Las fronteras importantes deben implementarse fuera del modelo. La IA puede interpretar contenido no confiable. Lo que no debe hacer es p...
Leer más

Human-in-the-loop: dónde debe detenerse la IA

Imagen
Automatizar no significa eliminar siempre a la persona del proceso. En sistemas con IA, la intervención humana puede funcionar como un control deliberado cuando una decisión tiene suficiente riesgo, incertidumbre o impacto. El punto importante es elegir dónde colocar ese control. Pedir aprobación para cada paso aumenta latencia y carga operativa; no pedirla nunca puede permitir que un error probabilístico produzca consecuencias difíciles de revertir. Una arquitectura human-in-the-loop define criterios explícitos. Impacto, reversibilidad, confianza, permisos y costo del error pueden determinar si una acción continúa automáticamente, solicita aprobación o se detiene. Las tareas rutinarias y verificables pueden conservar autonomía. Las acciones sensibles, ambiguas o de alto impacto requieren un nivel de supervisión proporcional al riesgo. El objetivo no es mantener a una persona dentro de todos los flujos, sino utilizar su intervención donde realmente aumenta la confiabilidad del sistema.
Leer más