Dar herramientas a un LLM no significa darle autoridad

El uso de la llamada a herramientas o tool calling en los modelos de lenguaje modernos permite que un asistente solicite acciones o consultas en sistemas externos de manera automatizada. Esta capacidad amplía enormemente el valor operativo de cualquier desarrollo, pero introduce una distinción fundamental que todo arquitecto y desarrollador debe tener clara desde el inicio: la capacidad técnica no significa autoridad de decisión.

Para comprender esta diferencia, imagine un asistente virtual diseñado para entornos corporativos que tiene la capacidad de consultar calendarios, buscar información dentro de una base de conocimiento interna y crear tickets de soporte. El modelo puede analizar la petición del usuario, determinar con precisión que se desea abrir un ticket y preparar todos los campos necesarios. Sin embargo, el hecho de que el modelo sepa qué datos enviar no significa que deba decidir por sí mismo si la operación está permitida. El sistema backend todavía debe validar campos obligatorios, comprobar los permisos del usuario y aplicar cualquier regla operativa antes de ejecutar la acción real.

Esta separación de responsabilidades resulta indispensable para mantener la estabilidad y la seguridad. El modelo interpreta el lenguaje natural, la herramienta ofrece una capacidad técnica específica, y el backend conserva la autoridad absoluta para validar y ejecutar. Al estructurar los sistemas de esta manera, se evita que el flujo dependa de una suposición algorítmica para decisiones que requieren garantías estrictas de cumplimiento normativo y seguridad.

El nivel de autonomía que se concede a un asistente también debería depender directamente del riesgo asociado a la tarea. Consultar información pública o realizar una búsqueda general de datos suele ser un proceso poco delicado en comparación con modificar permisos de usuario, aprobar operaciones financieras o ejecutar acciones irreversibles. Cuanto mayor sea el impacto potencial de un error, más importantes se vuelven las validaciones determinísticas, las confirmaciones explícitas y la supervisión humana directa.

Este enfoque evita diseñar agentes que confunden una excelente comprensión del lenguaje con un permiso implícito para actuar sin supervisión. Un modelo puede comprender perfectamente una solicitud compleja y aun así encontrarse frente a una acción que el usuario no tiene permitido realizar según las políticas vigentes.

En conclusión, la llamada a herramientas es una pieza sumamente poderosa para construir sistemas útiles y eficientes. No obstante, el diseño verdaderamente confiable aparece cuando las herramientas amplían las capacidades del modelo sin transferirle jamás el control final sobre los procesos críticos.

Dar herramientas a un modelo aumenta lo que puede intentar hacer, pero la autoridad siempre debe permanecer firmemente en los controles del sistema.