No pague por inmediatez cuando el proceso puede esperar

Cuando se diseña un sistema con inteligencia artificial, una de las decisiones más importantes no tiene que ver con el modelo, sino con cuándo debe ejecutarse el trabajo.

El procesamiento síncrono es el enfoque natural cuando una persona o sistema espera una respuesta inmediata. Un asistente conversacional, por ejemplo, pierde valor si tarda varios minutos en contestar. En ese contexto, la latencia forma parte de la experiencia y, por tanto, del requisito de negocio.

Pero no todos los procesos necesitan esa inmediatez. Hay tareas que pueden esperar minutos u horas, como la clasificación masiva de documentos, el análisis de grandes volúmenes de registros o el procesamiento nocturno. En estos casos, una arquitectura asíncrona o batch puede ser más adecuada y económica.

Una Batch API opera enviando un trabajo completo para recuperar los resultados posteriormente, lo cual afecta costo, latencia y diseño. Sin embargo, esto aumenta la complejidad operativa, ya que el sistema debe gestionar estados, fallos y reintentos.

Tampoco conviene asumir que todo procesamiento masivo necesita un modelo de lenguaje. Si una transformación se resuelve mediante SQL o reglas determinísticas, suele ser más barata y predecible.

La decisión adecuada requiere evaluar cuatro aspectos: tiempo de espera tolerable, volumen de datos, costo del flujo completo y complejidad de la orquestación.

La arquitectura correcta es aquella que cumple el nivel de servicio necesario con el menor costo y una confiabilidad aceptable, evitando pagar por una inmediatez innecesaria.