Sistemas Basados En LLM: Más Allá de Un Bucle Ingenuo Hacia Una Arquitectura de Grado de Producción

El autor argumenta que un bucle básico es correcto pero insuficiente, comparándolo con un piloto solitario frente a una campaña aérea completa con planificadores, escuadrones paralelos, presupuestos de combustible y revisiones posteriores a la acción. La publicación actualiza cada componente de un arnés básico utilizando la composición de primitivas pequeñas y comprobables: herramientas tipadas con validación de Pydantic, un DAG de plan para ejecución paralela, memoria en niveles bajo un presupuesto de recuperación, una jerarquía de verificación, presupuestos multidimensionales y un rastreador, todo conectado por un orquestador delgado. El diseño divide los roles en Planificador, Trabajador y Crítico para evitar sobrecargar un solo prompt.

Para ilustrar, la publicación construye un agente de comparación de ciudades que toma una lista de ciudades y produce un informe sobre población, zona horaria y resúmenes narrativos. La tarea se descompone en búsquedas independientes (nueve llamadas de herramientas para tres ciudades) que pueden ejecutarse en paralelo, mientras que el informe final depende de que todas las búsquedas se completen. Las herramientas tienen costos variables: lecturas de diccionario en memoria para población y zona horaria, y llamadas LLM para resúmenes y agregación, creando una presión presupuestaria realista.

Para la reproducibilidad, las herramientas de búsqueda utilizan un diccionario simulado, CITY_FACTS, y las piezas respaldadas por LLM pueden ejecutarse contra un modelo real de Anthropic o un proveedor simulado determinista. El proveedor simulado devuelve respuestas conscientes del rol: un plan canónico, resúmenes plantillados y veredictos basados en reglas, para separar los errores de orquestación de los problemas de planificación del modelo. Las herramientas tipadas con modelos de Pydantic proporcionan validación en tiempo de ejecución, JSON Schema para API de uso de herramientas, documentación para el planificador y ganchos de contabilidad de costos, lo que permite una validación de fallo rápido antes de llamadas costosas. La publicación señala que un conjunto de evaluación, puntos de referencia de recuperación y grupos de trabajadores especializados se cubrirán en una publicación futura.