Sistemas Baseados Em LLM: Além Do Loop Ingênuo Para Uma Arquitetura de Produção

O autor argumenta que um loop básico é correto, mas insuficiente, comparando-o a um piloto solitário versus uma campanha aérea completa com planejadores, esquadrões paralelos, orçamentos de combustível e revisões pós-ação. O post atualiza cada componente de um harness básico usando composição de primitivas pequenas e testáveis: ferramentas tipadas com validação Pydantic, um DAG de plano para execução paralela, memória em camadas sob um orçamento de recuperação, uma hierarquia de verificação, orçamento multidimensional e um rastreador, todos conectados por um orquestrador fino. O design divide papéis em Planejador, Trabalhador e Crítico para evitar sobrecarregar um único prompt.

Para ilustrar, o post constrói um agente de comparação de cidades que recebe uma lista de cidades e produz um relatório sobre população, fuso horário e resumos narrativos. A tarefa se decompõe em buscas independentes (nove chamadas de ferramenta para três cidades) que podem rodar em paralelo, enquanto o relatório final depende de todas as buscas concluídas. As ferramentas têm custos variados: leituras de dicionário em memória para população e fuso horário, e chamadas LLM para resumos e agregação, criando pressão de orçamento realista.

Para reprodutibilidade, as ferramentas de busca usam um dicionário simulado, CITY_FACTS, e peças baseadas em LLM podem rodar contra um modelo Anthropic real ou um provedor simulado determinístico. O provedor simulado retorna respostas cientes do papel—um plano canônico, resumos modelados e veredictos baseados em regras—para separar bugs de orquestração de problemas de planejamento do modelo. Ferramentas tipadas com modelos Pydantic fornecem validação em tempo de execução, JSON Schema para AP Is de uso de ferramentas, documentação para o planejador e ganchos de contabilidade de custos, permitindo validação rápida antes de chamadas caras. O post observa que uma suíte de avaliação, benchmarks de recuperação e pools de trabalhadores especializados serão cobertos em um post futuro.