Sistem Berbasis LLM: Melampaui Loop Naif Menuju Arsitektur Kelas Produksi

Penulis berpendapat bahwa loop dasar itu benar tetapi tidak cukup, membandingkannya dengan pilot tunggal versus kampanye udara penuh dengan perencana, skuadron paralel, anggaran bahan bakar, dan tinjauan pasca-tindakan. Postingan ini meningkatkan setiap komponen dari harness dasar menggunakan komposisi primitif kecil yang dapat diuji: alat bertipe dengan validasi Pydantic, DAG rencana untuk eksekusi paralel, memori berjenjang di bawah anggaran pengambilan, hierarki verifikasi, penganggaran multi-dimensi, dan pelacak, semuanya dihubungkan oleh orkestrator tipis. Desain membagi peran menjadi Planner, Worker, dan Critic untuk menghindari membebani satu prompt.

Untuk ilustrasi, postingan membangun agen perbandingan kota yang mengambil daftar kota dan menghasilkan laporan tentang populasi, zona waktu, dan ringkasan naratif. Tugas terurai menjadi pencarian independen (sembilan panggilan alat untuk tiga kota) yang dapat berjalan paralel, sementara laporan akhir bergantung pada semua pencarian selesai. Alat memiliki biaya bervariasi: pembacaan kamus dalam memori untuk populasi dan zona waktu, dan panggilan LLM untuk ringkasan dan agregasi, menciptakan tekanan anggaran yang realistis.

Untuk reproduktifitas, alat pencarian menggunakan kamus tiruan, CITY_FACTS, dan bagian berbasis LLM dapat berjalan terhadap model Anthropic nyata atau penyedia tiruan deterministik. Penyedia tiruan mengembalikan respons yang sadar peran—rencana kanonik, ringkasan templat, dan keputusan berbasis aturan—untuk memisahkan bug orkestrasi dari masalah perencanaan model. Alat bertipe dengan model Pydantic menyediakan validasi runtime, JSON Schema untuk API penggunaan alat, dokumentasi untuk perencana, dan kait akuntansi biaya, memungkinkan validasi cepat sebelum panggilan mahal. Postingan mencatat bahwa suite evaluasi, benchmark pengambilan, dan kumpulan pekerja khusus akan dibahas dalam postingan mendatang.