الأنظمة القائمة على LLM: تجاوز الحلقة الساذجة نحو بنية بمستوى الإنتاج

يجادل المؤلف بأن الحلقة الأساسية صحيحة ولكنها غير كافية، مقارناً إياها بطيار منفرد مقابل حملة جوية كاملة مع مخططين وأسراب متوازية وميزانيات وقود ومراجعات ما بعد العمل. يقوم المنشور بترقية كل مكون من مكونات الحزام الأساسي باستخدام تركيب بدائيات صغيرة قابلة للاختبار: أدوات مكتوبة مع تحقق Pydantic، وDAG خطة للتنفيذ المتوازي، وذاكرة متدرجة تحت ميزانية استرجاع، وتسلسل هرمي للتحقق، وميزانيات متعددة الأبعاد، ومتعقب، وكلها موصولة بواسطة منسق رفيع. يقسم التصميم الأدوار إلى مخطط ومنفذ وناقد لتجنب تحميل موجه واحد فوق طاقته.

للتوضيح، يبني المنشور وكيل مقارنة مدن يأخذ قائمة مدن وينتج تقريراً عن السكان والمنطقة الزمنية وملخصات سردية. تتحلل المهمة إلى عمليات بحث مستقلة (تسع استدعاءات أدوات لثلاث مدن) يمكن تشغيلها بالتوازي، بينما يعتمد التقرير النهائي على اكتمال جميع عمليات البحث. تختلف تكاليف الأدوات: قراءات قاموس في الذاكرة للسكان والمنطقة الزمنية، واستدعاءات LLM للملخصات والتجميع، مما يخلق ضغط ميزانية واقعي.

لإعادة الإنتاج، تستخدم أدوات البحث قاموساً وهمياً، CITY_FACTS، ويمكن تشغيل الأجزاء المدعومة بـ LLM ضد نموذج Anthropic حقيقي أو مزود وهمي حتمي. يعيد المزود الوهمي استجابات واعية بالدور: خطة قانونية، وملخصات قالبية، وأحكام قائمة على القواعد، لفصل أخطاء التنسيق عن مشاكل تخطيط النموذج. توفر الأدوات المكتوبة بنماذج Pydantic تحققاً في وقت التشغيل، ومخطط JSON لواجهات برمجة تطبيقات استخدام الأدوات، وتوثيقاً للمخطط، وخطافات محاسبة التكاليف، مما يتيح تحققاً سريعاً قبل الاستدعاءات المكلفة. يلاحظ المنشور أن مجموعة تقييم، ومعايير استرجاع، ومجموعات عمال متخصصة ستُغطى في منشور مستقبلي.