Üretim Seviyesi AI Ajanları: Mimari Desenler

Bir demo ajanı ile bir üretim ajanı yalnızca modeli paylaşır, neredeyse başka hiçbir şeyi değil. Fark, mimaridedir.

Prompt'larla değil, araçlarla başla

Bir ajanın güvenilirliği, araçlarının kalitesiyle sınırlıdır. Bir araç tek bir şey yapmalı, kendi girdilerini doğrulamalı ve yapılandırılmış çıktı döndürmeli. Bir araç sessizce başarısız olabiliyorsa, ajan bu hatanın etrafında halüsinasyon üretir.

Her aracı bir public API gibi ele al: tipli girdiler, tipli çıktılar, açık hatalar.

Döngüyü sınırlı tut

Sınırsız bir otonom döngü, patlamayı bekleyen bir arızadır. Üretimde:

• Görev başına adım sayısını sınırla.
• Çalıştırma başına bir süre ve token bütçesi ekle.
• Her adımı idempotent yap ki bir tekrar denemesi çifte ücret ya da çifte gönderim yapamasın.

Korkuluklar deterministiktir

Model karar verir; kod uygular. Modelin önerdiği eylemi çalıştırmadan önce sert kurallara karşı doğrula. Para göndermek, veri silmek ya da bir müşteriye e-posta atmak, modelin lafla aşamayacağı deterministik bir kapıdan geçmeli.

Değerlendirmelerle ölç

Puanlayamadığın şeyi iyileştiremezsin. Bilinen-doğru sonuçlara sahip gerçek görevlerden oluşan küçük bir değerlendirme (eval) seti kur ve her prompt veya model değişikliğinde çalıştır. Bu, ajan geliştirmedeki en yüksek kaldıraçlı tek alışkanlıktır.

İnsana eskalasyon yap

En iyi üretim ajanları sınırlarını bilir. Güven düşükken ya da eylem geri alınamazken, ajan tahmin etmek yerine tam bağlamla bir insana eskalasyon yapmalı. İyi tasarlandığında bu, sistemi daha az değil daha otonom hissettirir — çünkü nadiren yanılır.