Temsil
Kaynak ve çıktıyı tek bir tokenizer ile karşılaştırın. Girdi azaltmayı ölçmek için okuma modunu, atlamaları ve kurtarmaları kaydedin.
Kıyaslamalar ve metodoloji
Girdiyi ölçün.Sonucu doğrulayın.
Girdi, çalışma zamanı çabası ve görev kalitesini karşılaştırın. LeanCTX'i kendi çalışmalarınızda değerlendirmek için tekrarlanabilir bir temel kullanın.
Üç farklı soru
Girdi, çaba ve sonucu ölçün.
Bağlam temsilini, hazırlama maliyetini ve tamamlanan görevi ayrı ayrı yargılayın.
İşlem
Hazırlama süresini, araç yükünü, model girdisini ve çıktısını, yeniden denemeleri ve önbellek etkilerini sayın. Gözlemlenen maliyeti tahminlerden ve bilinmeyenlerden ayırın.
Görev sonucu
Aynı görevi ve kabul kriterlerini kullanın. Testler ve incelemeler, teslim edilen bağlamın yeterli olup olmadığını gösterir.
Deponuz
Deponuzu ölçün.
Dosyalarınızdaki bağlam temsillerini karşılaştırın. Sonucu çalışma zamanı sürümü ve depo revizyonu ile kaydedin.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .Bu komutlar projenizi inceler. Kontrollü uçtan uca bir ajan deneyi çalıştırmaz veya yanıt kalitesini belirlemez.
Tanıdan karara
Tekrarlanabilir hale getirin.
- Temeli dondurun
- Depo revizyonunu, görevi, modeli, araç kurulumunu ve değerlendirme kriterlerini sabitleyin. LeanCTX'in hangi çağrıları kapsadığını belgeleyin.
- Tüm denemeyi dahil edin
- Kurtarma okumalarını, yeniden denemeleri, inceleme süresini ve hataları sayın. Bağlam tasarruflarını sağlayıcı faturalandırmasından ve önbelleğe alınmış girdi indirimlerinden ayırın.
- Kapsamı yayınlayın
- İş yükünü, örneklem boyutunu, sürümü ve ölçüm yöntemini belirtin. Başlık yanına varyasyonları ve başarısız denemeleri rapor edin.
Kanıtları okuyun
Kaynakla kaliteyi test edin.
Korunmuş kod yapısı faydalı kanıttır, ancak doğru bir yanıtı veya güvenli bir değişikliği sağlamaz. Sonucu orijinal materyalle doğrulayın.
LeanCTX ile başlayın
Bağlama iş yapma fırsatı verin.
Araçlarınız için LeanCTX'i kurun ve gerçek bir görevde farkı değerlendirin.
Yerel öncelikli. Modelden bağımsız. Bağlamınız.