Representasi
Bandingkan sumber dan keluaran dengan satu tokenizer. Catat mode baca, penghilangan, dan pemulihan untuk mengukur pengurangan input.
Tolok Ukur & metodologi
Ukur input.Verifikasi hasilnya.
Bandingkan input, upaya waktu berjalan, dan kualitas tugas. Gunakan dasar yang dapat direproduksi untuk mengevaluasi LeanCTX pada pekerjaan Anda sendiri.
Tiga pertanyaan berbeda
Ukur input, upaya, dan hasil.
Nilai representasi konteks, biaya mempersiapkannya, dan tugas yang selesai secara terpisah.
Operasi
Hitung waktu persiapan, overhead alat, input dan output model, percobaan ulang, dan efek cache. Pisahkan biaya yang diamati dari perkiraan dan ketidakpastian.
Hasil tugas
Gunakan tugas dan kriteria penerimaan yang sama. Tes dan peninjauan menunjukkan apakah konteks yang disampaikan sudah cukup.
Repositori Anda
Bandingkan repositori Anda.
Bandingkan representasi konteks pada berkas Anda. Simpan hasilnya dengan versi waktu berjalan dan revisi repositori.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .Perintah-perintah ini memeriksa proyek Anda. Mereka tidak menjalankan eksperimen agen ujung-ke-ujung yang terkontrol atau menetapkan kualitas jawaban.
Dari diagnosis ke keputusan
Buat dapat direproduksi.
- Bekukan garis dasar
- Pin revisi repositori, tugas, model, pengaturan alat, dan kriteria evaluasi. Dokumentasikan panggilan mana yang dicakup oleh LeanCTX.
- Sertakan seluruh upaya
- Hitung baca pemulihan, percobaan ulang, waktu peninjauan, dan kegagalan. Pisahkan penghematan konteks dari penagihan penyedia dan diskon input yang di-cache.
- Publikasikan cakupan
- Nyatakan beban kerja, ukuran sampel, versi, dan metode pengukuran. Laporkan variasi dan eksekusi yang tidak berhasil bersama dengan berita utama.
Baca buktinya
Uji kualitas terhadap sumbernya.
Struktur kode yang dipertahankan adalah bukti yang berguna, tetapi itu tidak menetapkan jawaban yang benar atau perubahan yang aman. Verifikasi hasilnya terhadap materi asli.
Mulai dengan LeanCTX
Gunakan konteks.
Siapkan LeanCTX untuk alat Anda dan evaluasi perbedaannya pada tugas nyata.
Prioritas lokal. Agnostik model. Konteks Anda.