Représentation
Comparer la source et le résultat avec un tokenizer. Enregistrer le mode de lecture, les omissions et la récupération pour mesurer la réduction de l'entrée.
Benchmarks et méthodologie
Mesurez les données d’entrée.Vérifiez le résultat.
Comparez l'entrée, l'effort d'exécution et la qualité de la tâche. Utilisez une référence reproductible pour évaluer LeanCTX sur votre propre travail.
Trois questions différentes
Mesurer l'entrée, l'effort et le résultat.
Juger la représentation du contexte, le coût de sa préparation et la tâche accomplie séparément.
Opération
Comptez le temps de préparation, la surcharge des outils, les entrées et sorties du modèle, les nouvelles tentatives et les effets du cache. Séparez le coût observé des estimations et des inconnues.
Résultat de la tâche
Utiliser la même tâche et les mêmes critères d'acceptation. Les tests et les revues montrent si le contexte fourni était suffisant.
Votre dépôt
Évaluer votre dépôt.
Comparer les représentations de contexte sur vos fichiers. Enregistrer le résultat avec la version d'exécution et la révision du dépôt.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .Ces commandes inspectent votre projet. Elles ne lancent pas d'expérience d'agent de bout en bout contrôlée ni ne établissent la qualité de la réponse.
Des diagnostics à une décision
Rendre cela reproductible.
- Geler la base
- Ancrer la révision du dépôt, la tâche, le modèle, la configuration de l'outil et les critères d'évaluation. Documenter les appels que LeanCTX couvre.
- Inclure toute la tentative
- Compter les lectures de récupération, les nouvelles tentatives, le temps de révision et les échecs. Séparer les économies de contexte des facturations du fournisseur et des réductions pour les entrées mises en cache.
- Publier la portée
- Indiquer la charge de travail, la taille de l'échantillon, la version et la méthode de mesure. Signaler les variations et les exécutions infructueuses à côté du titre.
Lire les preuves
Tester la qualité par rapport à la source.
La structure de code préservée est une preuve utile, mais elle n'établit pas une réponse correcte ni un changement sûr. Vérifier le résultat par rapport au matériel original.
Commencez avec LeanCTX
Mettre le contexte au travail.
Configurer LeanCTX pour votre outil et évaluer la différence sur une tâche réelle.
Priorité au local. Agnostique au modèle. Votre contexte.