Benchmarks & Methodik

Miss den Input.Prüfe das Ergebnis.

Vergleiche Input, Laufzeitaufwand und Aufgabenqualität. Bewerte LeanCTX mit einer reproduzierbaren Baseline an deiner eigenen Arbeit.

Fester AusgangspunktAufbereiteter InputAkzeptiertes Ergebnis

Drei unterschiedliche Fragen

Miss Input, Aufwand und Ergebnis.

Bewerte die Kontextdarstellung, den Aufwand ihrer Aufbereitung und die gelöste Aufgabe getrennt.

Darstellung

Vergleiche Quelle und Ausgabe mit einem Tokenizer. Erfasse Lesemodus, Auslassungen und Nachladen, um die Input-Reduktion zu messen.

Betrieb

Erfasse Aufbereitungszeit, Tool-Overhead, Modell-Input und -Output, Wiederholungen und Cache-Effekte. Trenne beobachtete Kosten von Schätzungen und Unbekanntem.

Aufgabenergebnis

Nutze dieselbe Aufgabe und dieselben Abnahmekriterien. Tests und Review zeigen, ob der gelieferte Kontext ausgereicht hat.

Dein Repository

Miss an deinem Repository.

Vergleiche Kontextdarstellungen deiner Dateien. Speichere das Ergebnis mit Runtime-Version und Repository-Revision.

Lokale Messung
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .

Diese Befehle prüfen dein Projekt. Sie führen keinen kontrollierten Agentenversuch über die gesamte Aufgabe aus und belegen keine Antwortqualität.

Von der Diagnose zur Entscheidung

Mach den Vergleich reproduzierbar.

Ausgangslage fixieren
Fixiere Repository-Revision, Aufgabe, Modell, Tool-Setup und Bewertungskriterien. Dokumentiere, welche Aufrufe LeanCTX abdeckt.
Den gesamten Versuch erfassen
Zähle Nachladen, Wiederholungen, Review-Zeit und Fehlschläge mit. Trenne Kontexteinsparungen von Anbieterabrechnung und Cache-Rabatten.
Messumfang offenlegen
Nenne Workload, Stichprobe, Version und Messmethode. Zeige Streuung und erfolglose Versuche neben dem Hauptergebnis.

Nachweise richtig lesen

Prüfe Qualität an der Quelle.

Erhaltene Codestruktur ist ein nützlicher Hinweis, belegt aber keine richtige Antwort oder sichere Änderung. Prüfe das Ergebnis am Originalmaterial.

Mit LeanCTX starten

Mach den nächsten Schritt mit Kontext.

Richte LeanCTX für dein Tool ein und prüfe den Unterschied an einer echten Aufgabe.

Local-first. Modellunabhängig. Dein Kontext.