Reprezentacja
Porównaj źródło i wynik za pomocą jednego tokenizera. Zapisz tryb odczytu, pominięcia i przywrócenia, aby zmierzyć redukcję wejścia.
Benchmarking i metodologia
Zmierz dane wejściowe.Zweryfikuj wynik.
Porównaj dane wejściowe, wysiłek wykonania i jakość zadania. Użyj powtarzalnej podstawy do oceny LeanCTX przy Twojej własnej pracy.
Trzy różne pytania
Mierz wejście, wysiłek i wynik.
Oceń reprezentację kontekstu, koszt jego przygotowania i ukończone zadanie osobno.
Operacja
Policz czas przygotowania, narzut narzędzi, dane wejściowe i wyjściowe modelu, ponawienia i efekty pamięci podręcznej. Rozdziel zaobserwowany koszt od szacunków i nieznanych.
Wynik zadania
Użyj tego samego zadania i kryteriów akceptacji. Testy i przegląd pokazują, czy dostarczony kontekst był wystarczający.
Twój repozytorium
Benchmarkinguj swoje repozytorium.
Porównaj reprezentacje kontekstu w swoich plikach. Zapisz wynik z wersją czasu wykonania i rewizją repozytorium.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .Te polecenia sprawdzają Twój projekt. Nie uruchamiają kontrolowanego eksperymentu agenta end-to-end ani nie ustalają jakości odpowiedzi.
Od diagnostyki do decyzji
Upewnij się, że jest powtarzalne.
- Zamroź bazę
- Zablokuj rewizję repozytorium, zadanie, model, konfigurację narzędzi i kryteria oceny. Udokumentuj, które wywołania obejmuje LeanCTX.
- Obejmij całą próbę
- Policz odczyty przywrócenia, ponawienia, czas przeglądu i niepowodzenia. Rozdziel oszczędności kontekstu od rozliczeń dostawcy i zniżek za zapamiętane wejście.
- Opublikuj zakres
- Określ obciążenie, rozmiar próby, wersję i metodę pomiaru. Raportuj o wariacjach i nieudanych uruchomieniach obok nagłówka.
Przeanalizuj dowody
Testuj jakość w odniesieniu do źródła.
Zachowana struktura kodu jest użytecznym dowodem, ale nie ustanawia poprawnej odpowiedzi ani bezpiecznej zmiany. Zweryfikuj wynik w odniesieniu do oryginalnego materiału.
Rozpocznij z LeanCTX
Użyj kontekstu.
Ustaw LeanCTX dla swojego narzędzia i oceń różnicę w realnym zadaniu.
Pierwszeństwo dla lokalnego. Niezależne od modelu. Twój kontekst.