Rappresentazione
Confronta sorgente e output con un tokenizer. Registra modalità di lettura, omissioni e recupero per misurare la riduzione dell'input.
Benchmark e metodologia
Misura l'input.Verifica il risultato.
Confronta input, sforzo di esecuzione e qualità del compito. Usa una base di riferimento riproducibile per valutare LeanCTX sul tuo lavoro.
Tre domande diverse
Misura input, sforzo e risultato.
Giudica la rappresentazione del contesto, il costo della sua preparazione e il compito completato separatamente.
Operazione
Conta il tempo di preparazione, il sovraccarico degli strumenti, l'input e l'output del modello, i tentativi e gli effetti della cache. Separa il costo osservato dalle stime e dalle incertezze.
Risultato del compito
Usa lo stesso compito e i criteri di accettazione. Test e revisione mostrano se il contesto fornito fosse sufficiente.
Il tuo repository
Migliora il tuo repository.
Confronta le rappresentazioni del contesto sui tuoi file. Salva il risultato con la versione di runtime e la revisione del repository.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .Questi comandi ispezionano il tuo progetto. Non eseguono un esperimento agente end-to-end controllato né stabiliscono la qualità della risposta.
Dalle diagnosi a una decisione
Rendilo riproducibile.
- Congela la baseline
- Fissa la revisione del repository, il compito, il modello, la configurazione dello strumento e i criteri di valutazione. Documenta quali chiamate LeanCTX coprono.
- Includi tutto il tentativo
- Conta le letture di recupero, i tentativi, il tempo di revisione e i fallimenti. Separa i risparmi di contesto dal fatturato del provider e dagli sconti per input in cache.
- Pubblica l'ambito
- Indica il carico di lavoro, la dimensione del campione, la versione e il metodo di misurazione. Riporta le variazioni e le esecuzioni non riuscite insieme al titolo.
Leggi le prove
Testa la qualità rispetto alla sorgente.
La struttura del codice preservata è una prova utile, ma non stabilisce una risposta corretta o una modifica sicura. Verifica il risultato rispetto al materiale originale.
Inizia con LeanCTX
Metti il contesto al lavoro.
Imposta LeanCTX per il tuo strumento e valuta la differenza su un compito reale.
Local-first. Agnostico al modello. Il tuo contesto.