Representação
Compare a fonte e a saída com um tokenizador. Registre o modo de leitura, omissões e recuperação para medir a redução da entrada.
Benchmarks e metodologia
Meça a entrada.Verifique o resultado.
Compare a entrada, o esforço de execução e a qualidade da tarefa. Use uma base reprodutível para avaliar o LeanCTX em seu próprio trabalho.
Três perguntas diferentes
Meça a entrada, o esforço e o resultado.
Julgue a representação do contexto, o custo de prepará-lo e a tarefa concluída separadamente.
Operação
Conte o tempo de preparação, a sobrecarga da ferramenta, a entrada e saída do modelo, retentativas e efeitos de cache. Separe o custo observado das estimativas e das incertezas.
Resultado da tarefa
Use a mesma tarefa e critérios de aceitação. Testes e revisões mostram se o contexto entregue foi suficiente.
Seu repositório
Compare seu repositório.
Compare as representações de contexto nos seus arquivos. Salve o resultado com a versão em tempo de execução e a revisão do repositório.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .Estes comandos inspecionam seu projeto. Eles não executam um experimento de agente ponta a ponta controlado ou estabelecem a qualidade da resposta.
De diagnósticos a uma decisão
Torne-o reprodutível.
- Congele a linha de base
- Fixe a revisão do repositório, a tarefa, o modelo, a configuração da ferramenta e os critérios de avaliação. Documente quais chamadas LeanCTX cobrem.
- Inclua toda a tentativa
- Conte as leituras de recuperação, retentativas, tempo de revisão e falhas. Separe as economias de contexto da fatura do provedor e dos descontos de entrada em cache.
- Publique o escopo
- Declare a carga de trabalho, o tamanho da amostra, a versão e o método de medição. Relate a variação e as execuções malsucedidas ao lado do título.
Leia a evidência
Teste a qualidade em relação à fonte.
A estrutura de código preservada é uma evidência útil, mas não estabelece uma resposta correta ou uma mudança segura. Verifique o resultado em relação ao material original.
Comece com LeanCTX
Coloque o contexto para trabalhar.
Configure o LeanCTX para sua ferramenta e avalie a diferença em uma tarefa real.
Primeiro no local. Agnóstico ao modelo. Seu contexto.