表現
1つのトークナイザでソースと出力を比較します。入力削減を測定するために、読み取りモード、省略、回復を記録します。
ベンチマークと方法論
入力を測り、結果を確かめる。
入力、実行時間、タスク品質を比較します。再現可能なベースラインを使用して、ご自身の作業でLeanCTXを評価します。
3つの異なる質問
入力、労力、結果を測定します。
コンテキスト表現、準備コスト、完了したタスクを別々に評価します。
操作
準備時間、ツールのオーバーヘッド、モデルの入力と出力、リトライとキャッシュの効果を数えます。観測されたコストと推定および不明なものを分離します。
タスクの結果
同じタスクと受け入れ基準を使用します。テストとレビューで、提供されたコンテキストが十分であったかどうかを確認します。
あなたのリポジトリ
リポジトリをベンチマークします。
ファイル上のコンテキスト表現を比較します。実行バージョンとリポジトリの変更で結果を保存します。
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .これらのコマンドはプロジェクトを検査します。制御されたエンドツーエンドのエージェント実験を実行したり、回答の品質を確立したりするものではありません。
診断から決定へ
再現可能にする。
- ベースラインを固定する
- リポジトリの変更、タスク、モデル、ツール設定、評価基準を固定します。LeanCTXがカバーする呼び出しを文書化します。
- 試み全体を含める
- 回復リード、リトライ、レビュー時間、失敗を数えます。コンテキストの節約とプロバイダーの請求およびキャッシュされた入力割引を分離します。
- スコープを公開する
- ワークロード、サンプルサイズ、バージョン、測定方法を記述します。ヘッドラインと並行して、変動と失敗した実行を報告します。
証拠を読む
ソースに対して品質をテストする
保存されたコード構造は有用な証拠ですが、正しい答えや安全な変更を確立するものではありません。結果を元の資料と照合してください。
LeanCTXから始める
コンテキストを活用してください。
ツールにLeanCTXを設定し、実際のタスクでその差を評価してください。
ローカルファースト。モデル非依存。あなたのコンテキスト。