ローカルダッシュボード
lean-ctxダッシュボードを開いて、実行中のローカルアクティビティとメトリクスを検査する。その可視性は、統合が記録した操作に従う。
この機能の探索コストと成果
何が起こったかを知る。何が役立ったかを見る。
コンテキストの決定を記録された使用量、コストの証拠、タスクの結果に接続する。提供されたもの、消費したもの、および作業がチェックを通過したかどうかを確認する。
アプローチ
節約を測定します。結果を確認します。
LeanCTXはコンテキスト操作とトークンの証拠を記録します。それらの測定値をテストやレビューと併せて、ワークフローがより良く機能するかどうかを判断するために使用します。
検査
提供された入力を検査します。
記録されたソース参照、計画、トークン測定値を使用して、サポートされている操作を検査します。利用可能なフィールドは操作と実行時に依存します。
- ソース
- 操作の背後にあるファイル、参照、または計画を特定します。
- 配信
- 記録された出力と利用可能なトークンの証拠を検査します。
- スコープ
- 受領フィールドは操作と実行時の表面に依存します。
トレースと再生
証拠を遡ります。
受領をそのソースまたは計画にトレースし、まだ利用可能な状態を再訪します。モデルの回答を再現することもホスト、モデル、リクエスト設定にも依存します。
- 関連付け
- 操作とその記録されたソースおよび計画の参照を接続します。
- 可用性
- ソースがない、または期限切れの状態は再訪できるものを制限します。
- 再現
- コンテキスト記録だけでは同じモデルの回答が保証されません。
使用量と経済性
トークンは証拠。全てではない。
測定された使用量から始める。推定モデルコストと観測された料金を分離し、同等のタスクを比較する。キャプチャされた例は1回の読み取りの入力削減を示しており、総支出についての約束ではない。
- 入力
- 選択された準備の前と後のトークン。
- コストの根拠
- 推定値、観測された料金、利用不可能な値を明示的に識別する。
- 品質
- タスクチェックによって確立された別の結果。
src/lib/roi.tsシグネチャ · o200k_base
82.9%
この読み取りのための入力は少なく
2,127トークンが削除されました
シグネチャビューは実装の詳細を省略します。これはコストや品質の結果ではなく、入力測定値です。
結果とフィードバック
完了した呼び出しは完了したタスクではない。
文書化されたベースラインおよび明示的な受容基準に対して評価する。プロバイダーの応答、呼び出し元が報告した成功、検証された結果は異なる証拠である。受け入れられた結果を使用して、次のコンテキストとルーティングの決定に情報を提供する。
- ベースライン
- 同じタスクと文書化された入力設定。
- 結果
- 実際のタスクにとって重要なテストまたはレビューの基準。
- 比較
- 受け入れられたタスクごとのコストを比較する場合、失敗した試行と再試行を含める。
ワークフロー内で
1つの操作からワークフローへ。
各質問に対して適切な検査表面を使用する。ダッシュボード、ソース領収書、評価レポートは作業の異なる部分を明らかにする。
質問と回答
測定に関する質問。
入力トークンを少なくすることは、請求額の同じパーセンテージの割引を意味しますか？
いいえ。モデルの価格、キャッシュされた入力レート、出力トークン、呼び出しの数もコストに影響します。記録されたデモは、1ファイルの読み取りに対する入力の削減を測定します。
領収書は回答の品質を証明しますか？
領収書は操作を記録します。品質には独自の証拠が必要です。テスト、ソースチェック、または定義された人間のレビューを使用します。ワークフローが効果的であるかどうかを判断するために両方を使用します。
LeanCTXから始める
独自のワークフローを測定する。
代表的なタスクとベースラインを選択します。入力を比較し、結果を独自の基準で確認します。
ローカルファースト。モデル非依存。あなたのコンテキスト。