表示
使用一个分词器比较源和输出。记录读取模式、省略和恢复以衡量输入减少。
基准与方法论
衡量输入。验证结果。
比较输入、运行时消耗和任务质量。使用可复现的基线来评估 LeanCTX 在您自己的工作上的表现。
三个不同的问题
衡量输入、消耗和结果。
分别评判上下文表示、准备它的成本和完成的任务。
操作
计算准备时间、工具开销、模型输入和输出、重试和缓存效果。将观察到的成本与估计值和未知因素分开。
任务结果
使用相同的任务和验收标准。测试和审查显示交付的上下文是否足够。
您的仓库
对您的仓库进行基准测试。
在您的文件中比较上下文表示。使用运行时版本和仓库修订版本保存结果。
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .这些命令检查您的项目。它们不会运行受控的端到端代理实验或建立答案质量。
从诊断到决策
使其可复现。
- 冻结基线
- 固定仓库修订版本、任务、模型、工具设置和评估标准。记录 LeanCTX 涵盖的调用。
- 包括整个尝试
- 计算恢复读取、重试、审查时间和失败。将上下文节省与提供商账单和缓存输入折扣分开。
- 发布范围
- 说明工作负载、样本大小、版本和测量方法。在标题旁边报告变化和失败的运行。
阅读证据
根据源测试质量。
保留的代码结构是有用的证据，但它不能建立正确的答案或安全的更改。根据原始材料验证结果。