Представление
Сравните источник и результат с одним токенизатором. Запишите режим чтения, пропуски и восстановление для измерения сокращения входных данных.
Бенчмарки и методология
Измерьте входные данные.Проверьте результат.
Сравните входные данные, время выполнения и качество задачи. Используйте воспроизводимую базовую линию для оценки LeanCTX на вашей собственной работе.
Три разных вопроса
Измерьте входные данные, усилия и результат.
Оцените представление контекста, стоимость его подготовки и выполненную задачу отдельно.
Операция
Подсчитайте время подготовки, накладные расходы инструмента, входные и выходные данные модели, повторные попытки и эффекты кэша. Разделите наблюдаемую стоимость от оценок и неизвестных.
Результат задачи
Используйте ту же задачу и критерии приемки. Тесты и обзор покажут, было ли предоставленного контекста достаточно.
Ваш репозиторий
Сравните ваш репозиторий.
Сравните представления контекста в ваших файлах. Сохраните результат с версией выполнения и ревизией репозитория.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .Эти команды проверяют ваш проект. Они не запускают контролируемый сквозной агентский эксперимент или устанавливают качество ответа.
От диагностики к решению
Сделайте это воспроизводимым.
- Зафиксируйте базовую линию
- Зафиксируйте ревизию репозитория, задачу, модель, настройку инструмента и критерии оценки. Задокументируйте, какие вызовы охватывает LeanCTX.
- Включите всю попытку
- Подсчитайте чтения восстановления, повторные попытки, время обзора и сбои. Разделите экономию контекста от выставления счетов провайдера и скидок за кэшированные входные данные.
- Опубликуйте область
- Укажите рабочую нагрузку, размер выборки, версию и метод измерения. Сообщите о вариациях и неудачных запусках наряду с заголовком.
Изучите доказательства
Проверьте качество по сравнению с источником.
Сохраненная структура кода полезна в качестве доказательства, но она не устанавливает правильный ответ или безопасное изменение. Проверьте результат по отношению к исходному материалу.
Начните с LeanCTX
Примените контекст на практике.
Настройте LeanCTX для вашего инструмента и оцените разницу на реальной задаче.
Сначала локально. Независимо от модели. Ваш контекст.