Представлення
Порівняйте джерело та результат з одним токенізатором. Запишіть режим читання, пропуски та відновлення для вимірювання зменшення вводу.
Показники та методологія
Виміряйте вхідні дані.Перевірте результат.
Порівняйте вхідні дані, зусилля виконання та якість завдання. Використовуйте відтворюваний базовий рівень для оцінки LeanCTX на власній роботі.
Три різні запитання
Вимірюйте вхід, зусилля та результат.
Окремо оцінюйте представлення контексту, вартість його підготовки та виконане завдання.
Операція
Підрахуйте час підготовки, накладні витрати інструментів, вхідні та вихідні дані моделі, повтори та ефекти кешу.
Результат завдання
Використовуйте те саме завдання та критерії прийняття. Тести та огляд показують, чи був наданий контекст достатнім.
Ваше репозиторій
Оцініть ваш репозиторій.
Порівняйте представлення контексту у ваших файлах. Збережіть результат з версією часу виконання та ревізією репозиторію.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .Ці команди перевіряють ваш проєкт. Вони не запускають контрольований скінченний агентський експеримент або встановлюють якість відповіді.
Від діагностики до рішення
Зробіть це відтворюваним.
- Заморозьте базовий рівень
- Зафіксуйте ревізію репозиторію, завдання, модель, налаштування інструментів та критерії оцінки. Документуйте, які виклики покриває LeanCTX.
- Включіть усю спробу
- Підрахуйте зчитки відновлення, повтори, час огляду та невдачі. Розділіть економії контексту від білінгу постачальника та знижок за кешованим вводом.
- Опублікуйте обсяг
- Вкажіть робоче навантаження, розмір вибірки, версію та метод вимірювання. Повідомте про варіації та невдалі прогони разом із заголовком.
Прочитайте докази
Перевірте якість порівняно з джерелом.
Збережена структура коду є корисним доказом, але вона не встановлює правильну відповідь чи безпечну зміну. Перевірте результат на оригінальні матеріали.
Почніть з LeanCTX
Застосуйте контекст.
Налаштуйте LeanCTX для вашого інструменту та оцініть різницю на реальному завданні.
Локально перше. Незалежне від моделі. Ваш контекст.