Локальная панель управления
Откройте панель управления lean-ctx, чтобы проверить доступную локальную активность и метрики выполнения. Ее видимость следует за операциями, которые регистрирует ваша интеграция.
Изучить эту возможностьСтоимость и результаты
Узнайте, что произошло.Поймите, что помогло.
Соедините решения о контексте с зарегистрированным использованием, доказательствами стоимости и результатами задач. Посмотрите, что было доставлено, что было потреблено и прошли ли работы свои проверки.
Подход
Измерьте экономию. Проверьте результат.
LeanCTX записывает контекстные операции и доказательства токенов. Используйте эти измерения вместе с тестами или обзором, чтобы судить о том, работает ли рабочий процесс лучше.
Проверить
Проверить предоставленный ввод.
Используйте записанные ссылки на источники, планы и измерения токенов для проверки поддерживаемых операций. Доступные поля зависят от операции и времени выполнения.
- Источник
- Определить файл, ссылку или план, лежащий в основе операции.
- Доставка
- Проверить записанный результат и доступные доказательства токенов.
- Область применения
- Поля получения зависят от поверхности операции и времени выполнения.
Отследить и воспроизвести
Проследить доказательства обратно.
Проследить получение до его источника или плана и пересмотреть доступное состояние. Воспроизведение ответа модели также зависит от хоста, модели и настроек запроса.
- Связь
- Соединить операцию с ее записанными ссылками на источник и план.
- Доступность
- Отсутствие источника или истекшее состояние ограничивает то, что можно пересмотреть.
- Воспроизведение
- Только запись контекста не гарантирует того же ответа модели.
Использование и экономика
Токены — это доказательство. Не вся история.
Начните с измеряемого использования. Держите оценку стоимости модели отдельно от наблюдаемых сборов и сравнивайте эквивалентные задачи. Приведенный пример показывает уменьшение входных данных для одного чтения, а не обещание об общих расходах.
- Ввод
- Токены до и после выбранной подготовки.
- Основание стоимости
- Четко указывайте оценки, наблюдаемые сборы и недоступные значения.
- Качество
- Отдельный результат, установленный проверками задачи.
src/lib/roi.tsподписи · o200k_base
82.9%
меньше ввода для этого чтения
удалено 2,127 токенов
Представление подписи опускает детали реализации. Это измерение ввода, а не результат стоимости или качества.
Результат и обратная связь
Завершенный вызов — это не выполненная задача.
Оценивайте по задокументированной базовой линии и явным критериям приемлемости. Ответ провайдера, успех, сообщенный вызывающей стороне, и проверенный результат — это разные доказательства. Используйте принятые результаты для информирования о следующем контексте и решении по маршрутизации.
- Базовая линия
- Та же задача и документированная конфигурация ввода.
- Результат
- Критерии тестирования или обзора, которые имеют значение для фактической задачи.
- Сравнение
- Включайте неудачные попытки и повторные попытки при сравнении стоимости за выполненную задачу.
В вашем рабочем процессе
От одной операции к вашему рабочему процессу.
Используйте правильную поверхность инспекции для каждого вопроса. Панель управления, источник получения и отчет об оценке раскрывают разные части работы.
Атрибуция стоимости
Различайте использование модели, кэшированные входные данные, выходные данные и повторяющиеся попытки. Сохраняйте основу оценочной или наблюдаемой стоимости; неизвестная плата — это не ноль стоимости.
Изучить эту возможностьЦикл обратной связи на основе доказательств
Сравнивайте эквивалентные задачи с задокументированной базовой линией, включая неудачи и повторные попытки. Передавайте проверенные результаты в последующие решения, не превращая метку успеха вызывающей стороны в доказательство.
Изучить эту возможностьВопросы и ответы
Вопросы об измерении.
Меньше входных токенов означают ту же процентную скидку на мой счет?
Цены моделей, ставки кэшированных вводов, выходные токены и количество вызовов также влияют на стоимость. Записанная демонстрация измеряет уменьшение ввода для одного чтения файла.
Доказывает ли квитанция качество ответа?
Квитанция регистрирует операцию. Качество нуждается в собственном доказательстве: тестах, проверках источников или определенном человеческом обзоре. Используйте оба при принятии решения о том, эффективен ли рабочий процесс.
Начните с LeanCTX
Измеряйте свой рабочий процесс.
Выберите репрезентативную задачу и базовую линию. Сравните ввод, затем проверьте результат по вашим собственным критериям.
Сначала локально. Независимо от модели. Ваш контекст.