Бенчмарк

Не доверяйте.
Проверяйте.

Выполните lean-ctx benchmark run в любом проекте. Реальный подсчёт tokens. Реальные метрики точности. Измерено с помощью tiktoken (o200k_base).

Начать Star на GitHub
Почему это честно

Измерено. Проверено.

Бенчмарк запускается локально, считает токены точным токенизатором и отклоняет сжатие ниже порога качества.

Точный подсчёт токенов

Считает тем же токенизатором, что и современные LLM - без оценок на глаз.

tiktoken o200k_base

Контроль качества

Оценивает сохранность AST, идентификаторов и структуры строк. Плохой вывод блокируется автоматически.

порог: Q ≥ 95% · ρ ≥ 15%

Воспроизводимо

Запуск на вашем репо. Те же входы → те же цифры. Отлично для CI и регрессий.

offline · детерминировано
See the difference

Before & After

The same file. The same information. Dramatically fewer tokens.

Without lean-ctx
// src/auth.ts · mode=full
import { jwt, verify, sign } from 'jsonwebtoken';
import { bcrypt } from 'bcryptjs';
…
3,517 tokens
With lean-ctx (map mode)
// src/auth.ts · mode=map
exports: AuthService, validateToken, …
deps: jsonwebtoken, bcryptjs, ioredis
…
412 tokens

88% fewer tokens

Три шага к подтверждённой экономии

Как это работает

01

Укажите любой файл или директорию

Укажите отдельный файл, директорию или glob-паттерн. Движок бенчмарка обработает всё, что найдёт.

lean-ctx benchmark run src/
02

Точный подсчёт tokens

Используется tiktoken с кодировкой o200k_base (та же, что и GPT-4o, Claude и современные LLM). Никаких оценок - реальный подсчёт tokens.

tiktoken o200k_base
03

Экономия по режимам

Получите оценки точности и процент экономии для каждого режима сжатия. Выберите подходящий режим для каждого сценария.

modes: 10
Реальный вывод

Бенчмарк в действии

Запустите бенчмарк на любом файле вашего проекта. Результат покажет точное количество tokens для каждого режима сжатия, процент экономии и оценки сохранения качества.

Разбивка по файлам - tokens до и после каждого режима

Оценки качества - сохранение AST, идентификаторов и строк кода

Агрегированные итоги - экономия по всей директории с рекомендацией лучшего режима

lean-ctx benchmark run

$ lean-ctx benchmark run src/auth.ts

◆ lean-ctx Benchmark

────────────────────────────────────────

src/auth.ts (123 lines, 3,517 tokens)

────────────────────────────────────────

Mode Tokens Saved Rate

full 3,517 0 0%

map 412 3,105 88%

signatures 252 3,265 93%

diff 187 3,330 95%

aggressive 298 3,219 92%

entropy 312 3,205 91%

────────────────────────────────────────

Quality: AST 98% | Idents 97% | Lines 96%

Encoding: tiktoken o200k_base | Time: 12ms

Выберите правильный режим для каждой задачи

Режимы чтения в сравнении

full 0%

Файлы, которые вы будете редактировать

Всё - полное содержимое кэшируется, повторное чтение ~13 tokens

map 70–88%

Файлы для контекста

Граф зависимостей, экспорты, ключевые сигнатуры

signatures 55–93%

Исследование API-поверхности

Только сигнатуры функций/классов/типов

diff 80–95%

После редактирования

Изменённые строки с минимальным окружающим контекстом

aggressive 75–90%

Крупные шаблонные файлы

Структура и логика, синтаксис удалён

entropy 70–83%

Зашумлённые файлы (JSDoc, комментарии)

Только строки с высокой энтропией (фильтрация Шеннона + Жаккара)

task 65–85%

Чтение с фокусом на задачу (например, 'исправить баг авторизации')

Код, релевантный задаче + контекст зависимостей через граф знаний + IB-фильтр

auto 70–99%

По умолчанию - lean-ctx автоматически выбирает лучший режим

Адаптация по файлу: тип, размерный bucket, свежесть, релевантность задаче

reference 80–95%

API‑документация и справочный просмотр

Публичный API, типы, сигнатуры, docstrings

lines:N-M 90–99%

Прочитать диапазон строк - хирургическая точность

Точные запрошенные строки + минимальный контекст вокруг

ctx_smart_read в lean-ctx автоматически выбирает оптимальный режим с помощью байесовского предсказания на основе типа, размера и контекста файла.

Stage

Advanced Compression Pipeline

Beyond mode selection, lean-ctx applies a multi-stage optimization pipeline that adapts to file type, session context, and task intent:

Thompson Sampling 5–15%

Learns optimal compression thresholds per file type using multi-armed bandit exploration (explore vs exploit)

AST Pruning 40–70%

Language-aware pruning via Tree-sitter - removes function bodies, comments, and boilerplate while preserving API signatures

IDF Dedup 10–30%

Cross-file deduplication using inverse document frequency - eliminates content already seen in the session

IB Filter 15–25%

Task-aware filtering using the Information Bottleneck principle - keeps only content relevant to the current task

Verbatim Compaction 5–20%

Collapses repetitive structures (imports, log lines, boilerplate) into counted summaries

These stages are cumulative - applied in sequence, they can reduce a 1000-line file to under 50 tokens while preserving all task-relevant information. The pipeline is fully automatic and requires no configuration.

Подтверждённое сохранение

Качество сжатия

Порог качества (composite)

95%

Сжатый вывод используется только если composite‑оценка остаётся ≥ 95%.

Минимальная плотность

15%

Блокирует низкоинформативный вывод с минимальной плотностью сигнала 15% (ρ).

Весовые коэффициенты

50/30/20

Composite = AST 50% + идентификаторы 30% + строки 20% - структура важнее всего.

Принцип информационной плотности

Почему меньше tokens = более высокая плотность сигнала

У LLM фиксированный бюджет внимания. Каждый token в контекстном окне конкурирует за веса внимания. Заполнение окна шаблонным кодом означает меньше внимания к важному коду.

Удаляя шум до того, как он попадёт к модели, lean-ctx повышает информационную плотность каждого запроса. Результат: более высокое соотношение сигнал/шум, меньшее размытие контекста, и модель остаётся в пределах полезного контекста.

Более высокое соотношение сигнал/шум

10K tokens сфокусированного контекста превосходят 200K шаблонного кода. Модель направляет внимание на логику, а не на комментарии JSDoc и шаблонные импорты.

Снижение контекстного шума

Шум в контексте размывает окно внимания модели. Его удаление помогает модели сосредоточиться на реальной структуре кода и снижает вероятность галлюцинаций.

Ниже стоимость за ответ

Меньше входных tokens - ниже затраты на API и больше сообщений в рамках вашего лимита. Один и тот же лимит работает эффективнее - для каждого AI-инструмента.

Real-world examples

Measured on Real Code

Репрезентативные срезы - ваши цифры зависят от файла и кодовой базы.

React Component 88%

450 lines - map mode

12,840 → 1,541
Rust Module 93%

820 lines - signatures mode

18,290 → 1,280
Express API 91%

1,200 lines - aggressive mode

31,500 → 2,835
Python ML Pipeline 83%

680 lines - entropy mode

15,400 → 2,618
TypeScript Config 95%

340 lines - diff mode

8,750 → 437
Transparency

Benchmark
Methodology

Every number on this page is reproducible. Here's exactly how we measure.

Tokenizer

All token counts use tiktoken with the o200k_base encoding — the same tokenizer used by GPT-4o, Claude, and modern LLMs. No estimates or approximations.

Quality Threshold

Compressed output is only used if the composite quality score stays at or above 95%. Composite = AST preservation (50%) + identifier preservation (30%) + line coverage (20%).

Reproduce Locally

Run lean-ctx benchmark run src/ on your own codebase. The output shows exact token counts for each compression mode, savings percentage, and quality preservation scores.

Disclaimer

Results vary by file type, size, language, and read mode. The "60-99%" range reflects real-world variance: small structured files compress more, large unstructured files compress less. Cached re-reads (~13 tokens) represent the best case.

Измерьте вашу реальную экономию.

Установите lean-ctx и выполните benchmark run на вашей кодовой базе. Реальные цифры, ваши файлы, ваша экономия.

lean-ctx benchmark run src/

Works on any codebase. No config needed. Results in seconds.

Начать Star на GitHub