Не довіряйте.
Перевірте.
Запустіть lean-ctx benchmark run у будь-якому проєкті. Реальна кількість токенів. Реальні метрики точності. Виміряно за допомогою tiktoken (o200k_base).
Виміряно. Перевірено.
Benchmark виконується локально, підраховує токени за допомогою точного токенізатора та відхиляє стиснення, які падають нижче встановленого рівня якості.
Точний підрахунок токенів
Підраховує за допомогою того ж токенізатора, що й сучасні LLMs — без оцінок, без припущень.
tiktoken o200k_base Захист якості
Оцінює збереження AST, ідентифікаторів та структури рядків. Вихідні дані, які не відповідають вимогам, блокуються автоматично.
поріг: Q ≥ 95% · ρ ≥ 15% Відтворюваність
Працює на вашому репозиторії. Ті самі вхідні дані → ті самі числа. Ідеально для CI та виявлення регресій.
офлайн · детерміністичний До Після
Ті самі файли. Та сама інформація. Значно менше токенів.
На 88% менше токенів
Вказати. Виміряти. Перевірити.
Вкажіть будь-який файл чи каталог
Передайте один файл, каталог або шаблон (glob). Рушій бенчмарку обробить усе знайдено.
lean-ctx benchmark run src/ Точне вимірювання токенів
Використовує tiktoken з кодуванням o200k_base (те саме, що й GPT-4o, Claude та сучасні LLMs). Без оцінок — реальна кількість токенів.
tiktoken o200k_base Економія за режимом
Отримайте бали точності та відсотки економії для кожного режиму стиснення. Виберіть правильний режим для кожного випадку використання.
modes: 10 Benchmark в дії
Запустіть бенчмарк на будь-якому файлі вашого проєкту. Результат показує точну кількість токенів для кожного режиму стиснення, відсоток економії та показники збереження якості.
Розбивка за файлами - токени до та після кожного режиму
Показники якості - Збережено AST, ідентифікатори та рядки коду
Агреговані загальні показники - Економія для всього каталогу з рекомендацією найкращого режиму
$ lean-ctx benchmark run src/auth.ts
◆ lean-ctx Benchmark
────────────────────────────────────────
src/auth.ts (123 lines, 3,517 tokens)
────────────────────────────────────────
Mode Tokens Saved Rate
full 3,517 0 0%
map 412 3,105 88%
signatures 252 3,265 93%
diff 187 3,330 95%
aggressive 298 3,219 92%
entropy 312 3,205 91%
────────────────────────────────────────
Quality: AST 98% | Idents 97% | Lines 96%
Encoding: tiktoken o200k_base | Time: 12ms
Режими читання Порівняно
full 0% Файли, які ви будете редагувати
Усе - повний вміст кешується для повторного читання при ~13 токенах
map 70-90% Тільки файли контексту
Код: deps + exports + сигнатури. Некод: структуровані контури (заголовки Markdown, ключі JSON/YAML/TOML, резюме блоків)
signatures 55–93% Експлорація API-поверхні
Лише сигнатури функцій/класів/типів
diff 80–95% Після редагування
Змінені рядки з мінімальним навколишнім контекстом
aggressive 75–90% Великі шаблонні файли
Структура та логіка, синтаксис видалено
entropy 70–83% Шумні файли (JSDoc, коментарі)
Тільки рядки високої ентропії (фільтрація Shannon + Jaccard)
task 65–85% Читання, сфокусовані на завданнях (наприклад, 'виправити помилку автентифікації')
Код, релевантний завданню + контекст залежностей через Knowledge Graph + фільтр IB
auto 70–99% За замовчуванням — LeanCTX автоматично вибирає найкращий режим
Адаптується для кожного файлу: тип, розмір, актуальність, релевантність завдання
reference 80–95% Документація API та пошук по референсам
Публічний API, типи, сигнатури, docstrings
lines:N-M 90–99% Зчитування діапазону конкретних рядків — хірургічна точність
Точні запитані рядки плюс мінімальний навколишній контекст
LeanCTX's ctx_smart_read від LeanCTX автоматично вибирає оптимальний режим, використовуючи байєсівську прогнозацію на основі типу файлу, розміру та контексту.
Просунутий конвеєр стиснення
Поза вибором режиму, LeanCTX застосовує багатоетапний конвеєр оптимізації, який адаптується до типу файлу, контексту сесії та мети завдання:
Вивчає оптимальні пороги стиснення для кожного типу файлу за допомогою дослідження багаторукого бандита (дослідження проти експлуатації)
Мова-адаптивне обрізання через Tree-sitter - видаляє тіла функцій, коментарі та шаблонний код, зберігаючи при цьому сигнатури API
Дедуплікація між файлами за допомогою інверсного частотного аналізу документів - усуває вміст, який вже був побачений під час сесії
Фільтрація з урахуванням завдання за принципом інформаційного вузького місця - зберігає лише вміст, релевантний поточній задачі
Колапсує повторювані структури (імпорти, рядки журналів, шаблонний код) до підрахованих резюме
Ці етапи є кумулятивними - застосовуються послідовно; вони можуть зменшити файл на 1000 рядків до менше ніж 50 токенів, зберігаючи при цьому всю інформацію, релевантну для завдання. Конвеєр повністю автоматичний і не вимагає конфігурації.
Компресія Якість
Поріг якості (композитний)
Стиснений вивід використовується лише у випадку, якщо композитний бал якості залишається на рівні 95% або вище.
Мінімальна щільність
Блокує низькоінформативний вивід із мінімальною щільністю сигналу 15% (ρ).
Вагове коефіцієнтне навантаження
Композит = AST 50% + ідентифікатори 30% + рядки 20% - тому структура має найбільше значення.
Чому менше токенів = Вища щільність сигналу
LLMs мають фіктивний бюджет уваги. Кожен токен у вікні контексту конкурує за ваги уваги. Заповнення вікна шаблонним кодом означає меншу увагу до важливого коду.
Видаляючи шум до того, як він потрапить до моделі, LeanCTX підвищує інформаційну щільність кожного запиту. Результат: вищий сигнал-до-шуму, менше розведення контексту та модель залишається в межах корисних обмежень контексту.
10K токенів сфокусованого контексту перевершують 200K шаблонного коду. Модель приділяє свою увагу логіці, а не JSDoc-коментарям та імпортним шаблонам.
Шум контексту розмиває вікно уваги моделі. Видалення шуму допомагає моделі залишатися прив'язаною до фактичної структури коду та зменшує ймовірність галюцинацій.
Менше токенів вхідних даних означає нижчі витрати на API та більше повідомлень у вашому ліміті швидкості. Та сама квота покриває більший обсяг — для кожного AI-інструменту, який ви використовуєте.
Виміряно на Реальний код
Репрезентативні знімки — ваші числа можуть відрізнятися залежно від файлу та кодової бази.
450 рядків — режим мапування
12,840 → 1,541 820 рядків — режим сигнатур
18,290 → 1,280 1,200 рядків — агресивний режим
31,500 → 2,835 680 рядків — режим ентропії
15,400 → 2,618 340 рядків - режим diff
8,750 → 437 Бенчмарк
Методологія
Кожна цифра на цій сторінці відтворювана. Ось як саме ми вимірюємо.
Tokenizer
Усі підрахунки токенів використовують tiktoken з кодуванням o200k_base — той самий токенізатор, що використовується GPT-4o, Claude та сучасними LLM. Жодних оцінок чи наближень.
Порогова якість
Стиснений вивід використовується лише в тому випадку, якщо композитний бал якості залишається на рівні 95% або вище. Композит = збереження AST (50%) + збереження ідентифікаторів (30%) + покриття рядків (20%).
Відтворити локально
Запустіть lean-ctx benchmark run src/ на вашій власній кодовій базі. Вивід показує точні кількості токенів для кожного режиму стиснення, відсоток економії та бали збереження якості.
Відмова від відповідальності
Результати варіюються залежно від типу файлу, розміру, мови та режиму читання. Діапазон "60-99%" відображає реальну варіативність: невеликі структуровані файли стискаються краще, великі неструктуровані файли — гірше. Кешовані повторні читання (~13 токенів) представляють найкращий випадок.
Our Own Overhead, Measured
Savings claims must be net of what LeanCTX itself injects. The fixed per-session footprint (advertised tool schemas + MCP instructions) is ~2.1K tokens, measured in an isolated environment with lean-ctx doctor overhead and enforced in CI via --gate — it can only shrink. lean-ctx gain reports savings net of this overhead.
Deterministic Self-Verify
lean-ctx benchmark dual-arm --json replays a pinned 15-turn agent session through a stateless arm and the long-lived proxy rail, prices both with real tokenizer counts and published per-model rates, and fingerprints the run with a BLAKE3 digest — anyone can reproduce the exact figures, no live model needed.
Виміряйте свою реальну економію.
Встановіть LeanCTX та запустіть benchmark run на своїй кодовій базі. Реальні цифри, ваші файли, ваша економія.
lean-ctx benchmark run src/ Працює з будь-якою кодовою базою. Не потрібна конфігурація. Результати за секунди.