Benchmark

믿지 마세요.
검증하세요.

어떤 프로젝트에서든 lean-ctx benchmark run을 실행해 보세요. 실제 토큰 수. 실제 정확도 지표. tiktoken (o200k_base)으로 측정합니다.

어떻게 정직한가

측정됨. 검증됨.

Benchmark는 로컬에서 실행되며, 정확한 토크나이저로 토큰 수를 계산하고 품질 기준 이하로 떨어지는 압축은 거부합니다.

정확한 토큰 수

최신 LLM과 동일한 토크나이저를 사용해 계산합니다. 추정치도, 추측도 없습니다.

tiktoken o200k_base

품질 보호

AST 보존, 식별자 및 라인 구조를 점수화합니다. 실패하는 출력은 자동으로 차단됩니다.

임계값: Q ≥ 95% · ρ ≥ 15%

재현 가능

귀하의 리포지토리에서 실행됩니다. 동일한 입력 → 동일한 수치. CI 및 회귀 테스트에 탁월합니다.

오프라인 · 결정론적
차이점 확인

이전 & 이후

동일한 파일. 동일한 정보. 극적으로 적은 토큰 수.

LeanCTX 없이
// src/auth.ts · mode=full
import { jwt, verify, sign } from 'jsonwebtoken';
import { bcrypt } from 'bcryptjs';
3,517 토큰
LeanCTX 사용 시 (map 모드)
// src/auth.ts · mode=map
exports: AuthService, validateToken, …
deps: jsonwebtoken, bcryptjs, ioredis
412 토큰

88% 더 적은 토큰

검증된 절감을 위한 세 단계

지정. 측정. 검증.

01

파일 또는 디렉터리 지정

단일 파일, 디렉터리 또는 글롭 패턴을 전달합니다. 벤치마크 엔진은 발견되는 모든 것을 처리합니다.

lean-ctx benchmark run src/
02

정확한 토큰 측정

o200k_base 인코딩(GPT-4o, Claude 및 최신 LLM과 동일)을 사용하여 tiktoken을 사용합니다. 추정치가 아닌 실제 토큰 수입니다.

tiktoken o200k_base
03

모드별 절감액

모든 압축 모드에 대한 정확도 점수와 절감률을 얻습니다. 각 사용 사례에 맞는 올바른 모드를 선택하세요.

modes: 10
실제 출력

Benchmark 작동 모습

프로젝트의 모든 파일에 대해 벤치마크를 실행해 보세요. 출력 결과는 각 압축 모드의 정확한 토큰 수, 절약 비율 및 품질 보존 점수를 보여줍니다.

파일별 분석 - 각 모드별 토큰 변화량

품질 점수 - AST, 식별자 및 코드 라인 보존

집계된 총합 - 최적 모드 추천을 통한 디렉토리 전체 절약액

lean-ctx benchmark run

$ lean-ctx benchmark run src/auth.ts

◆ lean-ctx Benchmark

────────────────────────────────────────

src/auth.ts (123 lines, 3,517 tokens)

────────────────────────────────────────

Mode Tokens Saved Rate

full 3,517 0 0%

map 412 3,105 88%

signatures 252 3,265 93%

diff 187 3,330 95%

aggressive 298 3,219 92%

entropy 312 3,205 91%

────────────────────────────────────────

Quality: AST 98% | Idents 97% | Lines 96%

Encoding: tiktoken o200k_base | Time: 12ms

각 작업에 맞는 모드를 선택하세요

읽기 모드 비교

full 0%

편집할 파일

모든 것 - 재읽기를 위해 전체 콘텐츠가 ~13 토큰으로 캐시됨

map 70-90%

컨텍스트 전용 파일

코드: deps + exports + 시그니처. 비코드: 구조화된 개요 (Markdown 헤딩, JSON/YAML/TOML 키, lock 요약)

signatures 55–93%

API 표면 탐색

함수/클래스/타입 시그니처만

diff 80–95%

수정 후

최소한의 주변 컨텍스트를 포함하여 변경된 라인

aggressive 75–90%

대규모 보일러플레이트 파일

구조와 논리, 구문 제거

entropy 70–83%

노이즈가 많은 파일 (JSDoc, 주석)

고엔트로피 라인만 (Shannon + Jaccard 필터링)

task 65–85%

작업 중심 읽기 (예: '인증 버그 수정')

작업 관련 코드 + 지식 그래프를 통한 의존성 컨텍스트 + IB 필터

auto 70–99%

기본값 - LeanCTX가 최적의 모드를 자동으로 선택합니다

파일별 조정: 유형, 크기 버킷, 최근성, 작업 관련성

reference 80–95%

API 문서 및 참조 조회

Public API, 타입, 시그니처, docstrings

lines:N-M 90–99%

특정 라인 범위 읽기 - 정밀한 작업

요청된 정확한 라인과 최소한의 주변 컨텍스트

LeanCTX의 ctx_smart_read가 파일 유형, 크기 및 컨텍스트를 기반으로 베이즈 예측을 사용하여 최적의 모드를 자동으로 선택합니다.

단계

고급 압축 파이프라인

모드 선택을 넘어, LeanCTX는 파일 유형, 세션 컨텍스트 및 작업 의도에 적응하는 다단계 최적화 파이프라인을 적용합니다:

Thompson Sampling 5–15%

다중 팔 밴딧 탐색(탐험 대 활용)을 사용하여 파일 유형별 최적 압축 임계값을 학습합니다

AST Pruning 40–70%

Tree-sitter를 사용한 언어 인식 가지치기 - API 시그니처는 유지하면서 함수 본문, 주석 및 상용 코드를 제거합니다

IDF Dedup 10–30%

역 문서 빈도를 사용한 파일 간 중복 제거 - 세션에서 이미 확인된 콘텐츠를 제거합니다

IB Filter 15–25%

정보 병목 현상 원리를 사용한 작업 인식 필터링 - 현재 작업과 관련된 콘텐츠만 유지합니다

Verbatim Compaction 5–20%

반복적인 구조(import, 로그 라인, 상용 코드)를 카운트 요약으로 압축합니다

이 단계들은 누적적입니다. 순차적으로 적용되어 1000줄 파일을 모든 작업 관련 정보를 보존하면서 50 토큰 미만으로 줄일 수 있습니다. 파이프라인은 완전히 자동이며 설정이 필요하지 않습니다.

검증된 보존

압축 품질

품질 임계값 (복합)

95%

압축된 출력은 복합 품질 점수가 95% 이상을 유지할 때만 사용됩니다.

최소 밀도

15%

최소 신호 밀도 15%(ρ) 미만의 저정보 출력을 차단합니다.

가중치

50/30/20

복합 점수 = AST 50% + 식별자 30% + 라인 20% - 구조가 가장 중요함.

정보 밀도 원칙

토큰 수가 적을수록 = 더 높은 신호 밀도

LLM은 고정된 어텐션 예산이 있습니다. 컨텍스트 창의 모든 토큰은 어텐션 가중치를 놓고 경쟁합니다. 보일러플레이트로 창을 채우면 중요한 코드에 대한 주의가 줄어듭니다.

노이즈를 모델에 도달하기 전에 제거함으로써, LeanCTX는 요청의 정보 밀도를 높입니다. 결과: 더 높은 신호 대 노이즈 비율, 적은 컨텍스트 희석, 그리고 모델이 유용한 컨텍스트 한계 내에 머무르게 합니다.

더 높은 신호 대 노이즈 비율

10K 토큰의 집중된 컨텍스트는 200K의 상투적인 코드보다 우수합니다. 모델이 JSDoc 주석 및 import 상투적 코드가 아닌 로직에 주의를 기울입니다.

노이즈 감소된 컨텍스트

컨텍스트 노이즈는 모델의 주의 집중 창을 희석시킵니다. 이를 제거하면 모델이 실제 코드 구조에 기반을 두고 환각 발생 가능성을 줄이는 데 도움이 됩니다.

답변당 낮은 비용

입력 토큰이 적을수록 API 비용이 낮아지고 할당량 내에서 더 많은 메시지를 처리할 수 있습니다. 같은 할당량이 모든 AI 도구 사용에 더 멀리 갑니다.

실제 사용 사례

측정 기준 실제 코드

대표 스냅샷 - 파일 및 코드베이스별로 수치가 다를 수 있습니다.

React 컴포넌트 88%

450 라인 - map 모드

12,840 → 1,541
Rust 모듈 93%

820 라인 - signatures 모드

18,290 → 1,280
Express API 91%

1,200 라인 - aggressive 모드

31,500 → 2,835
Python ML Pipeline 83%

680 라인 - entropy 모드

15,400 → 2,618
TypeScript Config 95%

340줄 - diff 모드

8,750 → 437
투명성

벤치마크
방법론

이 페이지의 모든 숫자는 재현 가능합니다. 측정 방식은 다음과 같습니다.

Tokenizer

모든 토큰 카운트는 GPT-4o, Claude 및 최신 LLM에서 사용되는 동일한 토크나이저인 tiktokeno200k_base 인코딩을 사용합니다. 추정치나 근사치는 없습니다.

품질 임계값

압축된 출력은 복합 품질 점수가 95% 이상일 때만 사용됩니다. 복합 = AST 보존(50%) + 식별자 보존(30%) + 라인 커버리지(20%).

로컬에서 재현하기

사용자의 코드베이스에 대해 lean-ctx benchmark run src/를 실행하세요. 출력 결과는 각 압축 모드별 정확한 토큰 수, 절감률 및 품질 보존 점수를 보여줍니다.

면책 조항

결과는 파일 유형, 크기, 언어 및 읽기 모드에 따라 다릅니다. "60-99%" 범위는 실제 환경의 편차를 반영합니다: 작고 구조화된 파일이 더 많이 압축되고, 크고 비구조화된 파일은 덜 압축됩니다. 캐시 재읽기(~13 토큰)는 최상의 경우입니다.

Our Own Overhead, Measured

Savings claims must be net of what LeanCTX itself injects. The fixed per-session footprint (advertised tool schemas + MCP instructions) is ~2.1K tokens, measured in an isolated environment with lean-ctx doctor overhead and enforced in CI via --gate — it can only shrink. lean-ctx gain reports savings net of this overhead.

Deterministic Self-Verify

lean-ctx benchmark dual-arm --json replays a pinned 15-turn agent session through a stateless arm and the long-lived proxy rail, prices both with real tokenizer counts and published per-model rates, and fingerprints the run with a BLAKE3 digest — anyone can reproduce the exact figures, no live model needed.

측정하세요 실제 절감액을.

LeanCTX를 설치하고 코드베이스에서 benchmark run을 실행해 보세요. 실제 수치, 당신의 파일, 당신의 절약액입니다.

lean-ctx benchmark run src/

어떤 코드베이스에서도 작동합니다. 설정이 필요 없습니다. 몇 초 만에 결과를 얻으세요.