╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok ╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok

Benchmark

Đừng tin tưởng.
Hãy xác minh.

Chạy lean-ctx benchmark run trong bất kỳ dự án nào. Số lượng token thực tế. Các chỉ số độ chính xác thực tế. Đo bằng tiktoken (o200k_base).

Bắt đầu Sao trên GitHub

Cách nó giữ sự trung thực

Được đo lường. Đã được xác minh.

Benchmark chạy cục bộ, đếm token bằng tokenizer chính xác và từ chối các bản nén giảm chất lượng dưới mức yêu cầu.

Đếm token chính xác

Đếm bằng cùng một tokenizer được sử dụng bởi LLM hiện đại - không ước tính, không phỏng đoán.

tiktoken o200k_base

Bảo vệ chất lượng

Chấm điểm việc bảo toàn AST, định danh và cấu trúc dòng. Các đầu ra thất bại sẽ bị chặn tự động.

ngưỡng: Q ≥ 95% · ρ ≥ 15%

Có thể tái lập

Chạy trên repo của bạn. Đầu vào giống nhau → số liệu giống nhau. Tuyệt vời cho CI và hồi quy.

ngoại tuyến · xác định

Xem sự khác biệt

Trước & Sau

Cùng một file. Cùng thông tin. Ít token hơn đáng kể.

Không có LeanCTX

// src/auth.ts · mode=full

import { jwt, verify, sign } from 'jsonwebtoken';

import { bcrypt } from 'bcryptjs';

…

3,517 tokens

Với LeanCTX (chế độ map)

// src/auth.ts · mode=map

exports: AuthService, validateToken, …

deps: jsonwebtoken, bcryptjs, ioredis

…

412 tokens

Giảm 88% token

Ba bước để tiết kiệm được xác minh

Chỉ định. Đo lường. Xác minh.

Chỉ vào bất kỳ tệp hoặc thư mục nào

Truyền một tệp đơn lẻ, một thư mục hoặc mẫu glob. Công cụ benchmark sẽ xử lý mọi thứ nó tìm thấy.

lean-ctx benchmark run src/

Đo lường token chính xác

Sử dụng tiktoken với mã hóa o200k_base (giống GPT-4o, Claude và các LLM hiện đại). Không ước tính - số lượng token thực tế.

tiktoken o200k_base

Tiết kiệm theo chế độ

Nhận điểm chính xác và phần trăm tiết kiệm cho mọi chế độ nén. Chọn chế độ phù hợp cho từng trường hợp sử dụng.

modes: 10

Kết quả thực tế

Benchmark trong hành động

Chạy benchmark trên bất kỳ tệp nào trong dự án của bạn. Kết quả hiển thị số lượng token chính xác cho từng chế độ nén, phần trăm tiết kiệm và điểm bảo toàn chất lượng.

Phân tích theo tệp - token trước và sau mỗi chế độ

Điểm chất lượng - AST, định danh (identifiers), và dòng mã được bảo toàn

Tổng cộng tích lũy - tiết kiệm trên toàn thư mục với đề xuất chế độ tốt nhất

lean-ctx benchmark run

$ lean-ctx benchmark run src/auth.ts

◆ lean-ctx Benchmark

────────────────────────────────────────

src/auth.ts (123 lines, 3,517 tokens)

────────────────────────────────────────

Mode Tokens Saved Rate

full 3,517 0 0%

map 412 3,105 88%

signatures 252 3,265 93%

diff 187 3,330 95%

aggressive 298 3,219 92%

entropy 312 3,205 91%

────────────────────────────────────────

Quality: AST 98% | Idents 97% | Lines 96%

Encoding: tiktoken o200k_base | Time: 12ms

Chọn chế độ phù hợp cho từng tác vụ

Các Chế độ Đọc So với

full 0%

Các tệp bạn sẽ chỉnh sửa

Mọi thứ - nội dung đầy đủ được lưu vào bộ nhớ đệm để đọc lại ở khoảng ~13 tokens

map 70-90%

Chỉ các tệp context

Code: deps + exports + signatures. Non-code: các dàn ý có cấu trúc (tiêu đề Markdown, khóa JSON/YAML/TOML, bản tóm tắt lock)

signatures 55–93%

Khám phá bề mặt API

Chỉ chữ ký hàm/lớp/kiểu

diff 80–95%

Sau khi chỉnh sửa

Các dòng đã thay đổi với ngữ cảnh xung quanh tối thiểu

aggressive 75–90%

Các tệp boilerplate lớn

Cấu trúc và logic, loại bỏ cú pháp

entropy 70–83%

Các tệp nhiễu (JSDoc, comments)

Chỉ các dòng có entropy cao (lọc Shannon + Jaccard)

task 65–85%

Đọc tập trung vào tác vụ (ví dụ: 'sửa lỗi xác thực')

Mã liên quan đến tác vụ + ngữ cảnh phụ thuộc qua Knowledge Graph + bộ lọc IB

auto 70–99%

Mặc định - LeanCTX tự động chọn chế độ tốt nhất

Thích ứng theo từng file: loại, nhóm kích thước, mức độ gần đây, mức độ liên quan của tác vụ

reference 80–95%

Tài liệu API và tra cứu tham khảo

API công khai, kiểu dữ liệu, chữ ký, docstrings

lines:N-M 90–99%

Đọc một phạm vi dòng cụ thể - độ chính xác phẫu thuật

Các dòng yêu cầu chính xác, cộng với ngữ cảnh xung quanh tối thiểu

LeanCTX's ctx_smart_read của LeanCTX tự động chọn chế độ tối ưu bằng cách sử dụng dự đoán Bayesian dựa trên loại tệp, kích thước và context.

Giai đoạn

Đường ống nén nâng cao

Vượt qua việc chọn chế độ, LeanCTX áp dụng một đường ống tối ưu hóa đa giai đoạn thích ứng với loại tệp, ngữ cảnh phiên và ý định tác vụ:

Thompson Sampling 5–15%

Học ngưỡng nén tối ưu cho từng loại tệp bằng cách khám phá bandit nhiều cánh tay (khám phá so với khai thác)

AST Pruning 40–70%

Cắt tỉa nhận biết ngôn ngữ qua Tree-sitter - loại bỏ các khối hàm, bình luận và mã mẫu trong khi vẫn giữ lại chữ ký API

IDF Dedup 10–30%

Khử trùng lặp đa tệp bằng tần suất tài liệu ngược - loại bỏ nội dung đã thấy trong phiên

IB Filter 15–25%

Lọc nhận biết tác vụ bằng nguyên lý Information Bottleneck - chỉ giữ lại nội dung liên quan đến tác vụ hiện tại

Verbatim Compaction 5–20%

Thu gọn các cấu trúc lặp đi lặp lại (imports, dòng log, mã mẫu) thành bản tóm tắt có đếm

Các giai đoạn này tích lũy - được áp dụng theo trình tự, chúng có thể giảm một tệp 1000 dòng xuống dưới 50 tokens trong khi vẫn giữ lại tất cả thông tin liên quan đến tác vụ. Đường ống hoàn toàn tự động và không yêu cầu cấu hình.

Bảo toàn đã xác minh

Nén Chất lượng

Ngưỡng chất lượng (tổng hợp)

95%

Đầu ra nén chỉ được sử dụng nếu điểm chất lượng tổng hợp duy trì ở mức 95% trở lên.

Mật độ tối thiểu

15%

Chặn đầu ra ít thông tin với mật độ tín hiệu tối thiểu là 15% (ρ).

Trọng số

50/30/20

Composite = AST 50% + identifiers 30% + lines 20% - vì vậy, cấu trúc là quan trọng nhất.

Nguyên tắc mật độ thông tin

Tại sao Ít Token = Mật độ Tín hiệu Cao hơn

LLM có ngân sách chú ý cố định. Mọi token trong cửa sổ ngữ cảnh đều cạnh tranh trọng số chú ý. Việc điền đầy cửa sổ bằng các đoạn mã mẫu (boilerplate) đồng nghĩa với việc ít chú ý hơn cho phần code quan trọng.

Bằng cách loại bỏ nhiễu trước khi nó đến mô hình, LeanCTX tăng mật độ thông tin của mọi yêu cầu. Kết quả: tỷ lệ tín hiệu trên nhiễu cao hơn, giảm loãng ngữ cảnh và mô hình duy trì trong giới hạn ngữ cảnh hữu ích.

Tỷ lệ tín hiệu trên nhiễu cao hơn

10K tokens context tập trung vượt trội hơn 200K boilerplate. Mô hình dành sự chú ý của nó cho logic thay vì các comment JSDoc và boilerplate import.

Giảm nhiễu context

Nhiễu context làm loãng cửa sổ chú ý của mô hình. Loại bỏ nó giúp mô hình bám sát cấu trúc code thực tế và giảm khả năng ảo giác.

Chi phí thấp hơn trên mỗi câu trả lời

Ít token đầu vào hơn đồng nghĩa với chi phí API thấp hơn và nhiều tin nhắn hơn trong giới hạn tốc độ của bạn. Cùng một hạn mức đi xa hơn - cho mỗi công cụ AI bạn sử dụng.

Ví dụ thế giới thực

Đo trên Code thực tế

Ảnh chụp đại diện - các số liệu của bạn sẽ khác nhau tùy theo tệp và codebase.

Component React 88%

450 dòng - chế độ map

12,840 → 1,541

Module Rust 93%

820 dòng - chế độ signatures

18,290 → 1,280

API Express 91%

1,200 dòng - chế độ aggressive

31,500 → 2,835

Pipeline ML Python 83%

680 dòng - chế độ entropy

15,400 → 2,618

Cấu hình TypeScript 95%

340 dòng - chế độ diff

8,750 → 437

Tính minh bạch

Đánh giá hiệu năng
Phương pháp luận

Mọi con số trên trang này đều có thể tái lập. Đây là cách chúng tôi đo lường chính xác.

Tokenizer

Tất cả các bộ đếm token sử dụng tiktoken với mã hóa o200k_base, bộ tokenizer giống như GPT-4o, Claude và các LLM hiện đại. Không có ước tính hay xấp xỉ.

Ngưỡng chất lượng

Chỉ sử dụng đầu ra nén nếu điểm chất lượng tổng hợp duy trì ở mức từ 95% trở lên. Tổng hợp = Bảo toàn AST (50%) + bảo toàn định danh (30%) + độ bao phủ dòng (20%).

Tái lập cục bộ

Chạy lean-ctx benchmark run src/ trên codebase của bạn. Đầu ra sẽ hiển thị số lượng token chính xác cho từng chế độ nén, phần trăm tiết kiệm và điểm bảo toàn chất lượng.

Tuyên bố miễn trừ trách nhiệm

Kết quả thay đổi tùy theo loại tệp, kích thước, ngôn ngữ và chế độ đọc. Phạm vi "60-99%" phản ánh sự khác biệt trong thế giới thực: các tệp có cấu trúc nhỏ nén được nhiều hơn, các tệp lớn không có cấu trúc nén ít hơn. Việc đọc lại bộ nhớ đệm (~13 tokens) đại diện cho trường hợp tốt nhất.

Our Own Overhead, Measured

Savings claims must be net of what LeanCTX itself injects. The fixed per-session footprint (advertised tool schemas + MCP instructions) is ~2.1K tokens, measured in an isolated environment with lean-ctx doctor overhead and enforced in CI via --gate — it can only shrink. lean-ctx gain reports savings net of this overhead.

Deterministic Self-Verify

lean-ctx benchmark dual-arm --json replays a pinned 15-turn agent session through a stateless arm and the long-lived proxy rail, prices both with real tokenizer counts and published per-model rates, and fingerprints the run with a BLAKE3 digest — anyone can reproduce the exact figures, no live model needed.

Đo lường khoản tiết kiệm thực tế của bạn.

Cài đặt LeanCTX và chạy benchmark run trên codebase của bạn. Các con số thực tế, các tệp của bạn, khoản tiết kiệm của bạn.

lean-ctx benchmark run src/

Hoạt động trên mọi codebase. Không cần cấu hình. Kết quả trong vài giây.

Bắt đầu Sao trên GitHub

Đừng tin tưởng.Hãy xác minh.

Được đo lường. Đã được xác minh.

Đếm token chính xác

Bảo vệ chất lượng

Có thể tái lập

Trước & Sau

Chỉ định. Đo lường. Xác minh.

Chỉ vào bất kỳ tệp hoặc thư mục nào

Đo lường token chính xác

Tiết kiệm theo chế độ

Benchmark trong hành động

Các Chế độ Đọc So với

Đường ống nén nâng cao

Nén Chất lượng

Tại sao Ít Token = Mật độ Tín hiệu Cao hơn

Đo trên Code thực tế

Đánh giá hiệu năngPhương pháp luận

Tokenizer

Ngưỡng chất lượng

Tái lập cục bộ

Tuyên bố miễn trừ trách nhiệm

Our Own Overhead, Measured

Deterministic Self-Verify

Đo lường khoản tiết kiệm thực tế của bạn.

Đừng tin tưởng.
Hãy xác minh.

Đánh giá hiệu năng
Phương pháp luận