বিশ্বাস করবেন না।
যাচাই করুন।
যেকোনো প্রজেক্টে lean-ctx benchmark run চালান। প্রকৃত token সংখ্যা। প্রকৃত নির্ভুলতার মেট্রিক্স। tiktoken (o200k_base) দিয়ে পরিমাপিত।
Measured. Verified.
Benchmark লোকালি রান করে, exact tokenizer দিয়ে tokens গুনে, আর quality bar-এর নিচে গেলে compression reject করে।
Exact token count
Modern LLMs-এর একই tokenizer - estimates নয়।
tiktoken o200k_base Quality guard
AST, identifiers ও line structure স্কোর করে। failing output অটো ব্লক হয়।
threshold: Q ≥ 95% · ρ ≥ 15% Reproducible
আপনার repo-তে রান করে। Same inputs → same numbers. CI ও regressions-এর জন্য ভালো।
offline · deterministic Before & After
The same file. The same information. Dramatically fewer tokens.
88% fewer tokens
কীভাবে কাজ করে
যেকোনো ফাইল বা ডিরেক্টরিতে নির্দেশ করুন
একটি ফাইল, একটি ডিরেক্টরি বা একটি glob প্যাটার্ন দিন। বেঞ্চমার্ক ইঞ্জিন যা পায় সব প্রসেস করে।
lean-ctx benchmark run src/ সঠিক token পরিমাপ
o200k_base এনকোডিংসহ tiktoken ব্যবহার করে (GPT-4o, Claude এবং আধুনিক LLM-এর মতো)। কোনো অনুমান নয় - প্রকৃত token সংখ্যা।
tiktoken o200k_base মোড অনুযায়ী সাশ্রয়
প্রতিটি কম্প্রেশন মোডের জন্য নির্ভুলতার স্কোর ও সাশ্রয়ের শতাংশ পান। প্রতিটি ব্যবহারের ক্ষেত্রে সঠিক মোড বেছে নিন।
modes: 10 বেঞ্চমার্ক কার্যকরীতে
আপনার প্রজেক্টের যেকোনো ফাইলে বেঞ্চমার্ক চালান। আউটপুটে প্রতিটি কম্প্রেশন মোডের সঠিক token সংখ্যা, সাশ্রয়ের শতাংশ এবং গুণমান সংরক্ষণের স্কোর দেখানো হয়।
ফাইল-ভিত্তিক বিশ্লেষণ - প্রতিটি মোডে আগে ও পরে token সংখ্যা
গুণমান স্কোর - AST, আইডেন্টিফায়ার এবং কোড লাইন সংরক্ষিত
সামগ্রিক মোট - সেরা মোডের সুপারিশসহ ডিরেক্টরি-ব্যাপী সাশ্রয়
$ lean-ctx benchmark run src/auth.ts
◆ lean-ctx Benchmark
────────────────────────────────────────
src/auth.ts (123 lines, 3,517 tokens)
────────────────────────────────────────
Mode Tokens Saved Rate
full 3,517 0 0%
map 412 3,105 88%
signatures 252 3,265 93%
diff 187 3,330 95%
aggressive 298 3,219 92%
entropy 312 3,205 91%
────────────────────────────────────────
Quality: AST 98% | Idents 97% | Lines 96%
Encoding: tiktoken o200k_base | Time: 12ms
রিড মোড তুলনা
full 0% যে ফাইল আপনি সম্পাদনা করবেন
সবকিছু - সম্পূর্ণ বিষয়বস্তু পুনঃপঠনে ~13 token-এ cache হয়
map 70–88% শুধু কনটেক্সটের জন্য ফাইল
ডিপেন্ডেন্সি গ্রাফ, এক্সপোর্ট, প্রধান সিগনেচার
signatures 55–93% API সারফেস অনুসন্ধান
শুধুমাত্র ফাংশন/ক্লাস/টাইপ সিগনেচার
diff 80–95% সম্পাদনার পর
ন্যূনতম পার্শ্ববর্তী কনটেক্সটসহ পরিবর্তিত লাইন
aggressive 75–90% বড় বয়লারপ্লেট ফাইল
গঠন ও লজিক, সিনট্যাক্স বাদ
entropy 70–83% গোলমেলে ফাইল (JSDoc, মন্তব্য)
শুধুমাত্র উচ্চ-এন্ট্রপি লাইন (Shannon + Jaccard ফিল্টারিং)
task 65–85% টাস্ক-কেন্দ্রিক রিড (যেমন 'auth বাগ ঠিক করুন')
টাস্ক-প্রাসঙ্গিক কোড + নলেজ গ্রাফ + IB ফিল্টারের মাধ্যমে নির্ভরতা প্রসঙ্গ
auto 70–99% ডিফল্ট - lean-ctx নিজেই সেরা মোড বেছে নেয়
ফাইল অনুযায়ী মানিয়ে নেয়: type, size bucket, recency, task relevance
reference 80–95% API ডকস ও রেফারেন্স লুকআপ
Public API, types, signatures, docstrings
lines:N-M 90–99% নির্দিষ্ট line range পড়া - surgical precision
চাওয়া exact lines + ন্যূনতম আশেপাশের context
lean-ctx-এর ctx_smart_read ফাইলের ধরন, আকার এবং কনটেক্সটের উপর ভিত্তি করে বায়েসিয়ান প্রেডিকশন ব্যবহার করে স্বয়ংক্রিয়ভাবে সর্বোত্তম মোড নির্বাচন করে।
Advanced Compression Pipeline
Beyond mode selection, lean-ctx applies a multi-stage optimization pipeline that adapts to file type, session context, and task intent:
Learns optimal compression thresholds per file type using multi-armed bandit exploration (explore vs exploit)
Language-aware pruning via Tree-sitter - removes function bodies, comments, and boilerplate while preserving API signatures
Cross-file deduplication using inverse document frequency - eliminates content already seen in the session
Task-aware filtering using the Information Bottleneck principle - keeps only content relevant to the current task
Collapses repetitive structures (imports, log lines, boilerplate) into counted summaries
These stages are cumulative - applied in sequence, they can reduce a 1000-line file to under 50 tokens while preserving all task-relevant information. The pipeline is fully automatic and requires no configuration.
কম্প্রেশন গুণমান
কোয়ালিটি থ্রেশহোল্ড (composite)
কম্প্রেসড আউটপুট শুধু তখনই ব্যবহার হয় যখন composite কোয়ালিটি স্কোর ≥ 95% থাকে।
ন্যূনতম ডেনসিটি
ন্যূনতম সিগন্যাল ডেনসিটি 15% (ρ) দিয়ে কম-তথ্যপূর্ণ আউটপুট ব্লক করে।
ওয়েটিং
Composite = AST 50% + identifiers 30% + lines 20% - স্ট্রাকচার সবচেয়ে গুরুত্বপূর্ণ।
কম Token কেন = উচ্চতর সিগন্যাল ঘনত্ব
LLM-এর একটি নির্দিষ্ট মনোযোগ বাজেট আছে। কনটেক্সট উইন্ডোতে প্রতিটি token মনোযোগ ওজনের জন্য প্রতিযোগিতা করে। উইন্ডো বয়লারপ্লেট দিয়ে ভরলে গুরুত্বপূর্ণ কোডে কম মনোযোগ যায়।
মডেলে পৌঁছানোর আগে নয়েজ সরিয়ে, lean-ctx প্রতিটি অনুরোধের তথ্য ঘনত্ব বাড়ায়। ফলাফল: উচ্চতর সিগন্যাল-টু-নয়েজ অনুপাত, কম কনটেক্সট ক্ষয় এবং মডেল কার্যকর কনটেক্সট সীমার মধ্যে থাকে।
10K token-এর ফোকাসড কনটেক্সট 200K বয়লারপ্লেটের চেয়ে ভালো পারফর্ম করে। মডেল তার মনোযোগ লজিকে ব্যয় করে, JSDoc মন্তব্য আর ইম্পোর্ট বয়লারপ্লেটে নয়।
কনটেক্সট নয়েজ মডেলের মনোযোগ উইন্ডোকে দুর্বল করে। এটি সরানো মডেলকে প্রকৃত কোড স্ট্রাকচারে ফোকাস রাখতে এবং হ্যালুসিনেশনের সম্ভাবনা কমাতে সাহায্য করে।
কম ইনপুট token মানে কম API খরচ এবং আপনার রেট লিমিটের মধ্যে আরও বেশি মেসেজ। একই কোটায় আরও বেশি কাজ হয় - আপনি যে AI টুলই ব্যবহার করুন না কেন।
Measured on Real Code
Representative snapshots - ফাইল ও codebase অনুযায়ী আপনার numbers বদলাতে পারে।
450 lines - map mode
12,840 → 1,541 820 lines - signatures mode
18,290 → 1,280 1,200 lines - aggressive mode
31,500 → 2,835 680 lines - entropy mode
15,400 → 2,618 340 lines - diff mode
8,750 → 437 Benchmark
Methodology
Every number on this page is reproducible. Here's exactly how we measure.
Tokenizer
All token counts use tiktoken with the o200k_base encoding — the same
tokenizer used by GPT-4o, Claude, and modern LLMs. No estimates or approximations.
Quality Threshold
Compressed output is only used if the composite quality score stays at or above 95%. Composite = AST preservation (50%) + identifier preservation (30%) + line coverage (20%).
Reproduce Locally
Run lean-ctx benchmark run src/ on your own codebase. The output shows exact token counts
for each compression mode, savings percentage, and quality preservation scores.
Disclaimer
Results vary by file type, size, language, and read mode. The "60-99%" range reflects real-world variance: small structured files compress more, large unstructured files compress less. Cached re-reads (~13 tokens) represent the best case.
আপনার প্রকৃত সাশ্রয় পরিমাপ করুন।
lean-ctx ইনস্টল করুন এবং আপনার কোডবেসে benchmark run চালান। প্রকৃত সংখ্যা, আপনার ফাইল, আপনার সাশ্রয়।
lean-ctx benchmark run src/ Works on any codebase. No config needed. Results in seconds.