বেঞ্চমার্ক

বিশ্বাস করবেন না।
যাচাই করুন।

যেকোনো প্রজেক্টে lean-ctx benchmark run চালান। প্রকৃত token সংখ্যা। প্রকৃত নির্ভুলতার মেট্রিক্স। tiktoken (o200k_base) দিয়ে পরিমাপিত।

কেন বিশ্বাসযোগ্য

Measured. Verified.

Benchmark লোকালি রান করে, exact tokenizer দিয়ে tokens গুনে, আর quality bar-এর নিচে গেলে compression reject করে।

Exact token count

Modern LLMs-এর একই tokenizer - estimates নয়।

tiktoken o200k_base

Quality guard

AST, identifiers ও line structure স্কোর করে। failing output অটো ব্লক হয়।

threshold: Q ≥ 95% · ρ ≥ 15%

Reproducible

আপনার repo-তে রান করে। Same inputs → same numbers. CI ও regressions-এর জন্য ভালো।

offline · deterministic
See the difference

Before & After

The same file. The same information. Dramatically fewer tokens.

Without lean-ctx
// src/auth.ts · mode=full
import { jwt, verify, sign } from 'jsonwebtoken';
import { bcrypt } from 'bcryptjs';
3,517 tokens
With lean-ctx (map mode)
// src/auth.ts · mode=map
exports: AuthService, validateToken, …
deps: jsonwebtoken, bcryptjs, ioredis
412 tokens

88% fewer tokens

যাচাইকৃত সাশ্রয়ের তিনটি ধাপ

কীভাবে কাজ করে

01

যেকোনো ফাইল বা ডিরেক্টরিতে নির্দেশ করুন

একটি ফাইল, একটি ডিরেক্টরি বা একটি glob প্যাটার্ন দিন। বেঞ্চমার্ক ইঞ্জিন যা পায় সব প্রসেস করে।

lean-ctx benchmark run src/
02

সঠিক token পরিমাপ

o200k_base এনকোডিংসহ tiktoken ব্যবহার করে (GPT-4o, Claude এবং আধুনিক LLM-এর মতো)। কোনো অনুমান নয় - প্রকৃত token সংখ্যা।

tiktoken o200k_base
03

মোড অনুযায়ী সাশ্রয়

প্রতিটি কম্প্রেশন মোডের জন্য নির্ভুলতার স্কোর ও সাশ্রয়ের শতাংশ পান। প্রতিটি ব্যবহারের ক্ষেত্রে সঠিক মোড বেছে নিন।

modes: 10
প্রকৃত আউটপুট

বেঞ্চমার্ক কার্যকরীতে

আপনার প্রজেক্টের যেকোনো ফাইলে বেঞ্চমার্ক চালান। আউটপুটে প্রতিটি কম্প্রেশন মোডের সঠিক token সংখ্যা, সাশ্রয়ের শতাংশ এবং গুণমান সংরক্ষণের স্কোর দেখানো হয়।

ফাইল-ভিত্তিক বিশ্লেষণ - প্রতিটি মোডে আগে ও পরে token সংখ্যা

গুণমান স্কোর - AST, আইডেন্টিফায়ার এবং কোড লাইন সংরক্ষিত

সামগ্রিক মোট - সেরা মোডের সুপারিশসহ ডিরেক্টরি-ব্যাপী সাশ্রয়

lean-ctx benchmark run

$ lean-ctx benchmark run src/auth.ts

◆ lean-ctx Benchmark

────────────────────────────────────────

src/auth.ts (123 lines, 3,517 tokens)

────────────────────────────────────────

Mode Tokens Saved Rate

full 3,517 0 0%

map 412 3,105 88%

signatures 252 3,265 93%

diff 187 3,330 95%

aggressive 298 3,219 92%

entropy 312 3,205 91%

────────────────────────────────────────

Quality: AST 98% | Idents 97% | Lines 96%

Encoding: tiktoken o200k_base | Time: 12ms

প্রতিটি কাজের জন্য সঠিক মোড বেছে নিন

রিড মোড তুলনা

full 0%

যে ফাইল আপনি সম্পাদনা করবেন

সবকিছু - সম্পূর্ণ বিষয়বস্তু পুনঃপঠনে ~13 token-এ cache হয়

map 70–88%

শুধু কনটেক্সটের জন্য ফাইল

ডিপেন্ডেন্সি গ্রাফ, এক্সপোর্ট, প্রধান সিগনেচার

signatures 55–93%

API সারফেস অনুসন্ধান

শুধুমাত্র ফাংশন/ক্লাস/টাইপ সিগনেচার

diff 80–95%

সম্পাদনার পর

ন্যূনতম পার্শ্ববর্তী কনটেক্সটসহ পরিবর্তিত লাইন

aggressive 75–90%

বড় বয়লারপ্লেট ফাইল

গঠন ও লজিক, সিনট্যাক্স বাদ

entropy 70–83%

গোলমেলে ফাইল (JSDoc, মন্তব্য)

শুধুমাত্র উচ্চ-এন্ট্রপি লাইন (Shannon + Jaccard ফিল্টারিং)

task 65–85%

টাস্ক-কেন্দ্রিক রিড (যেমন 'auth বাগ ঠিক করুন')

টাস্ক-প্রাসঙ্গিক কোড + নলেজ গ্রাফ + IB ফিল্টারের মাধ্যমে নির্ভরতা প্রসঙ্গ

auto 70–99%

ডিফল্ট - lean-ctx নিজেই সেরা মোড বেছে নেয়

ফাইল অনুযায়ী মানিয়ে নেয়: type, size bucket, recency, task relevance

reference 80–95%

API ডকস ও রেফারেন্স লুকআপ

Public API, types, signatures, docstrings

lines:N-M 90–99%

নির্দিষ্ট line range পড়া - surgical precision

চাওয়া exact lines + ন্যূনতম আশেপাশের context

lean-ctx-এর ctx_smart_read ফাইলের ধরন, আকার এবং কনটেক্সটের উপর ভিত্তি করে বায়েসিয়ান প্রেডিকশন ব্যবহার করে স্বয়ংক্রিয়ভাবে সর্বোত্তম মোড নির্বাচন করে।

Stage

Advanced Compression Pipeline

Beyond mode selection, lean-ctx applies a multi-stage optimization pipeline that adapts to file type, session context, and task intent:

Thompson Sampling 5–15%

Learns optimal compression thresholds per file type using multi-armed bandit exploration (explore vs exploit)

AST Pruning 40–70%

Language-aware pruning via Tree-sitter - removes function bodies, comments, and boilerplate while preserving API signatures

IDF Dedup 10–30%

Cross-file deduplication using inverse document frequency - eliminates content already seen in the session

IB Filter 15–25%

Task-aware filtering using the Information Bottleneck principle - keeps only content relevant to the current task

Verbatim Compaction 5–20%

Collapses repetitive structures (imports, log lines, boilerplate) into counted summaries

These stages are cumulative - applied in sequence, they can reduce a 1000-line file to under 50 tokens while preserving all task-relevant information. The pipeline is fully automatic and requires no configuration.

যাচাইকৃত সংরক্ষণ

কম্প্রেশন গুণমান

কোয়ালিটি থ্রেশহোল্ড (composite)

95%

কম্প্রেসড আউটপুট শুধু তখনই ব্যবহার হয় যখন composite কোয়ালিটি স্কোর ≥ 95% থাকে।

ন্যূনতম ডেনসিটি

15%

ন্যূনতম সিগন্যাল ডেনসিটি 15% (ρ) দিয়ে কম-তথ্যপূর্ণ আউটপুট ব্লক করে।

ওয়েটিং

50/30/20

Composite = AST 50% + identifiers 30% + lines 20% - স্ট্রাকচার সবচেয়ে গুরুত্বপূর্ণ।

তথ্য ঘনত্বের নীতি

কম Token কেন = উচ্চতর সিগন্যাল ঘনত্ব

LLM-এর একটি নির্দিষ্ট মনোযোগ বাজেট আছে। কনটেক্সট উইন্ডোতে প্রতিটি token মনোযোগ ওজনের জন্য প্রতিযোগিতা করে। উইন্ডো বয়লারপ্লেট দিয়ে ভরলে গুরুত্বপূর্ণ কোডে কম মনোযোগ যায়।

মডেলে পৌঁছানোর আগে নয়েজ সরিয়ে, lean-ctx প্রতিটি অনুরোধের তথ্য ঘনত্ব বাড়ায়। ফলাফল: উচ্চতর সিগন্যাল-টু-নয়েজ অনুপাত, কম কনটেক্সট ক্ষয় এবং মডেল কার্যকর কনটেক্সট সীমার মধ্যে থাকে।

উচ্চতর সিগন্যাল-টু-নয়েজ অনুপাত

10K token-এর ফোকাসড কনটেক্সট 200K বয়লারপ্লেটের চেয়ে ভালো পারফর্ম করে। মডেল তার মনোযোগ লজিকে ব্যয় করে, JSDoc মন্তব্য আর ইম্পোর্ট বয়লারপ্লেটে নয়।

কমানো কনটেক্সট নয়েজ

কনটেক্সট নয়েজ মডেলের মনোযোগ উইন্ডোকে দুর্বল করে। এটি সরানো মডেলকে প্রকৃত কোড স্ট্রাকচারে ফোকাস রাখতে এবং হ্যালুসিনেশনের সম্ভাবনা কমাতে সাহায্য করে।

প্রতি উত্তরে কম খরচ

কম ইনপুট token মানে কম API খরচ এবং আপনার রেট লিমিটের মধ্যে আরও বেশি মেসেজ। একই কোটায় আরও বেশি কাজ হয় - আপনি যে AI টুলই ব্যবহার করুন না কেন।

Real-world examples

Measured on Real Code

Representative snapshots - ফাইল ও codebase অনুযায়ী আপনার numbers বদলাতে পারে।

React Component 88%

450 lines - map mode

12,840 → 1,541
Rust Module 93%

820 lines - signatures mode

18,290 → 1,280
Express API 91%

1,200 lines - aggressive mode

31,500 → 2,835
Python ML Pipeline 83%

680 lines - entropy mode

15,400 → 2,618
TypeScript Config 95%

340 lines - diff mode

8,750 → 437
Transparency

Benchmark
Methodology

Every number on this page is reproducible. Here's exactly how we measure.

Tokenizer

All token counts use tiktoken with the o200k_base encoding — the same tokenizer used by GPT-4o, Claude, and modern LLMs. No estimates or approximations.

Quality Threshold

Compressed output is only used if the composite quality score stays at or above 95%. Composite = AST preservation (50%) + identifier preservation (30%) + line coverage (20%).

Reproduce Locally

Run lean-ctx benchmark run src/ on your own codebase. The output shows exact token counts for each compression mode, savings percentage, and quality preservation scores.

Disclaimer

Results vary by file type, size, language, and read mode. The "60-99%" range reflects real-world variance: small structured files compress more, large unstructured files compress less. Cached re-reads (~13 tokens) represent the best case.

আপনার প্রকৃত সাশ্রয় পরিমাপ করুন।

lean-ctx ইনস্টল করুন এবং আপনার কোডবেসে benchmark run চালান। প্রকৃত সংখ্যা, আপনার ফাইল, আপনার সাশ্রয়।

lean-ctx benchmark run src/

Works on any codebase. No config needed. Results in seconds.