Benchmark

বিশ্বাস করবেন না।
যাচাই করুন।

যেকোনো প্রজেক্টে lean-ctx benchmark run চালান। বাস্তব টোকেন গণনা। বাস্তব নির্ভুলতা মেট্রিক্স। tiktoken (o200k_base) দিয়ে পরিমাপ করা হয়েছে।

এটি কীভাবে সৎ থাকে

পরিমাপ করা। যাচাইকৃত।

Benchmark স্থানীয়ভাবে চলে, সঠিক টোকেনাইজার দিয়ে টোকেন গণনা করে এবং গুণমানের মানদণ্ড থেকে নিচে নামা সংকুচন প্রত্যাখ্যান করে।

সঠিক টোকেন সংখ্যা

আধুনিক LLM দ্বারা ব্যবহৃত একই টোকেনাইজার দিয়ে গণনা করা হয় - কোনো অনুমান নয়, কোনো জল্পনা নয়।

tiktoken o200k_base

গুণমান রক্ষক

AST সংরক্ষণ, 식별কারী এবং লাইন কাঠামো স্কোর করে। ব্যর্থ আউটপুটগুলি স্বয়ংক্রিয়ভাবে ব্লক করা হয়।

থ্রেশহোল্ড: Q ≥ ৯৫% · ρ ≥ ১৫%

পুনরাবৃত্তিযোগ্য

আপনার রিপোজিটরিতে চলে। একই ইনপুট → একই সংখ্যা। CI এবং রিগ্রেশনগুলির জন্য দুর্দান্ত।

অফলাইন · ডিটারমিনিস্টিক
পার্থক্য দেখুন

আগে ও পরে

একই ফাইল। একই তথ্য। নাটকীয়ভাবে কম টোকেন।

LeanCTX ছাড়া
// src/auth.ts · mode=full
import { jwt, verify, sign } from 'jsonwebtoken';
import { bcrypt } from 'bcryptjs';
৩,৫১৭ টোকেন
LeanCTX সহ (map mode)
// src/auth.ts · mode=map
exports: AuthService, validateToken, …
deps: jsonwebtoken, bcryptjs, ioredis
৪১২ টোকেন

৮৮% কম টোকেন

নিশ্চিত সঞ্চয়ের জন্য তিনটি ধাপ

পয়েন্ট করুন। পরিমাপ করুন। যাচাই করুন।

01

যেকোনো ফাইল বা ডিরেক্টরিতে পয়েন্ট করুন

একটি একক ফাইল, একটি ডিরেক্টরি বা একটি গ্লোব প্যাটার্ন পাস করুন। বেঞ্চমার্ক ইঞ্জিন যা খুঁজে পায় সবকিছু প্রক্রিয়া করে।

lean-ctx benchmark run src/
02

সঠিক টোকেন পরিমাপ

o200k_base এনকোডিং ব্যবহার করে tiktoken ব্যবহার করে (GPT-4o, Claude এবং আধুনিক LLMs এর মতো)। কোনো অনুমান নয় - আসল টোকেন গণনা।

tiktoken o200k_base
03

মোড অনুসারে সঞ্চয়

প্রতিটি কম্প্রেশন মোডের জন্য নির্ভুলতা স্কোর এবং সঞ্চয় শতাংশ পান। প্রতিটি ব্যবহারের ক্ষেত্রে সঠিক মোডটি বেছে নিন।

modes: 10
বাস্তব আউটপুট

Benchmark কার্যক্ষেত্রে

আপনার প্রজেক্টের যেকোনো ফাইলে বেঞ্চমার্কটি চালান। আউটপুটটি প্রতিটি কম্প্রেশন মোডের জন্য সঠিক টোকেন গণনা, সঞ্চয় শতাংশ এবং গুণমান সংরক্ষণ স্কোর দেখায়।

প্রতি-ফাইল বিভাজন - প্রতিটি মোডের আগে এবং পরে টোকেন সংখ্যা

গুণমানের স্কোর - AST, identificer, এবং কোড লাইন সংরক্ষিত

একত্রিত মোট - সেরা মোডের সুপারিশ সহ ডিরেক্টরি-ব্যাপী সঞ্চয়

lean-ctx benchmark run

$ lean-ctx benchmark run src/auth.ts

◆ lean-ctx Benchmark

────────────────────────────────────────

src/auth.ts (123 lines, 3,517 tokens)

────────────────────────────────────────

Mode Tokens Saved Rate

full 3,517 0 0%

map 412 3,105 88%

signatures 252 3,265 93%

diff 187 3,330 95%

aggressive 298 3,219 92%

entropy 312 3,205 91%

────────────────────────────────────────

Quality: AST 98% | Idents 97% | Lines 96%

Encoding: tiktoken o200k_base | Time: 12ms

প্রতিটি কাজের জন্য সঠিক মোড নির্বাচন করুন

রিড মোডগুলি তুলনা করা হয়েছে

full 0%

যে ফাইলগুলি আপনি এডিট করবেন

সবকিছু - রি-রিডের জন্য সম্পূর্ণ কন্টেন্ট ~13 টোকেন পর্যন্ত ক্যাশ করা হয়।

map 70-90%

শুধুমাত্র কনটেক্সট ফাইল

কোড: deps + exports + সিগনেচার। নন-কোড: স্ট্রাকচার্ড আউটলাইন (Markdown হেডিং, JSON/YAML/TOML কী, লক সামারি)

signatures 55–93%

API সারফেস এক্সপ্লোরেশন

শুধুমাত্র ফাংশন/ক্লাস/টাইপ সিগনেচার

diff 80–95%

সম্পাদনার পরে

ন্যূনতম পার্শ্ববর্তী প্রেক্ষাপট সহ পরিবর্তিত লাইন

aggressive 75–90%

বড় বোরপ্লেট ফাইল

স্ট্রাকচার এবং লজিক, সিনট্যাক্স স্ট্রিপড

entropy 70–83%

গোলমালযুক্ত ফাইল (JSDoc, মন্তব্য)

শুধুমাত্র উচ্চ-এন্ট্রপি লাইন (Shannon + Jaccard ফিল্টারিং)

task 65–85%

টাস্ক-কেন্দ্রিক রিডস (যেমন: 'fix auth bug')

টাস্ক-প্রাসঙ্গিক কোড + নলেজ গ্রাফের মাধ্যমে নির্ভরতা প্রেক্ষাপট + IB ফিল্টার

auto 70–99%

ডিফল্ট - LeanCTX স্বয়ংক্রিয়ভাবে সেরা মোডটি বেছে নেয়

ফাইল অনুযায়ী মানিয়ে নেয়: ধরন, আকার বাকেট, সাম্প্রতিকতা, কাজের প্রাসঙ্গিকতা

reference 80–95%

API ডকুমেন্টেশন এবং রেফারেন্স লুকআপ

পাবলিক API, টাইপস, সিগনেচার, ডকস্ট্রিং

lines:N-M 90–99%

একটি নির্দিষ্ট লাইন রেঞ্জ পড়া - সার্জিক্যাল নির্ভুলতা

অনুরোধ করা সঠিক লাইনগুলি, সাথে ন্যূনতম পার্শ্ববর্তী কনটেক্সট

LeanCTX-এর ctx_smart_read ফাইল টাইপ, আকার এবং কনটেক্সটের উপর ভিত্তি করে বেয়েশিয়ান প্রেডিকশন ব্যবহার করে স্বয়ংক্রিয়ভাবে সর্বোত্তম মোডটি বেছে নেয়।

পর্যায়

উন্নত কম্প্রেশন পাইপলাইন

মোড নির্বাচনের বাইরেও, LeanCTX একটি মাল্টি-স্টেজ অপটিমাইজেশন পাইপলাইন প্রয়োগ করে যা ফাইল টাইপ, সেশন কনটেক্সট এবং টাস্ক ইন্টেন্ট অনুযায়ী মানিয়ে নেয়:

Thompson Sampling 5–15%

মাল্টি-আর্মড ব্যান্ডিট এক্সপ্লোরেশন (explore বনাম exploit) ব্যবহার করে প্রতি ফাইল প্রকারের জন্য সর্বোত্তম কম্প্রেশন থ্রেশহোল্ড শেখে

AST Pruning 40–70%

Tree-sitter এর মাধ্যমে ভাষা-সচেতন প্রুনিং - API সিগনেচার বজায় রেখে ফাংশন বডি, মন্তব্য এবং বয়লারপ্লেট অপসারণ করে

IDF Dedup 10–30%

ইনভার্স ডকুমেন্ট ফ্রিকোয়েন্সি ব্যবহার করে ক্রস-ফাইল ডিডুপ্লিকেশন - সেশনে ইতিমধ্যে দেখা কন্টেন্ট দূর করে

IB Filter 15–25%

ইনফরমেশন বটleneck নীতি ব্যবহার করে টাস্ক-সচেতন ফিল্টারিং - শুধুমাত্র বর্তমান কাজের জন্য প্রাসঙ্গিক কন্টেন্ট রাখে

Verbatim Compaction 5–20%

পুনরাবৃত্তিমূলক কাঠামো (import, log লাইন, boilerplate) সংকুচিত করে গণনা করা সারাংশে রূপান্তর করে

এই পর্যায়গুলি সংযোজিত - ক্রমানুসারে প্রয়োগ করা হয়, যা একটি ১০০০-লাইন ফাইলকে সমস্ত টাস্ক-প্রাসঙ্গিক তথ্য বজায় রেখে ৫০ টোকেনের নিচে নামিয়ে আনতে পারে। পাইপলাইনটি সম্পূর্ণ স্বয়ংক্রিয় এবং কোনো কনফিগারেশন প্রয়োজন নেই।

যাচাইকৃত সংরক্ষণ

সংকোচন গুণমান

কোয়ালিটি থ্রেশহোল্ড (কম্পোজিট)

95%

সংকুচিত আউটপুট শুধুমাত্র ব্যবহার করা হয় যদি কম্পোজিট কোয়ালিটি স্কোর ৯৫% বা তার উপরে থাকে।

ন্যূনতম ঘনত্ব

15%

ন্যূনতম ১৫% সিগন্যাল ঘনত্ব (ρ) সহ কম-তথ্য আউটপুট ব্লক করে।

ওজন নির্ধারণ

50/30/20

কম্পোজিট = AST ৫০% + আইডেন্টিফায়ার ৩০% + লাইন ২০% - তাই কাঠামো সবচেয়ে গুরুত্বপূর্ণ।

তথ্য ঘনত্ব নীতি

কেন কম টোকেন = উচ্চতর সিগন্যাল ঘনত্ব

LLM-গুলির একটি নির্দিষ্ট মনোযোগ বাজেট থাকে। কনটেক্সট উইন্ডোর প্রতিটি টোকেন মনোযোগের ওজনের জন্য প্রতিযোগিতা করে। বোরপ্লেট দিয়ে উইন্ডো পূরণ করলে গুরুত্বপূর্ণ কোডের উপর কম মনোযোগ যায়।

মডেলের কাছে পৌঁছানোর আগে নয়েজ অপসারণ করার মাধ্যমে, LeanCTX প্রতিটি অনুরোধের তথ্য ঘনত্ব বাড়ায়। ফলাফল: উচ্চতর সিগন্যাল-টু-নয়েজ অনুপাত, কম কনটেক্সট লঘুকরণ এবং মডেলটি কার্যকর কনটেক্সট সীমার মধ্যে থাকে।

উচ্চ সিগন্যাল-টু-নয়েজ অনুপাত

১০কে টোকেন ফোকাসড কনটেক্সট ২০০কে বয়লারপ্লেট আউটপারফর্ম করে। মডেলটি JSDoc কমেন্ট এবং ইমপোর্ট বয়লারপ্লেটের পরিবর্তে লজিকের উপর মনোযোগ দেয়।

কম কনটেক্সট নয়েজ

কনটেক্সট নয়েজ মডেলের মনোযোগ উইন্ডোকে দুর্বল করে দেয়। এটি সরিয়ে দিলে মডেলটিকে প্রকৃত কোডের কাঠামোতে স্থির থাকতে সাহায্য করে এবং হ্যালুসিনেশনের সম্ভাবনা কমায়।

উত্তর প্রতি কম খরচ

কম ইনপুট টোকেন মানে কম API খরচ এবং আপনার রেট লিমিটের মধ্যে আরও বেশি মেসেজ। আপনি যে কোটাটি পাবেন, তা প্রতিটি AI টুলের জন্য আরও দূর যাবে।

বাস্তব-বিশ্বের উদাহরণ

পরিমাপকৃত উপর প্রকৃত কোড

প্রতিনিধিত্বমূলক স্ন্যাপশট - আপনার সংখ্যা ফাইল এবং কোডবেস অনুযায়ী ভিন্ন হবে।

React কম্পোনেন্ট 88%

৪৫০ লাইন - ম্যাপ মোড

১২,৮৪০ → ১,৫৪১
Rust মডিউল 93%

৮২০ লাইন - সিগনেচার মোড

১৮,২৯০ → ১,২৮০
Express API 91%

১,২০০ লাইন - অ্যাগ্রেসিভ মোড

৩১,৫০০ → ২,৮৩৫
Python ML Pipeline 83%

৬৮০ লাইন - এনট্রপি মোড

১৫,৪০০ → ২,৬১৮
TypeScript কনফিগারেশন 95%

৩৪০ লাইন - ডিফারেন্স মোড

৮,৭৫০ → ৪৩৭
স্বচ্ছতা

বেঞ্চমার্ক
পদ্ধতি

এই পৃষ্ঠার প্রতিটি সংখ্যা পুনরুৎপাদনযোগ্য। আমরা ঠিক কীভাবে পরিমাপ করি তা এখানে দেওয়া হলো।

Tokenizer

সমস্ত টোকেন গণনা tiktoken ব্যবহার করে এবং এতে o200k_base এনকোডিং ব্যবহৃত হয়, যা GPT-4o, Claude এবং আধুনিক LLM দ্বারা ব্যবহৃত একই টোকেনাইজার। কোনো অনুমান বা আনুমানিক হিসাব নয়।

গুণমান থ্রেশহোল্ড

কম্প্রেসড আউটপুট শুধুমাত্র তখনই ব্যবহার করা হয় যখন কম্পোজিট গুণমান স্কোর 95% এ থাকে বা তার উপরে থাকে। কম্পোজিট = AST সংরক্ষণ (৫০%) + আইডেন্টিফায়ার সংরক্ষণ (৩০%) + লাইন কভারেজ (২০%)।

স্থানীয়ভাবে পুনরুৎপাদন করুন

আপনার নিজস্ব কোডবেসে lean-ctx benchmark run src/ চালান। আউটপুটে প্রতিটি কম্প্রেশন মোডের জন্য সঠিক টোকেন গণনা, সঞ্চয় শতাংশ এবং গুণমান সংরক্ষণ স্কোর দেখানো হয়।

অস্বীকৃতি

ফাইল প্রকার, আকার, ভাষা এবং রিড মোড অনুযায়ী ফলাফল ভিন্ন হতে পারে। "৬০-৯৯%" রেঞ্জটি বাস্তব-বিশ্বের বৈচিত্র্যকে প্রতিফলিত করে: ছোট কাঠামোগত ফাইলগুলি বেশি সংকুচিত হয়, বড় অসংগঠিত ফাইলগুলি কম সংকুচিত হয়। ক্যাশে করা রি-রিডস (~১৩ টোকেন) সেরা পরিস্থিতিকে বোঝায়।

Our Own Overhead, Measured

Savings claims must be net of what LeanCTX itself injects. The fixed per-session footprint (advertised tool schemas + MCP instructions) is ~2.1K tokens, measured in an isolated environment with lean-ctx doctor overhead and enforced in CI via --gate — it can only shrink. lean-ctx gain reports savings net of this overhead.

Deterministic Self-Verify

lean-ctx benchmark dual-arm --json replays a pinned 15-turn agent session through a stateless arm and the long-lived proxy rail, prices both with real tokenizer counts and published per-model rates, and fingerprints the run with a BLAKE3 digest — anyone can reproduce the exact figures, no live model needed.

পরিমাপ করুন আপনার বাস্তব সঞ্চয়।

LeanCTX ইনস্টল করুন এবং আপনার কোডবেসে benchmark run চালান। বাস্তব সংখ্যা, আপনার ফাইল, আপনার সঞ্চয়।

lean-ctx benchmark run src/

যেকোনো কোডবেসে কাজ করে। কোনো কনফিগারেশনের প্রয়োজন নেই। সেকেন্ডের মধ্যে ফলাফল।