Benchmark

भरोसा न करें।
सत्यापित करें।

किसी भी प्रोजेक्ट में lean-ctx benchmark run चलाएं। वास्तविक टोकन गणनाएँ। वास्तविक सटीकता मेट्रिक्स। tiktoken (o200k_base) से मापा गया।

यह ईमानदार कैसे रहता है

मापा गया। सत्यापित।

Benchmark स्थानीय रूप से चलता है, सटीक टोकनाइज़र के साथ टोकन गिनता है, और उन संपीड़न को अस्वीकार करता है जो गुणवत्ता स्तर से नीचे गिर जाते हैं।

सटीक टोकन गणना

आधुनिक LLMs द्वारा उपयोग किए जाने वाले समान टोकनाइज़र के साथ गिनती - कोई अनुमान नहीं, कोई अटकलें नहीं।

tiktoken o200k_base

गुणवत्ता गार्ड

AST संरक्षण, पहचानकर्ताओं और लाइन संरचना का स्कोर करता है। विफल आउटपुट को स्वचालित रूप से ब्लॉक किया जाता है।

थ्रेशोल्ड: Q ≥ 95% · ρ ≥ 15%

पुनरुत्पादनीय

आपके रिपॉ पर चलता है। समान इनपुट → समान संख्याएँ। CI और प्रतिगमन के लिए बढ़िया।

ऑफलाइन · नियतात्मक
अंतर देखें

पहले & बाद में

वही फ़ाइल। वही जानकारी। नाटकीय रूप से कम टोकन।

LeanCTX के बिना
// src/auth.ts · mode=full
import { jwt, verify, sign } from 'jsonwebtoken';
import { bcrypt } from 'bcryptjs';
3,517 टोकन
LeanCTX के साथ (map mode)
// src/auth.ts · mode=map
exports: AuthService, validateToken, …
deps: jsonwebtoken, bcryptjs, ioredis
412 टोकन

88% कम टोकन

सिद्ध बचत के तीन चरण

पॉइंट करें। मापें। सत्यापित करें।

01

किसी भी फ़ाइल या निर्देशिका पर पॉइंट करें

एकल फ़ाइल, एक निर्देशिका, या एक ग्लोब पैटर्न पास करें। बेंचमार्क इंजन सब कुछ प्रोसेस करता है जो उसे मिलता है।

lean-ctx benchmark run src/
02

सटीक टोकन माप

o200k_base एन्कोडिंग के साथ tiktoken का उपयोग करता है (GPT-4o, Claude और आधुनिक LLMs के समान)। कोई अनुमान नहीं - वास्तविक टोकन गणना।

tiktoken o200k_base
03

मोड के अनुसार बचत

हर कम्प्रेशन मोड के लिए सटीकता स्कोर और बचत प्रतिशत प्राप्त करें। हर उपयोग के मामले के लिए सही मोड चुनें।

modes: 10
वास्तविक आउटपुट

Benchmark कार्य में

अपने प्रोजेक्ट में किसी भी फ़ाइल पर बेंचमार्क चलाएं। आउटपुट प्रत्येक कम्प्रेशन मोड के लिए सटीक टोकन गणना, बचत प्रतिशत और गुणवत्ता संरक्षण स्कोर दिखाता है।

प्रति-फ़ाइल ब्रेकडाउन - प्रत्येक मोड से पहले और बाद के टोकन

गुणवत्ता स्कोर - AST, पहचानकर्ता (identifiers), और कोड लाइनें संरक्षित

समग्र योग - सर्वश्रेष्ठ मोड की सिफारिश के साथ निर्देशिका-व्यापी बचत

lean-ctx benchmark run

$ lean-ctx benchmark run src/auth.ts

◆ lean-ctx Benchmark

────────────────────────────────────────

src/auth.ts (123 lines, 3,517 tokens)

────────────────────────────────────────

Mode Tokens Saved Rate

full 3,517 0 0%

map 412 3,105 88%

signatures 252 3,265 93%

diff 187 3,330 95%

aggressive 298 3,219 92%

entropy 312 3,205 91%

────────────────────────────────────────

Quality: AST 98% | Idents 97% | Lines 96%

Encoding: tiktoken o200k_base | Time: 12ms

प्रत्येक कार्य के लिए सही मोड चुनें

पठन मोड तुलना किया गया

full 0%

फ़ाइलें जिन्हें आप संपादित करेंगे

सब कुछ - पुन: पढ़ने के लिए पूर्ण सामग्री ~13 टोकन तक कैश की जाती है

map 70-90%

केवल संदर्भ फ़ाइलें

कोड: deps + exports + सिग्नेचर। गैर-कोड: संरचित आउटलाइन (Markdown हेडिंग, JSON/YAML/TOML कुंजियाँ, लॉक सारांश)

signatures 55–93%

API सतह अन्वेषण

केवल फंक्शन/क्लास/टाइप सिग्नेचर

diff 80–95%

संशोधन के बाद

मामूली आसपास के संदर्भ के साथ बदली हुई लाइनें

aggressive 75–90%

बड़ा बॉयलरप्लेट फ़ाइलें

संरचना और तर्क, सिंटैक्स हटा दिया गया

entropy 70–83%

शोरगुल वाली फ़ाइलें (JSDoc, टिप्पणियाँ)

केवल उच्च-एन्ट्रॉपी लाइनें (Shannon + Jaccard फ़िल्टरिंग)

task 65–85%

कार्य-केंद्रित पठन (उदाहरण: 'auth bug ठीक करें')

कार्य-प्रासंगिक कोड + नॉलेज ग्राफ के माध्यम से निर्भरता संदर्भ + IB फ़िल्टर

auto 70–99%

डिफ़ॉल्ट - LeanCTX स्वचालित रूप से सर्वश्रेष्ठ मोड चुनता है

फ़ाइल के अनुसार अनुकूलित: प्रकार, आकार बकेट, नवीनता, कार्य प्रासंगिकता

reference 80–95%

API दस्तावेज़ और संदर्भ लुकअप

पब्लिक API, प्रकार, सिग्नेचर, docstrings

lines:N-M 90–99%

एक विशिष्ट लाइन रेंज पढ़ना - सर्जिकल सटीकता

अनुरोधित सटीक लाइनें, साथ ही न्यूनतम आसपास का संदर्भ

LeanCTX का ctx_smart_read फ़ाइल प्रकार, आकार और संदर्भ के आधार पर बेयसियन भविष्यवाणी का उपयोग करके स्वचालित रूप से इष्टतम मोड चुनता है।

चरण

एडवांस्ड कम्प्रेशन पाइपलाइन

मोड चयन से परे, LeanCTX एक मल्टी-स्टेज ऑप्टिमाइजेशन पाइपलाइन लागू करता है जो फ़ाइल प्रकार, सेशन संदर्भ और कार्य इरादे के अनुकूल होती है:

Thompson Sampling 5–15%

मल्टी-आर्म्ड बैंडिट एक्सप्लोरेशन (एक्सप्लोर बनाम एक्सप्लॉइट) का उपयोग करके प्रति फ़ाइल प्रकार इष्टतम कम्प्रेशन थ्रेशोल्ड सीखता है।

AST Pruning 40–70%

Tree-sitter के माध्यम से भाषा-जागरूक प्रूनिंग - API सिग्नेचर को संरक्षित करते हुए फंक्शन बॉडी, कमेंट और बॉयलरप्लेट हटाता है।

IDF Dedup 10–30%

इनवर्स डॉक्यूमेंट फ़्रीक्वेंसी का उपयोग करके क्रॉस-फ़ाइल डीडुप्लीकेशन - सेशन में पहले से देखे गए कंटेंट को समाप्त करता है।

IB Filter 15–25%

इंफॉर्मेशन बॉटलनेक सिद्धांत का उपयोग करके कार्य-जागरूक फ़िल्टरिंग - केवल वर्तमान कार्य के लिए प्रासंगिक सामग्री रखता है।

Verbatim Compaction 5–20%

दोहराए जाने वाले स्ट्रक्चर्स (इम्पोर्ट्स, लॉग लाइनें, बॉयलरप्लेट) को गिने गए सारांशों में संकुचित करता है।

ये चरण संचयी हैं - क्रम में लागू होते हैं, वे 1000-लाइन वाली फ़ाइल को सभी कार्य-प्रासंगिक जानकारी को संरक्षित करते हुए 50 टोकन से कम तक कम कर सकते हैं। पाइपलाइन पूरी तरह स्वचालित है और इसके लिए किसी कॉन्फ़िगरेशन की आवश्यकता नहीं होती है।

सत्यापित संरक्षण

संपीड़न गुणवत्ता

गुणवत्ता सीमा (समग्र)

95%

संपीड़ित आउटपुट का उपयोग केवल तभी किया जाता है जब समग्र गुणवत्ता स्कोर 95% या उससे ऊपर बना रहता है।

न्यूनतम घनत्व

15%

न्यूनतम सिग्नल घनत्व 15% (ρ) के साथ कम-सूचना वाले आउटपुट को ब्लॉक करता है।

भारण (Weighting)

50/30/20

Composite = AST 50% + identifiers 30% + lines 20% - इसलिए संरचना सबसे महत्वपूर्ण है।

सूचना घनत्व सिद्धांत

कम टोकन = क्यों उच्च सिग्नल घनत्व

LLMs का एक निश्चित ध्यान बजट होता है। संदर्भ विंडो में हर टोकन ध्यान भार के लिए प्रतिस्पर्धा करता है। बॉयलरप्लेट से विंडो भरना मतलब उस कोड पर कम ध्यान कि मायने रखता है।

मॉडल तक पहुंचने से पहले शोर को हटाकर, LeanCTX हर अनुरोध की सूचना घनत्व बढ़ाता है। परिणाम: उच्च सिग्नल-टू-नॉइज़ अनुपात, कम संदर्भ विरलन, और मॉडल उपयोगी संदर्भ सीमाओं के भीतर रहता है।

उच्च सिग्नल-टू-नॉइज़ अनुपात

10K टोकन का केंद्रित संदर्भ 200K बॉयलरप्लेट से बेहतर प्रदर्शन करता है। मॉडल JSDoc टिप्पणियों और आयात बॉयलरप्लेट के बजाय तर्क पर अपना ध्यान खर्च करता है।

कम संदर्भ शोर

संदर्भ शोर मॉडल के ध्यान विंडो को पतला कर देता है। इसे हटाने से मॉडल को वास्तविक कोड संरचना में ग्राउंडेड रहने में मदद मिलती है और मतिभ्रम की संभावना कम होती है।

उत्तर प्रति कम लागत

कम इनपुट टोकन का मतलब है कम API लागत और आपकी दर सीमा के भीतर अधिक संदेश। आप जो भी कोटा उपयोग करते हैं, वह हर AI टूल के लिए आगे जाता है।

वास्तविक दुनिया के उदाहरण

पर मापा गया वास्तविक कोड

प्रतिनिधि स्नैपशॉट - आपके नंबर फ़ाइल और कोडबेस के अनुसार भिन्न होंगे।

React कंपोनेंट 88%

450 लाइनें - मैप मोड

12,840 → 1,541
Rust मॉड्यूल 93%

820 लाइनें - सिग्नेचर मोड

18,290 → 1,280
Express API 91%

1,200 लाइनें - आक्रामक मोड

31,500 → 2,835
Python ML Pipeline 83%

680 लाइनें - एन्ट्रॉपी मोड

15,400 → 2,618
TypeScript कॉन्फ़िग 95%

340 लाइनें - diff मोड

8,750 → 437
पारदर्शिता

बेंचमार्क
कार्यप्रणाली

इस पेज पर हर संख्या पुनरुत्पादित (reproducible) है। यहाँ बताया गया है कि हम मापते कैसे हैं।

Tokenizer

सभी टोकन गणनाएँ tiktoken का उपयोग करती हैं जिसमें o200k_base एन्कोडिंग होती है, यह वही टोकेनाइज़र है जिसका उपयोग GPT-4o, Claude और आधुनिक LLMs करते हैं। कोई अनुमान या सन्निकटन नहीं।

गुणवत्ता सीमा (Quality Threshold)

संपीड़ित आउटपुट का उपयोग केवल तभी किया जाता है जब समग्र गुणवत्ता स्कोर 95% पर या उससे ऊपर बना रहता है। समग्र = AST संरक्षण (50%) + पहचानकर्ता संरक्षण (30%) + लाइन कवरेज (20%)।

स्थानीय रूप से पुनरुत्पादित करें

अपने स्वयं के कोडबेस पर lean-ctx benchmark run src/ चलाएँ। आउटपुट प्रत्येक संपीड़न मोड, बचत प्रतिशत और गुणवत्ता संरक्षण स्कोर के लिए सटीक टोकन गणना दिखाता है।

अस्वीकरण (Disclaimer)

परिणाम फ़ाइल प्रकार, आकार, भाषा और पढ़ने के मोड के अनुसार भिन्न होते हैं। "60-99%" रेंज वास्तविक दुनिया के विचरण को दर्शाती है: छोटे संरचित फ़ाइलें अधिक संपीड़ित होती हैं, बड़े असंरचित फ़ाइलें कम संपीड़ित होती हैं। कैश किए गए पुन: पठन (~13 टोकन) सबसे अच्छा मामला दर्शाते हैं।

Our Own Overhead, Measured

Savings claims must be net of what LeanCTX itself injects. The fixed per-session footprint (advertised tool schemas + MCP instructions) is ~2.1K tokens, measured in an isolated environment with lean-ctx doctor overhead and enforced in CI via --gate — it can only shrink. lean-ctx gain reports savings net of this overhead.

Deterministic Self-Verify

lean-ctx benchmark dual-arm --json replays a pinned 15-turn agent session through a stateless arm and the long-lived proxy rail, prices both with real tokenizer counts and published per-model rates, and fingerprints the run with a BLAKE3 digest — anyone can reproduce the exact figures, no live model needed.

मापें आपका वास्तविक बचत।

LeanCTX इंस्टॉल करें और अपने कोडबेस पर benchmark run चलाएं। वास्तविक संख्याएँ, आपकी फाइलें, आपकी बचत।

lean-ctx benchmark run src/

किसी भी कोडबेस पर काम करता है। कोई कॉन्फ़िगरेशन की आवश्यकता नहीं। सेकंडों में परिणाम।