अमूर्त
एलएलएम के साथ उच्च प्रदर्शन बड़ी संदर्भ विंडो के बारे में नहीं है। यह प्रति टोकन सूचना एन्ट्रापी को अधिकतम करने के बारे में है। LeanCTX इंटेलिजेंस बफर है जो यह सुनिश्चित करता है कि प्रत्येक टोकन अधिकतम सिग्नल ले जाए।
2026 में, एआई कोडिंग उपकरण पूर्ण फ़ाइलें, कच्चा CLI आउटपुट, और असम्पीडित प्रोजेक्ट स्कैन को संदर्भ विंडो में भेजते हैं - हर बार। सिग्नल-टू-शोर अनुपात बेहद ख़राब है। मल्टी-स्टेप कोडिंग सत्रों में टूल-कॉल विश्लेषण के आधार पर, ~65% फ़ाइल को दोबारा पढ़ा जाता है। मॉडल बॉयलरप्लेट पर ध्यान बर्बाद करते हैं जिसमें शून्य सूचना एन्ट्रापी होती है।
यह पेपर तर्क देता है कि एक इंटेलिजेंस लेयर - डेवलपर और एलएलएम के बीच एक पारदर्शी संपीड़न परत - एआई इंजीनियरिंग स्टैक में गायब टुकड़ा है। हम प्रस्तुत करते हैं LeanCTX: एक एकल Rust बाइनरी जो मॉडल को सही ढंग से तर्क करने के लिए आवश्यक सभी जानकारी को संरक्षित करते हुए प्रति-ऑपरेशन टोकन कमी (कैश री-रीड्स) 99% तक प्राप्त करती है।
1. समस्या
हमारे पास मिलियन-टोकन संदर्भ विंडो और तर्क श्रृंखला वाले मॉडल हैं जो सैकड़ों चरणों तक फैले हुए हैं। फिर भी अधिकांश एआई कोडिंग उपकरण अभी भी प्रत्येक रीड पर पूरी फ़ाइल भेजते हैं। यह हर बार किसी द्वारा एक पेज माँगने पर पूरी लाइब्रेरी भेजने जैसा है।
परिणाम: पतला ध्यान, व्यर्थ गणना, और तर्क जो वास्तव में मायने रखने वाले तर्क नोड्स पर ध्यान खो देता है। प्रत्येक अनावश्यक टोकन ध्यान तंत्र में वास्तविक सिग्नल के साथ प्रतिस्पर्धा करता है - मॉडल के तर्क को उन कोड पथों से दूर धकेलता है जिन्हें विश्लेषण की आवश्यकता होती है।
~65%
फ़ाइल की पढ़ी गई संख्या को दोबारा पढ़ा जाता है
मल्टी-स्टेप कोडिंग सत्रों में टूल-कॉल पैटर्न के आधार पर
$20–200
एआई टूल्स पर प्रति माह
प्रत्येक AI उपकरण की कठिन सीमाएँ होती हैं। प्रति दिन 500 अनुरोध। प्रति 5 घंटे में 45 संदेश। प्रति माह 1,500 प्रीमियम अनुरोध। टोकन नया सोना हैं - लेकिन अधिकांश उपकरण उन्हें शून्य सूचना एन्ट्रापी के साथ बॉयलरप्लेट पर जला देते हैं।
समस्या मॉडल नहीं है. यह इनपुट है.
2. सूचना घनत्व
बॉयलरप्लेट से भरा 200K-टोकन संदर्भ शुद्ध सिग्नल के 10K टोकन की तुलना में खराब परिणाम उत्पन्न करता है। यह अटकलें नहीं हैं - यह ध्यान तंत्र कैसे काम करता है। शोर का प्रत्येक बाइट अर्जित तर्क क्षमता का एक बाइट है।
सूचना एन्ट्रॉपी - प्रति टोकन बिट्स में मापा जाता है - जो यह निर्धारित करता है कि मॉडल सही ढंग से तर्क करता है या नहीं। उच्च-एन्ट्रॉपी टोकन निर्णय, शाखा तर्क, API अनुबंध, त्रुटि प्रबंधन करते हैं। कम-एन्ट्रॉपी टोकन में व्हाइटस्पेस, बॉयलरप्लेट, दोहराव वाले आयात और वर्बोज़ CLI फ़ॉर्मेटिंग होती है।
10K tokens that outperform 200K.
प्रत्येक इंटेलिजेंस लेयर इंटरेक्शन का लक्ष्य।
एक सामान्य फ़ाइल को दोबारा पढ़ने पर विचार करें। मॉडल पहले से ही फ़ाइल संरचना, निर्यात, प्रकार जानता है। 13-टोकन कैश पुष्टिकरण पर्याप्त होने पर पूर्ण स्रोत कोड के 3,500 टोकन भेजना संदर्भ क्षमता की 99.6% बर्बादी है।
यही तर्क CLI आउटपुट पर भी लागू होता है। npm install फंडिंग नोटिस, डेप्रिसिएशन चेतावनियां और फ़ॉर्मेटिंग के 800+ टोकन उत्पन्न करता है। सूचना सामग्री? एक पंक्ति: पैकेज का नाम, संस्करण, निर्भरता गणना, समय।
3. दक्षता गुणक
80% औसत संपीड़न पर - कैश्ड रीड्स और शेल हुक संयुक्त के साथ प्राप्त किया जा सकता है - आप 80% लागत नहीं बचाते हैं। आप क्षमता को 5x से गुणा करें। समान बजट, समान सदस्यता, उत्पादक आउटपुट का पांच गुना।
5x
प्रभावी क्षमता
80%
कम टोकन बर्न
कैशिंग + शेल हुक के साथ विशिष्ट सत्र-व्यापी औसत
यह पैसे बचाने के बारे में नहीं है - हालाँकि यह ऐसा भी करता है। यह प्रत्येक इंटरैक्शन को महत्वपूर्ण बनाने के बारे में है। संदर्भ विंडो रीसेट के बिना लंबे सत्र। गहरा तर्क क्योंकि मॉडल शोर से विचलित नहीं होता है। कम असफल पूर्णताएँ क्योंकि प्रासंगिक कोड वास्तव में ध्यान विंडो में है।
लागत वक्र रैखिक से लघुगणकीय में स्थानांतरित हो जाता है। संदर्भ का प्रत्येक अतिरिक्त टोकन शोर होने पर घटता हुआ रिटर्न प्रदान करता है, लेकिन सिग्नल होने पर कंपाउंडिंग रिटर्न देता है।
4. वास्तुकला: खुफिया परत
LeanCTX इंटेलिजेंस लेयर को चार कंपोज़ेबल लेयर्स के रूप में लागू करता है। प्रत्येक परत स्वतंत्र रूप से काम करती है लेकिन एक साथ उपयोग करने पर मिश्रित हो जाती है।
संपीड़न परत कार्यान्वित
tree-sitter (18 भाषाओं) के माध्यम से एएसटी-आधारित हस्ताक्षर, कैश्ड फ़ाइलों के लिए डेल्टा-लोडिंग, MD5 ट्रैकिंग के साथ सत्र कैशिंग, Shannon विश्लेषण के माध्यम से एन्ट्रापी फ़िल्टरिंग। कंकाल भेजता है, मांस नहीं. दोबारा पढ़ने पर हजारों की बजाय 13 टोकन खर्च होते हैं।
सिमेंटिक राउटर कार्यान्वित
10 read modes + लाइन रेंज आपको प्रति कार्य सही निष्ठा चुनने देती है। map समझने के लिए मोड, full संपादन के लिए मोड, signatures API सतह के लिए, entropy शोर फ़िल्टरिंग के लिए।
प्रसंग प्रबंधक कार्यान्वित
ऑटो-TTL के साथ सत्र कैश (5 मिनट निष्क्रिय स्पष्ट), ctx_compress के माध्यम से संदर्भ चौकियां, fresh=true के साथ सबएजेंट अलगाव। मॉडल हमेशा नवीनतम स्थिति देखता है, पूरा इतिहास नहीं।
गुणवत्ता रेलिंग नींव
केंद्रित, उच्च-एन्ट्रॉपी इनपुट का अर्थ है तेज़ तर्क। ध्यान विंडो में कम शोर = तर्क नोड्स पर अधिक ध्यान = बेहतर कोड आउटपुट। यह अन्य सभी परतों के एक साथ काम करने का आकस्मिक लाभ है।
Security Layer
PathJail sandboxing at the resolve_path chokepoint, bounded shell capture (200KB cap), TOCTOU-safe file edits, and memory output neutralization. Defense-in-depth against prompt injection attacks.
Build Integrity
Compile-time integrity seed embedded in the binary. Hash verification detects tampering. Checked automatically by lean-ctx doctor and reported in --version output.
Reciprocal Rank Fusion
Cache eviction uses RRF to fuse incomparable signals (recency, frequency, size) without weight tuning. Standard information retrieval technique (K=60) that produces monotonically correct rankings.
आर्किटेक्चर हाइब्रिड है: एक संदर्भ सर्वर जिसमें 58 इंटेलिजेंट टूल हैं जो एडिटर बिल्ट-इन (फ़ाइल रीड्स, डायरेक्टरी लिस्टिंग, कोड सर्च, इंटेंट डिटेक्शन, प्रोजेक्ट ग्राफ़) को प्रतिस्थापित करते हैं, साथ ही एक पारदर्शी शेल हुक जो आपके वर्कफ़्लो को बदले बिना 34 श्रेणियों में 95+ CLI पैटर्न को संपीड़ित करता है।
5. प्रतिमान परिवर्तन
पुराना प्रतिमान सब कुछ भेजता है. नया प्रतिमान केवल संकेत भेजता है. जब आप इंटेलिजेंस लेयर पेश करते हैं तो यहां क्या परिवर्तन होते हैं:
| आयाम | पहले | बाद |
|---|---|---|
| डेटा भेजा गया | पूरी फ़ाइलें, कच्चे लॉग | एएसटी हस्ताक्षर, अंतर |
| फिर से पढ़ता | हर बार पूरी फ़ाइल | 13 टोकन (कैश्ड) |
| CLI आउटपुट | असम्पीडित, क्रियात्मक | पैटर्न-संपीड़ित (95+) |
| विलंब | उच्च (बड़े पेलोड) | कम (कॉम्पैक्ट पेलोड) |
| तर्क | शोर से विचलित | तर्क नोड्स पर ध्यान केंद्रित किया |
| लागत वक्र | रेखीय | लघुगणक |
| सत्र की लंबाई | तेजी से जलता है | 5x जीवनकाल |
मुख्य अंतर्दृष्टि: यह कम देखने के बारे में नहीं है। यह केवल वही देखने के बारे में है जो मायने रखता हैं। मॉडल को समान तार्किक जानकारी प्राप्त होती है - फ़ंक्शन हस्ताक्षर, निर्भरता, परिवर्तित लाइनें, त्रुटि संदेश - बिना किसी शोर के जो इसके तर्क को कमजोर करता है।
6. डिज़ाइन सिद्धांत
LeanCTX में प्रत्येक डिज़ाइन निर्णय को पांच सिद्धांत निर्देशित करते हैं:
दोषरहित संपीड़न, हानिपूर्ण काट-छाँट नहीं
प्रत्येक संपीड़न उस जानकारी को सुरक्षित रखता है जिसकी मॉडल को आवश्यकता होती है। एएसटी हस्ताक्षर फ़ंक्शन अनुबंधों को बरकरार रखते हैं। डिफ मोड वास्तव में दिखाता है कि क्या बदला है। फ़िल्टर कभी भी कुछ भी महत्वपूर्ण नहीं छोड़ता - प्रत्येक संपीड़न शब्दार्थ स्तर पर स्पष्ट रूप से उलट जाता है।
जादू पर पारदर्शिता
प्रत्येक उपकरण टोकन गणना की रिपोर्ट करता है। ctx_benchmark सटीक बचत को tiktoken (o200k_base) से मापता है। ctx_metrics संचयी आंकड़ों को ट्रैक करता है। lean-ctx gain USD लागत अनुमान के साथ जीवन भर की बचत दिखाता है। आप हमेशा जानते हैं कि क्या हो रहा है।
शून्य बादल निर्भरता
एकल Rust बाइनरी। कोई API कुंजियाँ नहीं, कोई खाता नहीं, कोई टेलीमेट्री नहीं, कोई डेटा संग्रह नहीं। आपका कोड आपकी मशीन को कभी नहीं छोड़ता. Apache-2.0 लाइसेंस प्राप्त, पूरी तरह से खुला स्रोत। देशी बायनेरिज़ के साथ macOS, Linux और Windows पर चलता है।
रचनायोग्य, अखंड नहीं
58 बुद्धिमान उपकरण जिनमें से प्रत्येक एक कार्य अच्छी तरह से करता है। फ़ाइलों के लिए ctx_read, CLI के लिए ctx_shell, चौकियों के लिए ctx_compress का उपयोग करें। अपने वर्कफ़्लो के लिए मिश्रण और मिलान करें। Cursor, GitHub Copilot, Claude Code, Windsurf, Crush, Codex, और भी बहुत कुछ के साथ काम करता है।
मापा गया, अनुमान नहीं लगाया गया
सभी टोकन गणनाएं tiktoken का उपयोग o200k_base एन्कोडिंग के साथ करती हैं - वही टोकनाइज़र जो मॉडल उपयोग करते हैं। कोई अनुमान नहीं, कोई अनुमान नहीं। USD लगातार जीवनकाल के आँकड़ों के साथ लागत ट्रैकिंग। ctx_analyze और ctx_benchmark के माध्यम से डेटा-संचालित मोड चयन।
7. निष्कर्ष
टोकन सीमाएं, अनुरोध कोटा और संदर्भ विंडो आकार 2026 में एआई कोडिंग परिदृश्य को परिभाषित करते हैं। आगे का रास्ता बड़ी संदर्भ विंडो नहीं है - यह प्रत्येक टोकन को अधिकतम जानकारी एन्ट्रापी ले जाने वाला बना रहा है।
LeanCTX मानव विचार के लिए एक दोषरहित मिनीफ़ायर है। इससे मॉडल कम नहीं दिखता. यह मॉडल को केवल वही देखने में सक्षम बनाता है जो मायने रखता है: फ़ंक्शन हस्ताक्षर, बदली हुई लाइनें, त्रुटि कोड, निर्भरता ग्राफ़ - तर्क को कमजोर करने वाले शोर से मुक्त।
शुद्ध सिग्नल के 10K टोकन। यही एआई इंजीनियरिंग का भविष्य है।
एक Rust बाइनरी। शून्य बादल निर्भरता. Apache-2.0 लाइसेंस प्राप्त। 60 सेकंड में आरंभ करें.