সারসংক্ষেপ
LLM-এর সাথে উচ্চ কর্মক্ষমতা বড় কনটেক্সট উইন্ডো সম্পর্কে নয়। এটি প্রতি token-এ তথ্য এনট্রপি সর্বাধিক করা সম্পর্কে। LeanCTX হলো সেই ইন্টেলিজেন্স বাফার যা নিশ্চিত করে যে প্রতিটি token সর্বোচ্চ সিগন্যাল বহন করে।
২০২৬ সালে, AI কোডিং টুল সম্পূর্ণ ফাইল, কাঁচা CLI আউটপুট এবং অসংকুচিত প্রজেক্ট স্ক্যান কনটেক্সট উইন্ডোতে পাঠায় - প্রতিবার। সিগন্যাল-টু-নয়েজ অনুপাত অত্যন্ত খারাপ। মাল্টি-স্টেপ কোডিং সেশনে টুল-কল বিশ্লেষণের ভিত্তিতে, ~৬৫% ফাইল রিড হলো পুনঃপড়া। মডেল শূন্য তথ্য এনট্রপি বহন করে এমন বয়লারপ্লেটে অ্যাটেনশন নষ্ট করে।
এই পেপার যুক্তি দেয় যে একটি ইন্টেলিজেন্স লেয়ার - ডেভেলপার এবং LLM-এর মধ্যে একটি স্বচ্ছ কম্প্রেশন লেয়ার - হলো AI ইঞ্জিনিয়ারিং স্ট্যাকের অনুপস্থিত অংশ। আমরা LeanCTX উপস্থাপন করছি: একটি একক Rust বাইনারি যা প্রতি-অপারেশনে ৯৯% পর্যন্ত token হ্রাস (cache পুনঃপড়া) অর্জন করে এবং মডেলের সঠিকভাবে রিজন করার জন্য প্রয়োজনীয় সমস্ত তথ্য সংরক্ষণ করে।
১. সমস্যা
আমাদের কাছে মিলিয়ন-token কনটেক্সট উইন্ডো এবং শত শত ধাপে বিস্তৃত রিজনিং চেইনের মডেল রয়েছে। তবুও বেশিরভাগ AI কোডিং টুল এখনও প্রতিটি রিডে পুরো ফাইল পাঠায়। এটি এমন যেন কেউ একটি পাতা চাইলে পুরো লাইব্রেরি পাঠিয়ে দেওয়া হচ্ছে।
ফলাফল: মনোযোগ দুর্বল হয়, কম্পিউট অপচয় হয়, এবং রিজনিং যে লজিক নোডগুলো আসলেই গুরুত্বপূর্ণ সেগুলো থেকে ফোকাস হারায়। প্রতিটি অপ্রয়োজনীয় token অ্যাটেনশন মেকানিজমে প্রকৃত সিগন্যালের সাথে প্রতিযোগিতা করে - মডেলের রিজনিংকে যে কোড পাথগুলোর বিশ্লেষণ প্রয়োজন সেগুলো থেকে সরিয়ে দেয়।
~65%
ফাইল রিডের মধ্যে রি-রিড
মাল্টি-স্টেপ কোডিং সেশনে টুল-কল প্যাটার্নের ভিত্তিতে
$20–200
প্রতি মাসে AI টুলে
প্রতিটি AI টুলের কঠিন সীমাবদ্ধতা আছে। দিনে 500 রিকোয়েস্ট। 5 ঘণ্টায় 45টি বার্তা। মাসে 1,500 প্রিমিয়াম রিকোয়েস্ট। Token হলো নতুন সোনা - কিন্তু বেশিরভাগ টুল শূন্য তথ্য এনট্রপি সহ বয়লারপ্লেটে সেগুলো পুড়িয়ে ফেলে।
সমস্যা মডেলে নয়। সমস্যা ইনপুটে।
২. তথ্য ঘনত্ব
বয়লারপ্লেটে ভরা 200K-token কনটেক্সট 10K token বিশুদ্ধ সিগন্যালের চেয়ে খারাপ ফলাফল দেয়। এটি অনুমান নয় - অ্যাটেনশন মেকানিজম এভাবেই কাজ করে। প্রতিটি বাইট নয়েজ বাদ দেওয়া মানে এক বাইট রিজনিং ক্ষমতা অর্জন।
তথ্য এনট্রপি - প্রতি token-এ বিটে পরিমাপিত - মডেল সঠিকভাবে রিজন করবে কিনা তা নির্ধারণ করে। উচ্চ-এনট্রপি token সিদ্ধান্ত, শাখা যুক্তি, API চুক্তি, ত্রুটি পরিচালনা বহন করে। নিম্ন-এনট্রপি token হোয়াইটস্পেস, বয়লারপ্লেট, পুনরাবৃত্তিমূলক ইম্পোর্ট এবং ভার্বোস CLI ফরম্যাটিং বহন করে।
10K tokens that outperform 200K.
প্রতিটি ইন্টেলিজেন্স লেয়ার ইন্টারঅ্যাকশনের লক্ষ্য।
একটি সাধারণ ফাইল পুনঃপড়া বিবেচনা করুন। মডেল ইতিমধ্যে ফাইল স্ট্রাকচার, এক্সপোর্ট, টাইপ জানে। একটি 13-token cache নিশ্চিতকরণ যথেষ্ট হলে 3,500 token সম্পূর্ণ সোর্স কোড পাঠানো হলো কনটেক্সট ক্ষমতার ৯৯.৬% অপচয়।
একই যুক্তি CLI আউটপুটের ক্ষেত্রে প্রযোজ্য। npm install ৮০০+ token ফান্ডিং নোটিশ, ডেপ্রিকেশন সতর্কতা এবং ফরম্যাটিং তৈরি করে। তথ্যের বিষয়বস্তু? একটি লাইন: প্যাকেজ নাম, সংস্করণ, ডিপেন্ডেন্সি সংখ্যা, সময়।
৩. দক্ষতা গুণক
৮০% গড় কম্প্রেশনে - ক্যাশড রিড এবং শেল হুক মিলিয়ে অর্জনযোগ্য - আপনি ৮০% খরচ সাশ্রয় করেন না। আপনি ক্ষমতা ৫ গুণ বাড়ান। একই বাজেট, একই সাবস্ক্রিপশন, পাঁচ গুণ উৎপাদনশীল আউটপুট।
5x
কার্যকর ক্ষমতা
80%
কম token বার্ন
ক্যাশিং + শেল হুক সহ সাধারণ সেশন-ব্যাপী গড়
এটি অর্থ সাশ্রয়ের বিষয় নয় - যদিও এটিও করে। এটি প্রতিটি ইন্টারঅ্যাকশনকে অর্থবহ করার বিষয়। কনটেক্সট উইন্ডো রিসেট ছাড়া দীর্ঘতর সেশন। গভীরতর রিজনিং কারণ মডেল নয়েজে বিভ্রান্ত হয় না। কম ব্যর্থ কম্প্লিশন কারণ প্রাসঙ্গিক কোড আসলে অ্যাটেনশন উইন্ডোতে আছে।
খরচের রেখা রৈখিক থেকে লগারিদমিক-এ স্থানান্তরিত হয়। কনটেক্সটের প্রতিটি অতিরিক্ত token নয়েজ হলে ক্রমহ্রাসমান রিটার্ন দেয়, কিন্তু সিগন্যাল হলে ক্রমবর্ধমান রিটার্ন দেয়।
৪. আর্কিটেকচার: ইন্টেলিজেন্স লেয়ার
LeanCTX ইন্টেলিজেন্স লেয়ারকে চারটি সংযোজনযোগ্য লেয়ার হিসেবে বাস্তবায়ন করে। প্রতিটি লেয়ার স্বতন্ত্রভাবে কাজ করে কিন্তু একসাথে ব্যবহারে প্রভাব বহুগুণ হয়।
কম্প্রেশন লেয়ার বাস্তবায়িত
tree-sitter-এর মাধ্যমে AST-ভিত্তিক সিগনেচার (১৮টি ভাষা), ক্যাশড ফাইলের জন্য ডেল্টা-লোডিং, MD5 ট্র্যাকিং সহ সেশন ক্যাশিং, Shannon বিশ্লেষণের মাধ্যমে এনট্রপি ফিল্টারিং। কাঠামো পাঠায়, সম্পূর্ণ বিষয়বস্তু নয়। পুনঃপড়ায় হাজার হাজারের পরিবর্তে 13 token খরচ হয়।
সিম্যান্টিক রাউটার বাস্তবায়িত
10 read modes + লাইন রেঞ্জ আপনাকে প্রতি টাস্কে সঠিক ফিডেলিটি বেছে নিতে দেয়। বোঝার জন্য map মোড, সম্পাদনার জন্য full মোড, API সারফেসের জন্য signatures, নয়েজ ফিল্টারিংয়ের জন্য entropy।
কনটেক্সট ম্যানেজার বাস্তবায়িত
অটো-TTL সহ সেশন cache (৫ মিনিট নিষ্ক্রিয়তায় পরিষ্কার), ctx_compress-এর মাধ্যমে কনটেক্সট চেকপয়েন্ট, fresh=true দিয়ে সাবএজেন্ট আইসোলেশন। মডেল সর্বদা সর্বশেষ অবস্থা দেখে, সম্পূর্ণ ইতিহাস নয়।
গুণমান সুরক্ষা ভিত্তি
কেন্দ্রীভূত, উচ্চ-এনট্রপি ইনপুট মানে তীক্ষ্ণ রিজনিং। অ্যাটেনশন উইন্ডোতে কম নয়েজ = লজিক নোডে বেশি অ্যাটেনশন = উন্নত কোড আউটপুট। অন্য সমস্ত লেয়ার একসাথে কাজ করার ফলে এটি সৃষ্ট সুবিধা।
Security Layer
PathJail sandboxing at the resolve_path chokepoint, bounded shell capture (200KB cap), TOCTOU-safe file edits, and memory output neutralization. Defense-in-depth against prompt injection attacks.
Build Integrity
Compile-time integrity seed embedded in the binary. Hash verification detects tampering. Checked automatically by lean-ctx doctor and reported in --version output.
Reciprocal Rank Fusion
Cache eviction uses RRF to fuse incomparable signals (recency, frequency, size) without weight tuning. Standard information retrieval technique (K=60) that produces monotonically correct rankings.
আর্কিটেকচারটি হাইব্রিড: 58টি বুদ্ধিমান টুল সহ একটি কনটেক্সট সার্ভার যা এডিটর বিল্ট-ইন (ফাইল রিড, ডিরেক্টরি তালিকা, কোড সার্চ, ইন্টেন্ট শনাক্তকরণ, প্রজেক্ট গ্রাফ) প্রতিস্থাপন করে, এবং একটি স্বচ্ছ শেল হুক যা আপনার ওয়ার্কফ্লো পরিবর্তন না করে ৩৪টি বিভাগে ৯০+ CLI প্যাটার্ন কম্প্রেস করে।
৫. প্যারাডাইম শিফট
পুরানো প্যারাডাইম সবকিছু পাঠায়। নতুন প্যারাডাইম শুধুমাত্র সিগন্যাল পাঠায়। একটি Intelligence Layer প্রবর্তন করলে যা পরিবর্তন হয়:
| মাত্রা | আগে | পরে |
|---|---|---|
| প্রেরিত ডেটা | পুরো ফাইল, কাঁচা লগ | AST সিগনেচার, ডিফ |
| রি-রিড | প্রতিবার পুরো ফাইল | 13 token (cached) |
| CLI আউটপুট | আনকম্প্রেসড, ভার্বোজ | প্যাটার্ন-কম্প্রেসড (95+) |
| লেটেন্সি | বেশি (বড় পেলোড) | কম (কমপ্যাক্ট পেলোড) |
| রিজনিং | নয়েজে বিভ্রান্ত | লজিক নোডে ফোকাসড |
| খরচ বক্ররেখা | লিনিয়ার | লগারিদমিক |
| সেশন দৈর্ঘ্য | দ্রুত শেষ হয় | 5x আয়ুষ্কাল |
মূল অন্তর্দৃষ্টি: এটি কম দেখার বিষয় নয়। এটি শুধুমাত্র যা গুরুত্বপূর্ণ তা দেখার বিষয়। মডেল একই লজিক্যাল তথ্য পায় - ফাংশন সিগনেচার, ডিপেন্ডেন্সি, পরিবর্তিত লাইন, এরর মেসেজ - সেই নয়েজ ছাড়া যা তার রিজনিংকে দুর্বল করে।
৬. ডিজাইন নীতিমালা
পাঁচটি নীতি LeanCTX-এর প্রতিটি ডিজাইন সিদ্ধান্তকে পরিচালিত করে:
লসলেস কম্প্রেশন, লসি ট্রাংকেশন নয়
প্রতিটি কম্প্রেশন মডেলের প্রয়োজনীয় তথ্য সংরক্ষণ করে। AST সিগনেচার ফাংশন চুক্তি অক্ষত রাখে। ডিফ মোড সঠিকভাবে কী পরিবর্তন হয়েছে দেখায়। ফিল্টার কখনো গুরুত্বপূর্ণ কিছু বাদ দেয় না - প্রতিটি কম্প্রেশন সিম্যান্টিক স্তরে পরিষ্কারভাবে উল্টানো যায়।
জাদু নয়, স্বচ্ছতা
প্রতিটি টুল token সংখ্যা রিপোর্ট করে। ctx_benchmark tiktoken (o200k_base) দিয়ে সঠিক সাশ্রয় পরিমাপ করে। ctx_metrics সংচিত পরিসংখ্যান ট্র্যাক করে। lean-ctx gain USD খরচ অনুমান সহ আজীবনের সাশ্রয় দেখায়। আপনি সর্বদা জানেন কী হচ্ছে।
শূন্য ক্লাউড নির্ভরতা
একক Rust বাইনারি। কোনো API কী নেই, কোনো অ্যাকাউন্ট নেই, কোনো টেলিমেট্রি নেই, কোনো ডেটা সংগ্রহ নেই। আপনার কোড কখনো আপনার মেশিন ছেড়ে যায় না। Apache-2.0 লাইসেন্সযুক্ত, সম্পূর্ণ ওপেন সোর্স। macOS, Linux এবং Windows-এ নেটিভ বাইনারি সহ চলে।
সংযোজনযোগ্য, একচেটিয়া নয়
58টি বুদ্ধিমান টুল যার প্রতিটি একটি কাজ ভালোভাবে করে। ফাইলের জন্য ctx_read, CLI-এর জন্য ctx_shell, চেকপয়েন্টের জন্য ctx_compress ব্যবহার করুন। আপনার ওয়ার্কফ্লোর জন্য মিশিয়ে ব্যবহার করুন। Cursor, GitHub Copilot, Claude Code, Windsurf, Crush, Codex এবং আরও অনেকের সাথে কাজ করে।
পরিমাপিত, অনুমানিত নয়
সমস্ত token গণনা o200k_base এনকোডিং সহ tiktoken ব্যবহার করে - মডেলগুলো যে একই টোকেনাইজার ব্যবহার করে। কোনো আনুমানিক হিসাব নেই, কোনো হিউরিস্টিক নেই। পার্সিস্টেন্ট আজীবনের পরিসংখ্যান সহ USD খরচ ট্র্যাকিং। ctx_analyze এবং ctx_benchmark-এর মাধ্যমে ডেটা-চালিত মোড নির্বাচন।
৭. উপসংহার
Token সীমা, রিকোয়েস্ট কোটা এবং কনটেক্সট উইন্ডো আকার ২০২৬ সালে AI কোডিং পরিদৃশ্য নির্ধারণ করে। এগিয়ে যাওয়ার পথ বড় কনটেক্সট উইন্ডো নয় - এটি প্রতিটি token-কে সর্বোচ্চ তথ্য এনট্রপি বহন করানো।
LeanCTX হলো মানব চিন্তার একটি লসলেস মিনিফায়ার। এটি মডেলকে কম দেখায় না। এটি মডেলকে শুধু গুরুত্বপূর্ণ বিষয় দেখায়: ফাংশন সিগনেচার, পরিবর্তিত লাইন, এরর কোড, ডিপেন্ডেন্সি গ্রাফ - রিজনিং দুর্বল করে এমন নয়েজ বাদ দিয়ে।
10K token বিশুদ্ধ সিগন্যাল। এটাই AI ইঞ্জিনিয়ারিংয়ের ভবিষ্যৎ।
একটি Rust বাইনারি। শূন্য ক্লাউড নির্ভরতা। Apache-2.0 লাইসেন্সযুক্ত। ৬০ সেকেন্ডে শুরু করুন।