لا تثق.
تحقق.
شغّل lean-ctx benchmark run في أي مشروع. أعداد رموز حقيقية. مقاييس دقة حقيقية. مقاسة بـ tiktoken (o200k_base).
مقاس. متحقق.
يعمل الـ benchmark محليًا، ويعدّ الـ tokens بالـ tokenizer الدقيق، ويرفض الضغط إذا انخفضت الجودة تحت العتبة.
عدّ tokens بدقة
يستخدم نفس الـ tokenizer المستخدم في LLM الحديثة - بلا تقديرات.
tiktoken o200k_base حارس الجودة
يقيّم حفظ AST والمعرّفات وبنية الأسطر. المخرجات غير الكافية تُحظر تلقائيًا.
العتبة: Q ≥ 95% · ρ ≥ 15% قابل لإعادة الإنتاج
يعمل على مستودعك. نفس المدخلات → نفس الأرقام. ممتاز لـ CI واكتشاف الانحدارات.
offline · حتمي Before & After
The same file. The same information. Dramatically fewer tokens.
88% fewer tokens
كيف يعمل
وجّه نحو أي ملف أو مجلد
مرر ملفاً واحداً أو مجلداً أو نمط glob. محرك المعيار يعالج كل ما يجده.
lean-ctx benchmark run src/ قياس رموز دقيق
يستخدم tiktoken مع ترميز o200k_base (نفس GPT-4o وClaude ونماذج اللغة الحديثة). بدون تقديرات - أعداد رموز حقيقية.
tiktoken o200k_base التوفير لكل وضع
احصل على درجات الدقة ونسب التوفير لكل وضع ضغط. اختر الوضع المناسب لكل حالة استخدام.
modes: 10 المعيار أثناء العمل
شغّل المعيار على أي ملف في مشروعك. المخرجات تعرض أعداد الرموز الدقيقة لكل وضع ضغط ونسبة التوفير ودرجات الحفاظ على الجودة.
تفصيل لكل ملف - الرموز قبل وبعد كل وضع
درجات الجودة - الحفاظ على AST والمعرّفات وسطور الكود
الإجماليات المجمعة - التوفيرات على مستوى المجلد مع توصية بأفضل وضع
$ lean-ctx benchmark run src/auth.ts
◆ lean-ctx Benchmark
────────────────────────────────────────
src/auth.ts (123 lines, 3,517 tokens)
────────────────────────────────────────
Mode Tokens Saved Rate
full 3,517 0 0%
map 412 3,105 88%
signatures 252 3,265 93%
diff 187 3,330 95%
aggressive 298 3,219 92%
entropy 312 3,205 91%
────────────────────────────────────────
Quality: AST 98% | Idents 97% | Lines 96%
Encoding: tiktoken o200k_base | Time: 12ms
أوضاع القراءة مقارنة
full 0% ملفات ستحررها
كل شيء - المحتوى الكامل مخزن لإعادة القراءة بـ ~13 رمزاً
map 70–88% ملفات السياق فقط
رسم الاعتماديات والتصديرات والتوقيعات الرئيسية
signatures 55–93% استكشاف واجهة API
توقيعات الدوال/الفئات/الأنواع فقط
diff 80–95% بعد التحرير
السطور المتغيرة مع أدنى سياق محيط
aggressive 75–90% ملفات نموذجية كبيرة
البنية والمنطق، النحو مُزال
entropy 70–83% ملفات مزعجة (JSDoc، تعليقات)
سطور عالية الإنتروبيا فقط (ترشيح Shannon + Jaccard)
task 65–85% قراءات مركزة على المهمة (مثل 'إصلاح خطأ المصادقة')
كود متعلق بالمهمة + سياق التبعيات عبر رسم المعرفة البياني + مرشح IB
auto 70–99% افتراضيًا - يقوم lean-ctx باختيار أفضل وضع تلقائيًا
يتكيّف لكل ملف: النوع، فئة الحجم، الحداثة، صلة المهمة
reference 80–95% توثيق API والرجوع السريع للمراجع
API عام، أنواع، توقيعات، docstrings
lines:N-M 90–99% قراءة نطاق أسطر محدد - دقة جراحية
الأسطر المطلوبة بدقة مع أقل قدر من السياق المحيط
ctx_smart_read في lean-ctx يختار تلقائياً الوضع الأمثل باستخدام التنبؤ البايزي بناءً على نوع الملف والحجم والسياق.
Advanced Compression Pipeline
Beyond mode selection, lean-ctx applies a multi-stage optimization pipeline that adapts to file type, session context, and task intent:
Learns optimal compression thresholds per file type using multi-armed bandit exploration (explore vs exploit)
Language-aware pruning via Tree-sitter - removes function bodies, comments, and boilerplate while preserving API signatures
Cross-file deduplication using inverse document frequency - eliminates content already seen in the session
Task-aware filtering using the Information Bottleneck principle - keeps only content relevant to the current task
Collapses repetitive structures (imports, log lines, boilerplate) into counted summaries
These stages are cumulative - applied in sequence, they can reduce a 1000-line file to under 50 tokens while preserving all task-relevant information. The pipeline is fully automatic and requires no configuration.
جودة الضغط
عتبة الجودة (composite)
لا يتم استخدام المخرجات المضغوطة إلا إذا بقيت درجة الجودة المركّبة عند ≥ 95%.
الحد الأدنى للكثافة
يحظر المخرجات منخفضة المعلومات بحد أدنى لكثافة الإشارة 15% (ρ).
الأوزان
Composite = AST 50% + المعرّفات 30% + الأسطر 20% - الهيكل أهم شيء.
لماذا رموز أقل = كثافة إشارة أعلى
نماذج اللغة لديها ميزانية انتباه ثابتة. كل رمز في نافذة السياق يتنافس على أوزان الانتباه. ملء النافذة بالكود النموذجي يعني انتباهاً أقل للكود المهم.
بإزالة الضوضاء قبل وصولها للنموذج، يزيد lean-ctx كثافة المعلومات في كل طلب. النتيجة: نسبة إشارة إلى ضوضاء أعلى، تخفيف سياق أقل، والنموذج يبقى ضمن حدود السياق المفيدة.
10 آلاف رمز من سياق مركز يتفوق على 200 ألف من الكود النموذجي. النموذج يركز انتباهه على المنطق، وليس على تعليقات JSDoc والاستيرادات النموذجية.
ضوضاء السياق تخفف نافذة انتباه النموذج. إزالتها تساعد النموذج على البقاء مرتكزاً على بنية الكود الفعلية وتقلل فرصة الهلوسة.
رموز إدخال أقل تعني تكاليف API أقل ورسائل أكثر ضمن حد المعدل. نفس الحصة تمتد أبعد - لكل أداة ذكاء اصطناعي تستخدمها.
Measured on Real Code
لقطات ممثلة - أرقامك تختلف حسب الملف وقاعدة الشيفرة.
450 lines - map mode
12,840 → 1,541 820 lines - signatures mode
18,290 → 1,280 1,200 lines - aggressive mode
31,500 → 2,835 680 lines - entropy mode
15,400 → 2,618 340 lines - diff mode
8,750 → 437 Benchmark
Methodology
Every number on this page is reproducible. Here's exactly how we measure.
Tokenizer
All token counts use tiktoken with the o200k_base encoding — the same
tokenizer used by GPT-4o, Claude, and modern LLMs. No estimates or approximations.
Quality Threshold
Compressed output is only used if the composite quality score stays at or above 95%. Composite = AST preservation (50%) + identifier preservation (30%) + line coverage (20%).
Reproduce Locally
Run lean-ctx benchmark run src/ on your own codebase. The output shows exact token counts
for each compression mode, savings percentage, and quality preservation scores.
Disclaimer
Results vary by file type, size, language, and read mode. The "60-99%" range reflects real-world variance: small structured files compress more, large unstructured files compress less. Cached re-reads (~13 tokens) represent the best case.
قِس توفيراتك الفعلية.
ثبّت lean-ctx وشغّل benchmark run على قاعدة الكود. أرقام حقيقية، ملفاتك، توفيراتك.
lean-ctx benchmark run src/ Works on any codebase. No config needed. Results in seconds.