╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok ╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok

حالة استخدام · أدوات الكشط والزحف

اجمع البيانات الخام.
غذي lean.

يحول LeanCTX الصفحات المجمعة إلى سياق جاهز للنموذج: يقوم ctx_url_read باستيعاب HTML وPDF وتغذيات RSS ونصوص YouTube، ويقوم بإزالة النصوص التمهيدية (boilerplate)، وإلغاء تكرار المحتوى عبر الصفحات، واستخراج الحقائق والاقتباسات. يظل الزاحف الخاص بك بسيطًا. تجعل طبقة السياق مخرجاته أصغر بنسبة 60-90% قبل أن يراها أي نموذج.

استخدمه بعد أداة الكشط الخاصة بك اطلع على تنسيقات الإدخال

المشكلة

ما تكلفك اليوم.

البيانات الويب العشوائية تستنزف ميزانية التوكنز الخاصة بك

التنقل، وشارات ملفات تعريف الارتباط، والتذييلات، والإعلانات: معظم الصفحة المجمعة هو نصوص تمهيدية تدفع مقابل تضمينها وتدفع مرة أخرى لتضمينها في المطالبات.

تتضاعف التكرارات بصمت

يظهر نفس المقال على خمسة عناوين URL. بدون إزالة تكرار واعية بالمحتوى، تقوم بتخزينه ومعالجته خمس مرات.

التفريغ الخام غير قابل للبحث

مجلد من HTML المجمّع ليس قاعدة معرفة. يحتاج وكيلك إلى استرجاع مُرتب، وليس 10,000 ملف.

مُنفّذ اليوم

القدرات التي تقوم بالعمل.

كل ما يلي مُنشر في الثنائي مفتوح المصدر اليوم. لا عناصر خارطة طريق، ولا قوائم انتظار.

أدواتك LeanCTX النموذج

الاستيعاب الشامل يتعامل ctx_url_read مع HTML وملفات PDF وتغذيات RSS ونصوص YouTube

أوضاع الحقائق والاقتباسات تنهار الصفحات إلى حقائق قابلة للإسناد واقتباسات حرفية

إلغاء التكرار إزالة تكرار المحتوى عبر الهاش، وعبر الصفحات والجلسات وأدوات الكشط

BM25 + بحث بياني يصبح كل ما يتم استيعابه قابلاً للبحث محليًا وتصنيفه

الأرشيف المحلي تبقى المصادر الأصلية قابلة للاسترجاع؛ والضغط لا يمثل طريقاً مسدوداً أبدًا

البدء السريع

من الصفر إلى أول مكسب.

# استيعاب صفحة كحقائق يمكن نسبها إلى مصدر معين

$ ctx_url_read("https://example.com/article", mode="facts")

# استيعاب موجز؛ تصل العناصر بتاريخ وتخلو من التكرار

$ ctx_url_read("https://news.site/feed.xml")

# البحث في كل ما قمت باستيعابه

$ lean-ctx grep "quarterly revenue"

# استرجاع الأصل الكامل عند الحاجة

$ ctx_retrieve(id)

تعمّق أكثر

دليل واحد. رحلتان. مرجع كامل.

دليل دليل مصادر البيانات كل تنسيق استيعاب وكيفية تطبيقه وتوحيده. رحلة ما وراء البرمجة: أبحاث الويب من عنوان URL إلى الإجابة المقتبسة، بشكل شامل. رحلة الذاكرة والمعرفة كيف يستمر المحتوى المستوعب ويتم تصنيفه. مرجع مرجع أوضاع القراءة الحقائق، والاقتباسات، والإنتروبيا والأصدقاء.

FAQ

الأسئلة التي تطرحها الفرق قبل التبني.

هل يحل LeanCTX محل أداة الزحف الخاصة بي؟

لا. إنه يعمل بعد أداة الزحف الخاصة بك. احتفظ بـ Playwright أو Scrapy أو curl؛ ومرر المخرجات عبر LeanCTX وتتلقى نماذجك سياقًا مضغوطًا، ومُزَال التكرار، وقابل للبحث بدلاً من HTML الخام.

ما هي تنسيقات الإدخال المدعومة؟

صفحات HTML، وملفات PDF، وCSV، وموجزات RSS/Atom، والنص العادي، والبريد الإلكتروني، ونصوص يوتيوب. يحتوي كل تنسيق على استراتيجية توحيد خاصة به قبل الضغط.

هل يمكنني استرداد الصفحة الأصلية؟

دائمًا. يتم أرشفة كل مصدر أصلي محليًا ويمكن استرجاعه عبر ctx_retrieve. الضغط في LeanCTX قابل للعكس حسب التصميم.

استعد السيطرة على سياقك.

مجاني للاستخدام المحلي، إلى الأبد. يفرض CI ذلك. ثنائي واحد، وعشر دقائق لأول مكسب مُقاس.

استخدمه بعد أداة الكشط الخاصة بك مشاهدة الخطط

اجمع البيانات الخام.غذي lean.