╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok ╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok

ব্যবহারের ক্ষেত্র · স্ক্র্যাপার ও ক্রলার

কাঁচা ডেটা স্ক্র্যাপ করুন।
lean-ctx ফিড করুন।

LeanCTX স্ক্র্যাপ করা পেজগুলিকে মডেল-প্রস্তুত কনটেক্সটে রূপান্তর করে: ctx_url_read HTML, PDF, RSS এবং YouTube ট্রান্সক্রিপ্ট ইনজেস্ট করে, বোরপ্লেট স্ট্রিপ করে, পৃষ্ঠা জুড়ে ডিডুপ্লিকেট করে এবং তথ্য ও উদ্ধৃতি বের করে। আপনার ক্রলার সহজ থাকে। কোনো মডেল দেখার আগেই কনটেক্সট লেয়ার এর আউটপুটকে ৬০–৯০% ছোট করে দেয়।

আপনার স্ক্র্যাপারের পরে এটি ব্যবহার করুন ইনটেক ফরম্যাটগুলি দেখুন

সমস্যাটি

এর মূল্য আপনার কত দিতে হচ্ছে আজ।

ওয়েব আবর্জনা আপনার টোকেন বাজেট খেয়ে ফেলে

নেভিগেশন, কুকি ব্যানার, ফুটার, বিজ্ঞাপন: একটি স্ক্র্যাপ করা পেজের বেশিরভাগ অংশই বোরপ্লেট যা এমবেড করতে এবং প্রম্পট দিতে আপনাকে অর্থ দিতে হয়।

নকলগুলি নীরবে গুণিত হয়

একই নিবন্ধটি পাঁচটি URL-এ দেখা যায়। কনটেন্ট-সচেতন ডিডুপ্লিকেশনের অভাবে আপনি এটি পাঁচবার সংরক্ষণ এবং প্রক্রিয়া করেন।

কাঁচা ডেটা অনুসন্ধানযোগ্য নয়

স্ক্র্যাপ করা HTML এর একটি ফোল্ডার কোনো নলেজ বেস নয়। আপনার এজেন্টের ১০,০০০ ফাইল দরকার নেই, বরং র‍্যাঙ্কড রিট্রিভাল প্রয়োজন।

আজই উপলব্ধ

সেই সক্ষমতাগুলি যা কাজ করে।

নিচে সবকিছু আজই ওপেন-সোর্স বাইনারিতে শিপ করা হয়েছে। কোনো রোডম্যাপ আইটেম নেই, কোনো ওয়েটলিস্ট নেই।

আপনার টুলস LeanCTX মডেল

ইউনিভার্সাল ইনটেক ctx_url_read HTML, PDF, RSS ফিড এবং YouTube ট্রান্সক্রিপ্ট পরিচালনা করে

তথ্য ও উদ্ধৃতি মোড পেজগুলি অ্যাট্রিবিউটেবল তথ্য এবং আক্ষরিক উদ্ধৃতিতে সংকুচিত হয়

ডিডুপ্লিকেশন পৃষ্ঠা, সেশন এবং ক্রল জুড়ে কনটেন্ট-হ্যাশ ডিডুপ্লিকেট করে

BM25 + গ্রাফ সার্চ ইনজেস্ট করা সবকিছু স্থানীয়ভাবে অনুসন্ধানযোগ্য এবং র‍্যাঙ্কিং-যোগ্য হয়ে ওঠে

স্থানীয় আর্কাইভ অরিজিনালগুলি পুনরুদ্ধারযোগ্য থাকে; কম্প্রেশন কখনও একটি অচলাবস্থা নয়

দ্রুত শুরু

শূন্য থেকে প্রথম লাভ।

# একটি পৃষ্ঠাকে অ্যাট্রিবিউটেবল ফ্যাক্ট হিসাবে ইনজেস্ট করুন

$ ctx_url_read("https://example.com/article", mode="facts")

# একটি ফিড ইনজেস্ট করুন; আইটেমগুলি তারিখযুক্ত এবং ডিডিউপ্লিকেট করা হয়

$ ctx_url_read("https://news.site/feed.xml")

# আপনি যা কিছু ইনজেস্ট করেছেন সবকিছু সার্চ করুন

$ lean-ctx grep "quarterly revenue"

# প্রয়োজনে একটি সম্পূর্ণ অরিজিনাল পুনরুদ্ধার করুন

$ ctx_retrieve(id)

আরও গভীরে যান

একটি গাইড। দুটি যাত্রা। সম্পূর্ণ রেফারেন্স।

গাইড ডেটা সোর্স গাইড প্রতিটি ইনটেক ফরম্যাট এবং কীভাবে এটি নরমালাইজ করা হয়। যাত্রা কোডিং ছাড়িয়ে: ওয়েব গবেষণা URL থেকে উদ্ধৃত উত্তর পর্যন্ত, এন্ড-টু-এন্ড। যাত্রা মেমরি ও জ্ঞান কীভাবে ইনজেস্ট করা কন্টেন্ট স্থায়ী হয় এবং র‍্যাঙ্ক করে। রেফারেন্স পড়ার মোড রেফারেন্স ফ্যাক্টস, কোট, এনট্রপি এবং বন্ধুগণ।

FAQ

গ্রহণ করার আগে দলগুলি যে প্রশ্ন করে।

LeanCTX কি আমার স্ক্র্যাপারকে প্রতিস্থাপন করে?

না। এটি আপনার স্ক্র্যাপারের পরে বসে। Playwright, Scrapy বা curl রাখুন; আউটপুটটি LeanCTX এর মাধ্যমে পাইপ করুন এবং আপনার মডেলগুলি কাঁচা HTML-এর পরিবর্তে ডিডিউপ্লিকেট, সংকুচিত, অনুসন্ধানযোগ্য কনটেক্সট পায়।

কোন ইনপুট ফরম্যাটগুলি সমর্থিত?

HTML পেজ, PDF, CSV, RSS/Atom ফিড, প্লেন টেক্সট, ইমেল এবং YouTube ট্রান্সক্রিপ্ট। প্রতিটি ফরম্যাটের কম্প্রেশনের আগে নিজস্ব নরমালাইজেশন কৌশল রয়েছে।

আমি কি আসল পৃষ্ঠাটি ফেরত পেতে পারি?

সবসময়। প্রতিটি অরিজিনাল স্থানীয়ভাবে আর্কাইভ করা হয় এবং ctx_retrieve এর মাধ্যমে পুনরুদ্ধারযোগ্য। LeanCTX-এ কম্প্রেশন ডিজাইন অনুযায়ী বিপরীতমুখী।

আপনার কনটেক্সট নিয়ন্ত্রণ নিন।

স্থানীয় ব্যবহারের জন্য বিনামূল্যে, চিরতরে। CI এটি প্রয়োগ করে। একটি বাইনারি, প্রথম পরিমাপযোগ্য লাভ পেতে দশ মিনিট।

আপনার স্ক্র্যাপারের পরে এটি ব্যবহার করুন পরিকল্পনা দেখুন

কাঁচা ডেটা স্ক্র্যাপ করুন।lean-ctx ফিড করুন।