╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok ╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok

Kasus penggunaan · Scraper & Crawler

Skrap mentah.
Berikan ke lean.

LeanCTX mengubah halaman yang di-scrape menjadi konteks siap model: ctx_url_read mencerna HTML, PDF, RSS, dan transkrip YouTube, menghilangkan boilerplate, mendeduplikasi antar halaman, dan mengekstrak fakta serta kutipan. Crawler Anda tetap sederhana. Lapisan konteks membuat outputnya 60–90% lebih kecil sebelum dilihat oleh model apa pun.

Gunakan setelah scraper Anda Lihat format input

Masalahnya

Apa yang biayai bagi Anda hari ini.

Lumpur web menghabiskan anggaran token Anda

Navigasi, spanduk cookie, footer, iklan: sebagian besar halaman yang di-scrape adalah boilerplate yang Anda bayar untuk disematkan dan membayar lagi untuk prompt.

Duplikat berkembang diam-diam

Artikel yang sama muncul di lima URL. Tanpa deduplikasi sadar konten, Anda menyimpannya dan memprosesnya lima kali.

Dump mentah tidak dapat dicari

Folder HTML yang di-scrape bukanlah basis pengetahuan. Agen Anda membutuhkan pengambilan peringkat (ranked retrieval), bukan 10.000 file.

Dirilis hari ini

Kapabilitas yang melakukan pekerjaan itu.

Semua di bawah ini dikirimkan dalam biner open-source hari ini. Tanpa item roadmap, tanpa daftar tunggu.

Alat Anda LeanCTX Model

Intake universal ctx_url_read menangani HTML, umpan PDF, RSS, dan transkrip YouTube

Mode Fakta & Kutipan halaman runtuh menjadi fakta yang dapat diatribusikan dan kutipan verbatim

Deduplikasi dedup hash konten di seluruh halaman, sesi, dan scrape

BM25 + pencarian grafik segalanya yang dimasukkan menjadi dapat dicari dan diberi peringkat secara lokal

Arsip Lokal asli tetap dapat diambil; kompresi tidak pernah menjadi jalan buntu

Mulai cepat

Dari nol ke keuntungan pertama.

# mengambil halaman sebagai fakta yang dapat diatribusikan

$ ctx_url_read("https://example.com/article", mode="facts")

# mengambil umpan; item tiba dengan tanggal dan dideduplikasi

$ ctx_url_read("https://news.site/feed.xml")

# mencari semua yang Anda ambil

$ lean-ctx grep "quarterly revenue"

# mengambil aslinya sepenuhnya saat dibutuhkan

$ ctx_retrieve(id)

Mendalami

Satu panduan. Dua perjalanan. Referensi lengkap.

panduan Panduan sumber data Setiap format masukan dan cara normalisasinya. perjalanan Melampaui pengkodean: riset web Dari URL ke jawaban yang dikutip, ujung ke ujung. perjalanan Memori & pengetahuan Cara konten yang diambil bertahan dan diberi peringkat. referensi Referensi mode baca fakta, kutipan, entropi dan teman-teman.

FAQ

Pertanyaan tim sebelum mengadopsi.

Apakah LeanCTX menggantikan scraper saya?

Tidak. Ini berada setelah scraper Anda. Pertahankan Playwright, Scrapy atau curl; kirim output melalui LeanCTX dan model Anda menerima konteks yang dideduplikasi, dikompresi, dan dapat dicari alih-alih HTML mentah.

Format masukan apa yang didukung?

Halaman HTML, PDF, CSV, umpan RSS/Atom, teks biasa, email, dan transkrip YouTube. Setiap format memiliki strategi normalisasi sendiri sebelum kompresi.

Bisakah saya mendapatkan halaman aslinya kembali?

Selalu. Setiap asli diarsipkan secara lokal dan dapat diambil melalui ctx_retrieve. Kompresi dalam LeanCTX bersifat reversibel berdasarkan desain.

Ambil kembali kendali konteks Anda.

Gratis untuk penggunaan lokal, selamanya. CI mewajibkannya. Satu biner, sepuluh menit menuju keuntungan terukur pertama.

Gunakan setelah scraper Anda Lihat rencana

Skrap mentah.Berikan ke lean.