Lumpur web menghabiskan anggaran token Anda
Navigasi, spanduk cookie, footer, iklan: sebagian besar halaman yang di-scrape adalah boilerplate yang Anda bayar untuk disematkan dan membayar lagi untuk prompt.
Kasus penggunaan · Scraper & Crawler
Skrap mentah. Berikan ke lean.
LeanCTX mengubah halaman yang di-scrape menjadi konteks siap model: ctx_url_read mencerna HTML, PDF, RSS, dan transkrip YouTube, menghilangkan boilerplate, mendeduplikasi antar halaman, dan mengekstrak fakta serta kutipan. Crawler Anda tetap sederhana. Lapisan konteks membuat outputnya 60–90% lebih kecil sebelum dilihat oleh model apa pun.
Same engine. Different workflow. Always the right context.
Apa yang biayai bagi Anda hari ini.
Duplikat berkembang diam-diam
Artikel yang sama muncul di lima URL. Tanpa deduplikasi sadar konten, Anda menyimpannya dan memprosesnya lima kali.
Dump mentah tidak dapat dicari
Folder HTML yang di-scrape bukanlah basis pengetahuan. Agen Anda membutuhkan pengambilan peringkat (ranked retrieval), bukan 10.000 file.
Kapabilitas yang melakukan pekerjaan itu.
Semua di bawah ini dikirimkan dalam biner open-source hari ini. Tanpa item roadmap, tanpa daftar tunggu.
Alat Anda→LeanCTX→Model
Intake universal
ctx_url_read menangani HTML, umpan PDF, RSS, dan transkrip YouTube
Mode Fakta & Kutipan
halaman runtuh menjadi fakta yang dapat diatribusikan dan kutipan verbatim
Deduplikasi
dedup hash konten di seluruh halaman, sesi, dan scrape
BM25 + pencarian grafik
segalanya yang dimasukkan menjadi dapat dicari dan diberi peringkat secara lokal
Arsip Lokal
asli tetap dapat diambil; kompresi tidak pernah menjadi jalan buntu
Dari nol ke keuntungan pertama.
terminal
# mengambil halaman sebagai fakta yang dapat diatribusikan
$ ctx_url_read("https://example.com/article", mode="facts")# mengambil umpan; item tiba dengan tanggal dan dideduplikasi
$ ctx_url_read("https://news.site/feed.xml")# mencari semua yang Anda ambil
$ lean-ctx grep "quarterly revenue"# mengambil aslinya sepenuhnya saat dibutuhkan
$ ctx_retrieve(id)Satu panduan. Dua perjalanan. Referensi lengkap.
01
panduan · Panduan sumber data
Setiap format masukan dan cara normalisasinya.
Pelajari lebih lanjut02
perjalanan · Melampaui pengkodean: riset web
Dari URL ke jawaban yang dikutip, ujung ke ujung.
Pelajari lebih lanjut03
perjalanan · Memori & pengetahuan
Cara konten yang diambil bertahan dan diberi peringkat.
Pelajari lebih lanjut04
referensi · Referensi mode baca
fakta, kutipan, entropi dan teman-teman.
Pelajari lebih lanjutPertanyaan tim sebelum mengadopsi.
Tidak. Ini berada setelah scraper Anda. Pertahankan Playwright, Scrapy atau curl; kirim output melalui LeanCTX dan model Anda menerima konteks yang dideduplikasi, dikompresi, dan dapat dicari alih-alih HTML mentah.
Halaman HTML, PDF, CSV, umpan RSS/Atom, teks biasa, email, dan transkrip YouTube. Setiap format memiliki strategi normalisasi sendiri sebelum kompresi.
Selalu. Setiap asli diarsipkan secara lokal dan dapat diambil melalui ctx_retrieve. Kompresi dalam LeanCTX bersifat reversibel berdasarkan desain.
Ambil kembali kendali konteks Anda.
Gratis untuk penggunaan lokal, selamanya. CI mewajibkannya. Satu biner, sepuluh menit menuju keuntungan terukur pertama.