╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok ╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok

Kullanım senaryosu · Kazıyıcılar ve tarayıcılar

Ham veri kazıla.
LeanCTX besle.

LeanCTX, kazınmış sayfaları model için hazır bağlama dönüştürür: ctx_url_read HTML, PDF, RSS ve YouTube transkriptlerini alır, standart kısımları temizler, sayfa genelinde yinelenmeyi ortadan kaldırır ve gerçekleri ile alıntıları çıkarır. Kazıyıcınız basit kalır. Bağlam katmanı, model herhangi bir şey görmeden önce çıktısını %60–90 küçültür.

Kazıyıcınızdan sonra kullanın Giriş formatlarını görün

Sorun

Size mal olan şey bugün.

Web çamuru token bütçenizi tüketir

Navigasyon, çerez bannerları, alt bilgiler, reklamlar: kazınmış bir sayfanın çoğu, gömmek için ödediğiniz ve istemde tekrar ödediğiniz standart kısımdır.

Yinelenmeler sessizce çoğalır

Aynı makale beş URL'de görünür. İçerik farkındalıklı yinelenme giderme olmadan, onu beş kez depolarlar ve işlersiniz.

Ham dökümler aranabilir değildir

Kazınmış HTML'den oluşan bir klasör bir bilgi tabanı değildir. Aracınız 10.000 dosya yerine sıralı arama gerektirir.

Bugün yayınlandı

İş yapan yetenekler işi gören.

Aşağıdakilerin her şeyi bugün açık kaynaklı ikili dosyada yayınlanıyor. Yol haritası öğesi yok, bekleme listesi yok.

Araçlarınız LeanCTX Model

Evrensel alım ctx_url_read HTML, PDF beslemeleri ve YouTube transkriptlerini işler

Gerçekler ve alıntı modları sayfalar atfedilebilir gerçeklere ve kelimesi kelimesine alıntılara çöker

Yinelenme giderme content-hash, sayfalar, oturumlar ve kazıma işlemleri genelinde yinelenmeyi giderir

BM25 + grafik araması alınan her şey yerel olarak aranabilir ve sıralanabilir hale gelir

Yerel Arşiv orijinaller erişilebilir kalır; sıkıştırma asla bir çıkmaz değildir

Hızlı Başlangıç

Sıfırdan ilk kazanç.

# bir sayfayı atfedilebilir gerçekler olarak alımına dahil et

$ ctx_url_read("https://example.com/article", mode="facts")

# bir akışı alımına dahil et; öğeler tarihli ve yinelenme giderilmiş olarak gelir

$ ctx_url_read("https://news.site/feed.xml")

# alınan her şeyi ara

$ lean-ctx grep "quarterly revenue"

# gerektiğinde tam orijinali geri getir

$ ctx_retrieve(id)

Daha derine inin

Tek rehber. İki yolculuk. Tam referans.

rehber Veri Kaynakları Rehberi Her alım formatı ve nasıl normalize edildiği. yolculuk Kodlamanın Ötesinde: Web Araştırması URL'den alıntılanan cevaba, uçtan uca. yolculuk Bellek ve Bilgi Alınan içeriğin nasıl kalıcı olduğu ve sıralandığı. referans Okuma Modları Referansı gerçekler, alıntılar, entropi ve arkadaşlar.

FAQ

Ekiplerin benimsemeden önce sorduğu sorular.

LeanCTX benim scraper'ımı değiştirir mi?

Hayır. Scraper'ınızdan sonra yerleşir. Playwright, Scrapy veya curl kullanmaya devam edin; çıktıyı LeanCTX üzerinden geçirerek modellerin ham HTML yerine yinelenme giderilmiş, sıkıştırılmış ve aranabilir bir bağlam almasını sağlayın.

Hangi giriş formatları destekleniyor?

HTML sayfaları, PDF'ler, CSV, RSS/Atom akışları, düz metin, e-posta ve YouTube transkriptleri. Her formatın sıkıştırmadan önce kendi normalleştirme stratejisi vardır.

Orijinal sayfayı geri alabilir miyim?

Her zaman. Her orijinal yerel olarak arşivlenir ve ctx_retrieve aracılığıyla erişilebilir. LeanCTX'teki sıkıştırma tasarımsal olarak tersine çevrilebilir.

Bağlamınızın kontrolünü geri alın.

Yerel kullanım için ücretsiz, sonsuza kadar. CI zorunlu kılar. Tek bir ikili, ilk ölçülebilir kazanca on dakika.

Kazıyıcınızdan sonra kullanın Planları gör

Ham veri kazıla.LeanCTX besle.