Web çamuru token bütçenizi tüketir
Navigasyon, çerez bannerları, alt bilgiler, reklamlar: kazınmış bir sayfanın çoğu, gömmek için ödediğiniz ve istemde tekrar ödediğiniz standart kısımdır.
Kullanım senaryosu · Kazıyıcılar ve tarayıcılar
Ham veri kazıla. LeanCTX besle.
LeanCTX, kazınmış sayfaları model için hazır bağlama dönüştürür: ctx_url_read HTML, PDF, RSS ve YouTube transkriptlerini alır, standart kısımları temizler, sayfa genelinde yinelenmeyi ortadan kaldırır ve gerçekleri ile alıntıları çıkarır. Kazıyıcınız basit kalır. Bağlam katmanı, model herhangi bir şey görmeden önce çıktısını %60–90 küçültür.
Same engine. Different workflow. Always the right context.
Size mal olan şey bugün.
Yinelenmeler sessizce çoğalır
Aynı makale beş URL'de görünür. İçerik farkındalıklı yinelenme giderme olmadan, onu beş kez depolarlar ve işlersiniz.
Ham dökümler aranabilir değildir
Kazınmış HTML'den oluşan bir klasör bir bilgi tabanı değildir. Aracınız 10.000 dosya yerine sıralı arama gerektirir.
İş yapan yetenekler işi gören.
Aşağıdakilerin her şeyi bugün açık kaynaklı ikili dosyada yayınlanıyor. Yol haritası öğesi yok, bekleme listesi yok.
Araçlarınız→LeanCTX→Model
Evrensel alım
ctx_url_read HTML, PDF beslemeleri ve YouTube transkriptlerini işler
Gerçekler ve alıntı modları
sayfalar atfedilebilir gerçeklere ve kelimesi kelimesine alıntılara çöker
Yinelenme giderme
content-hash, sayfalar, oturumlar ve kazıma işlemleri genelinde yinelenmeyi giderir
BM25 + grafik araması
alınan her şey yerel olarak aranabilir ve sıralanabilir hale gelir
Yerel Arşiv
orijinaller erişilebilir kalır; sıkıştırma asla bir çıkmaz değildir
Sıfırdan ilk kazanç.
terminal
# bir sayfayı atfedilebilir gerçekler olarak alımına dahil et
$ ctx_url_read("https://example.com/article", mode="facts")# bir akışı alımına dahil et; öğeler tarihli ve yinelenme giderilmiş olarak gelir
$ ctx_url_read("https://news.site/feed.xml")# alınan her şeyi ara
$ lean-ctx grep "quarterly revenue"# gerektiğinde tam orijinali geri getir
$ ctx_retrieve(id)Tek rehber. İki yolculuk. Tam referans.
01
rehber · Veri Kaynakları Rehberi
Her alım formatı ve nasıl normalize edildiği.
Daha fazla bilgi edinin02
yolculuk · Kodlamanın Ötesinde: Web Araştırması
URL'den alıntılanan cevaba, uçtan uca.
Daha fazla bilgi edinin03
yolculuk · Bellek ve Bilgi
Alınan içeriğin nasıl kalıcı olduğu ve sıralandığı.
Daha fazla bilgi edinin04
referans · Okuma Modları Referansı
gerçekler, alıntılar, entropi ve arkadaşlar.
Daha fazla bilgi edininEkiplerin benimsemeden önce sorduğu sorular.
Hayır. Scraper'ınızdan sonra yerleşir. Playwright, Scrapy veya curl kullanmaya devam edin; çıktıyı LeanCTX üzerinden geçirerek modellerin ham HTML yerine yinelenme giderilmiş, sıkıştırılmış ve aranabilir bir bağlam almasını sağlayın.
HTML sayfaları, PDF'ler, CSV, RSS/Atom akışları, düz metin, e-posta ve YouTube transkriptleri. Her formatın sıkıştırmadan önce kendi normalleştirme stratejisi vardır.
Her zaman. Her orijinal yerel olarak arşivlenir ve ctx_retrieve aracılığıyla erişilebilir. LeanCTX'teki sıkıştırma tasarımsal olarak tersine çevrilebilir.
Bağlamınızın kontrolünü geri alın.
Yerel kullanım için ücretsiz, sonsuza kadar. CI zorunlu kılar. Tek bir ikili, ilk ölçülebilir kazanca on dakika.