Lo sludge web consuma il tuo budget token
Navigazione, banner cookie, piè di pagina, annunci: la maggior parte di una pagina raccolta è boilerplate che paghi per incorporare e pagare di nuovo per promptare.
Caso d'uso · Scraper e crawler
Raccogli grezzo. Alimenta lean.
LeanCTX trasforma le pagine raccolte in contesto pronto per il modello: ctx_url_read ingerisce HTML, PDF, RSS e trascrizioni di YouTube, rimuove il boilerplate, deduplica tra le pagine ed estrae fatti e citazioni. Il tuo crawler rimane semplice. Lo strato di contesto riduce l'output del 60-90% prima che qualsiasi modello lo veda.
Same engine. Different workflow. Always the right context.
Quanto ti costa oggi.
I duplicati moltiplicano silenziosamente
Lo stesso articolo appare su cinque URL. Senza deduplicazione consapevole del contenuto lo memorizzi e lo elabori cinque volte.
I dump grezzi non sono ricercabili
Una cartella di HTML raccolti non è una knowledge base. Il tuo agente ha bisogno di retrieval classificato, non di 10.000 file.
Le capacità che fanno il lavoro.
Tutto qui sotto è disponibile nel binario open-source di oggi. Niente elementi della roadmap, niente liste d'attesa.
I tuoi strumenti→LeanCTX→Modello
Ingresso universale
ctx_url_read gestisce HTML, feed RSS, PDF e trascrizioni di YouTube
Modalità fatti e citazioni
le pagine si collassano in fatti attribuibili e citazioni verbali
Deduplicazione
dedup basato su hash di contenuto tra pagine, sessioni e crawl
BM25 + ricerca grafica
tutto ciò che viene ingerito diventa localmente ricercabile e classificabile
Archivio locale
gli originali rimangono recuperabili; la compressione non è mai un vicolo cieco
Da zero a primo guadagno.
terminal
# ingestare una pagina come fatti attribuibili
$ ctx_url_read("https://example.com/article", mode="facts")# ingestare un feed; gli elementi arrivano datati e de-duplicati
$ ctx_url_read("https://news.site/feed.xml")# cercare tutto ciò che hai ingerito
$ lean-ctx grep "quarterly revenue"# recuperare l'originale completo quando necessario
$ ctx_retrieve(id)Una guida. Due percorsi. Riferimento completo.
01
guida · Guida alle fonti dati
Ogni formato di acquisizione e come viene normalizzato.
Scopri di più02
viaggio · Oltre il codice: ricerca web
Da URL a risposta citata, end to end.
Scopri di più03
viaggio · Memoria e conoscenza
Come i contenuti ingeriti persistono e vengono classificati.
Scopri di più04
riferimento · Riferimento modalità di lettura
fatti, citazioni, entropia e amici.
Scopri di piùDomande che i team fanno prima di adottare.
No. Si posiziona dopo il tuo scraper. Mantieni Playwright, Scrapy o curl; invia l'output tramite LeanCTX e i tuoi modelli ricevono un contesto de-duplicato, compresso e ricercabile invece di HTML grezzo.
Pagine HTML, PDF, CSV, feed RSS/Atom, testo semplice, email e trascrizioni YouTube. Ogni formato ha la propria strategia di normalizzazione prima della compressione.
Sempre. Ogni originale è archiviato localmente e recuperabile tramite ctx_retrieve. La compressione in LeanCTX è reversibile per design.
Riprendi il controllo del tuo contesto.
Gratuito per uso locale, per sempre. CI lo impone. Un binario, dieci minuti per il primo guadagno misurato.