Web-Schlamm frisst dein Token-Budget
Navigation, Cookie-Banner, Footer, Werbung: der Großteil einer gescrapten Seite ist Boilerplate, den du fürs Einbetten zahlst und fürs Prompten nochmal.
Anwendungsfall · Scraper & Crawler
Roh scrapen. Lean füttern.
LeanCTX verwandelt gescrapte Seiten in modellfertigen Kontext: ctx_url_read nimmt HTML, PDF, RSS und YouTube-Transkripte auf, entfernt Boilerplate, dedupliziert über Seiten hinweg und extrahiert Fakten und Zitate. Dein Crawler bleibt simpel. Die Kontextschicht macht seine Ausgabe 60–90% kleiner, bevor irgendein Modell sie sieht.
Same engine. Different workflow. Always the right context.
Was es dich heute kostet.
Duplikate vermehren sich leise
Derselbe Artikel erscheint unter fünf URLs. Ohne content-bewusste Deduplizierung speicherst und verarbeitest du ihn fünfmal.
Rohe Dumps sind nicht durchsuchbar
Ein Ordner voll gescraptem HTML ist keine Wissensbasis. Dein Agent braucht gerankte Retrieval, nicht 10.000 Dateien.
Die Fähigkeiten, die die Arbeit machen.
Alles hier unten steckt heute in der Open-Source-Binary. Keine Roadmap-Punkte, keine Wartelisten.
Deine Tools→LeanCTX→Modell
Universelle Aufnahme
ctx_url_read verarbeitet HTML, PDF, RSS-Feeds und YouTube-Transkripte
Facts- & Quotes-Modi
Seiten kollabieren zu zuordenbaren Fakten und wortgetreuen Zitaten
Deduplizierung
Content-Hash-Dedup über Seiten, Sessions und Crawls hinweg
BM25- + Graph-Suche
alles Aufgenommene wird lokal durchsuchbar und rankbar
Lokales Archiv
Originale bleiben abrufbar; Kompression ist nie eine Sackgasse
Von null zum ersten Gewinn.
terminal
# eine Seite als zuordenbare Fakten aufnehmen
$ ctx_url_read("https://example.com/article", mode="facts")# einen Feed aufnehmen; Einträge kommen datiert und dedupliziert an
$ ctx_url_read("https://news.site/feed.xml")# alles durchsuchen, was du aufgenommen hast
$ lean-ctx grep "quarterly revenue"# bei Bedarf ein vollständiges Original abrufen
$ ctx_retrieve(id)Ein Guide. Zwei Journeys. Volle Referenz.
01
Guide · Datenquellen-Guide
Jedes Aufnahmeformat und wie es normalisiert wird.
Mehr erfahren02
Journey · Jenseits von Coding: Web-Research
Von der URL zur zitierten Antwort, end-to-end.
Mehr erfahren03
Journey · Memory & Knowledge
Wie aufgenommene Inhalte bestehen bleiben und ranken.
Mehr erfahren04
Referenz · Read-Modi-Referenz
facts, quotes, entropy und Freunde.
Mehr erfahrenFragen, die Teams vor der Einführung stellen.
Nein. Es sitzt hinter deinem Scraper. Behalte Playwright, Scrapy oder curl; leite die Ausgabe durch LeanCTX und deine Modelle erhalten deduplizierten, komprimierten, durchsuchbaren Kontext statt rohem HTML.
HTML-Seiten, PDFs, CSV, RSS/Atom-Feeds, Klartext, E-Mail und YouTube-Transkripte. Jedes Format hat seine eigene Normalisierungsstrategie vor der Kompression.
Immer. Jedes Original wird lokal archiviert und ist über ctx_retrieve abrufbar. Kompression in LeanCTX ist per Design umkehrbar.
Übernimm wieder die Kontrolle über deinen Kontext.
Kostenlos für lokale Nutzung, für immer. Per CI erzwungen. Eine Binary, zehn Minuten bis zum ersten gemessenen Gewinn.