Webowy bałagan pochłania Twój budżet tokenów
Nawigacja, banery cookie, stopki, reklamy: większość zeskrobanej strony to elementy powtarzalne (boilerplate), za które płacisz zarówno w osadzaniu, jak i w promptach.
Przypadek użycia · Scrapery i crawlery
Zbieraj surowo. Karmi kontekstem lean.
LeanCTX zamienia zeskrobane strony na kontekst gotowy dla modelu: ctx_url_read przetwarza HTML, PDF, RSS i transkrypty YouTube, usuwa elementy powtarzalne (boilerplate), de-duplikuje między stronami i wyodrębnia fakty oraz cytaty. Twój crawler pozostaje prosty. Warstwa kontekstu zmniejsza jego wydajność o 60–90% zanim model zobaczy dane.
Same engine. Different workflow. Always the right context.
Ile to kosztuje dzisiaj.
Duplikaty mnożą się cicho
Ten sam artykuł pojawia się na pięciu URL-ach. Bez de-duplikacji świadomej treści, przechowujesz i przetwarzasz go pięć razy.
Surowe zrzuty są nieprzeszukiwalne
Folder ze zeskrobanym HTML to nie baza wiedzy. Twój agent potrzebuje wyszukiwania rangowanego, a nie 10 000 plików.
Możliwości, które wykonują pracę.
Wszystko poniżej jest wdrożone w binarnym pliku open-source już dziś. Żadnych elementów roadmapy, żadnych list oczekujących.
Twoje narzędzia→LeanCTX→Model
Uniwersalne pobieranie
ctx_url_read obsługuje HTML, feedy RSS, PDF i transkrypty YouTube
Tryby faktów i cytatów
strony sprowadzają się do przypisywalnych faktów i dosłownych cytatów
De-duplikacja
dedupowanie na podstawie hasha treści w różnych stronach, sesjach i zeskrobowaniach
BM25 + wyszukiwanie grafowe
wszystko, co zostanie pobrane, staje się lokalnie wyszukiwalne i możliwe do rankingu
Lokalne archiwum
oryginały pozostają dostępne; kompresja nigdy nie jest ślepym zaułkiem
Od zera do pierwszego zysku.
terminal
# przyjmowanie strony jako przypisywalnych faktów
$ ctx_url_read("https://example.com/article", mode="facts")# przyjmowanie strumienia; elementy docierają z datą i są de-duplikowane
$ ctx_url_read("https://news.site/feed.xml")# wyszukiwanie wszystkiego, co zostało przyjęte
$ lean-ctx grep "quarterly revenue"# odzyskanie pełnego oryginału w razie potrzeby
$ ctx_retrieve(id)Jeden przewodnik. Dwie ścieżki. Pełny odniesienie.
01
przewodnik · Przewodnik po źródłach danych
Każdy format wprowadzania i sposób jego normalizacji.
Dowiedz się więcej02
ścieżka · Poza kodowaniem: badanie stron internetowych
Od URL do cytowanego wyniku, end to end.
Dowiedz się więcej03
ścieżka · Pamięć i wiedza
Jak wprowadzona zawartość jest przechowywana i indeksowana.
Dowiedz się więcej04
odniesienie · Odwołanie do trybów czytania
fakty, cytaty, entropia i przyjaciele.
Dowiedz się więcejPytania, które zespoły zadają przed wdrożeniem.
Nie. Działa po Twoim scrapera. Zachowaj Playwright, Scrapy lub curl; przekazuj wynik przez LeanCTX, a Twoje modele otrzymają de-duplikowany, skompresowany i wyszukiwalny kontekst zamiast surownego HTML-a.
Strony HTML, PDF, CSV, strumienie RSS/Atom, czysty tekst, e-mail i transkrypcje YouTube. Każdy format ma własną strategię normalizacji przed kompresją.
Zawsze. Każdy oryginał jest archiwizowany lokalnie i można go odzyskać za pomocą ctx_retrieve. Kompresja w LeanCTX jest z natury odwracalna.
Odzyskaj kontrolę nad swoim kontekstem.
Darmowe do lokalnego użytku, na zawsze. CI to egzekwuje. Jeden binarny plik, dziesięć minut do pierwszego zmierzonego zysku.