Lixo web consome seu orçamento de tokens
Navegação, banners de cookies, rodapés, anúncios: a maior parte de uma página raspada é texto padrão que você paga para incorporar e pagar novamente para solicitar.
Caso de uso · Scrapadores e crawlers
Raspagem bruta. Alimente o lean.
LeanCTX transforma páginas raspadas em contexto pronto para modelos: ctx_url_read ingere HTML, PDF, RSS e transcrições do YouTube, remove texto padrão (boilerplate), desduplica entre páginas e extrai fatos e citações. Seu crawler permanece simples. A camada de contexto reduz o tamanho da saída em 60–90% antes que qualquer modelo a veja.
Same engine. Different workflow. Always the right context.
Quanto custa para você hoje.
Duplicatas se multiplicam silenciosamente
O mesmo artigo aparece em cinco URLs. Sem desduplicação consciente do conteúdo, você armazena e processa isso cinco vezes.
Dumps brutos são não pesquisáveis
Uma pasta de HTML raspado não é uma base de conhecimento. Seu agente precisa de recuperação ranqueada, não de 10.000 arquivos.
As capacidades que fazem o trabalho.
Tudo abaixo é entregue no binário open-source hoje. Sem itens de roadmap, sem listas de espera.
Suas ferramentas→LeanCTX→Modelo
Ingestão universal
ctx_url_read lida com HTML, feeds RSS, PDFs e transcrições do YouTube
Modos de fatos e citações
páginas colapsam em fatos atribuíveis e citações literais
Desduplicação
dedup de hash de conteúdo entre páginas, sessões e raspagens
BM25 + busca em grafo
tudo o que é ingerido se torna pesquisável e ranqueável localmente
Arquivo local
originais permanecem recuperáveis; a compressão nunca é um beco sem saída
De zero a primeiro ganho.
terminal
# ingere uma página como fatos atribuíveis
$ ctx_url_read("https://example.com/article", mode="facts")# ingere um feed; os itens chegam datados e desduplicados
$ ctx_url_read("https://news.site/feed.xml")# pesquise tudo o que você ingeriu
$ lean-ctx grep "quarterly revenue"# recupere um original completo quando necessário
$ ctx_retrieve(id)Um guia. Duas jornadas. Referência completa.
01
guia · Guia de fontes de dados
Cada formato de entrada e como ele é normalizado.
Saiba mais02
jornada · Além do código: pesquisa web
De URL a resposta citada, ponta a ponta.
Saiba mais03
jornada · Memória e conhecimento
Como o conteúdo ingerido persiste e classifica.
Saiba mais04
referência · Referência de modos de leitura
fatos, citações, entropia e amigos.
Saiba maisPerguntas que as equipes fazem antes de adotar.
Não. Ele fica depois do seu scraper. Mantenha Playwright, Scrapy ou curl; passe a saída pelo LeanCTX e seus modelos recebem contexto desduplicado, comprimido e pesquisável em vez de HTML bruto.
Páginas HTML, PDFs, CSV, feeds RSS/Atom, texto simples, email e transcrições do YouTube. Cada formato tem sua própria estratégia de normalização antes da compressão.
Sempre. Todo original é arquivado localmente e recuperável via ctx_retrieve. A compressão no LeanCTX é reversível por design.
Recupere o controle do seu contexto.
Gratuito para uso local, para sempre. O CI garante isso. Um binário, dez minutos até o primeiro ganho mensurável.