Веб-мусор съедает ваш бюджет токенов
Навигация, баннеры cookie, футеры, реклама: большая часть страницы — это шаблонный контент, за который вы платите при встраивании и снова платите при запросе.
Сценарий использования · Скраперы и краулеры
Парсинг сырых данных. Подача в lean.
LeanCTX преобразует страницы, полученные скрапингом, в контекст, готовый для моделей: ctx_url_read обрабатывает HTML, PDF, RSS и транскрипты YouTube, удаляет шаблонный контент, дедуплицирует данные между страницами и извлекает факты и цитаты. Ваш краулер остается простым. Уровень контекста уменьшает объем данных на 60–90% до того, как они попадут в модель.
Same engine. Different workflow. Always the right context.
Сколько это вам стоит сегодня.
Дубликаты накапливаются незаметно
Одна и та же статья появляется на пяти URL. Без дедупликации, учитывающей контент, вы храните и обрабатываете ее пять раз.
Сырые дампы не поддаются поиску
Папка с HTML, полученным скрапингом, — это не база знаний. Вашему агенту нужен ранжированный поиск, а не 10 000 файлов.
Возможности, которые делают работу.
Все нижеследующее доступно в open-source бинарнике уже сегодня. Никаких пунктов дорожной карты, никаких списков ожидания.
Ваши инструменты→LeanCTX→Модель
Универсальный ввод
ctx_url_read обрабатывает HTML, RSS-ленты, PDF и транскрипты YouTube
Режимы фактов и цитат
страницы преобразуются в атрибутивные факты и дословные цитаты
Дедупликация
дедупликация по хешу контента для страниц, сессий и краулинга
BM25 + поиск по графу
все введенные данные становятся локально индексируемыми и ранжируемыми
Локативный архив
исходники остаются доступными; сжатие никогда не является тупиком
От нуля до первого результата.
terminal
# загрузка страницы в виде атрибутивных фактов
$ ctx_url_read("https://example.com/article", mode="facts")# загрузка фида; элементы поступают с датой и дедуплицированы
$ ctx_url_read("https://news.site/feed.xml")# поиск по всему загруженному контенту
$ lean-ctx grep "quarterly revenue"# получение полного оригинала при необходимости
$ ctx_retrieve(id)Одно руководство. Два пути. Полная справка.
01
руководство · Руководство по источникам данных
Каждый формат ввода и то, как он нормализуется.
Узнать больше02
путешествие · За пределами кодирования: веб-исследования
От URL до цитируемого ответа — полный цикл.
Узнать больше03
путешествие · Память и знания
Как загруженный контент сохраняется и ранжируется.
Узнать больше04
справка · Справочник режимов чтения
факты, цитаты, энтропия и друзья.
Узнать большеВопросы, которые команды задают перед внедрением.
Нет. Он работает после вашего скрейпера. Сохраняйте Playwright, Scrapy или curl; передавайте вывод через LeanCTX, и ваши модели получат дедуплицированный, сжатый, индексируемый контекст вместо сырого HTML.
Страницы HTML, PDF, CSV, фиды RSS/Atom, простой текст, электронная почта и транскрипты YouTube. Каждый формат имеет собственную стратегию нормализации перед сжатием.
Всегда. Каждый оригинал архивируется локально и доступен через ctx_retrieve. Сжатие в LeanCTX по дизайну обратимо.
Верните контроль над вашим контекстом.
Бесплатно для локального использования навсегда. CI это обеспечивает. Один бинарник, десять минут до первого измеримого результата.