╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok ╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok

Випадок використання · Скрейпери та краулери

Збирайте сирі дані.
Живи годуванням lean.

LeanCTX перетворює зібрані сторінки на контекст, готовий для моделі: ctx_url_read обробляє HTML, PDF, RSS та транскрипти YouTube, вилучаючи шаблонний вміст, дедуплікуючи між сторінками та витягуючи факти й цитати. Ваш краулер залишається простим. Контекстний шар зменшує його вивід на 60–90% до того, як його побачить будь-яка модель.

Використовуйте після вашого скрейпера Переглянути формати введення

Проблема

Скільки це коштує сьогодні.

Веб-сміття виснажує ваш бюджет токенів

Навігація, банери cookie, футери, реклама: більшість зібраної сторінки — це шаблонний вміст, за який ви платите за вбудовування та знову за промпт.

Дублікати тихо множаться

Одна й та сама стаття з'являється на п'яти URL. Без дедуплікації, усвідомленої вмістом, ви зберігаєте та обробляєте її п'ять разів.

Сирі дампи непіддані пошуку

Папка зібраного HTML — це не база знань. Вашому агенту потрібен ранжований пошук, а не 10 000 файлів.

Реалізовано сьогодні

Можливості, які виконують роботу.

Усе нижче виходить у відкритому бінарному файлі вже сьогодні. Жодних пунктів дорожньої карти, жодних списків очікування.

Ваші інструменти LeanCTX Модель

Універсальний прийом даних ctx_url_read обробляє HTML, RSS-фіди, PDF та транскрипти YouTube

Режими фактів та цитат сторінки згортаються у висвітлені факти та дослівні цитати

Дедуплікація дедуплікація за хешем вмісту між сторінками, сесіями та зборами

BM25 + пошук по графу все, що було оброблено, стає локально доступним для пошуку та ранжування

Локархів оригінали залишаються доступними; стиснення ніколи не є кінцем шляху

Швидкий старт

Від нуля до першого результату.

# завантажує сторінку як атрибутивні факти

$ ctx_url_read("https://example.com/article", mode="facts")

# завантажує стрічку; елементи надходять з датою та дедупліковані

$ ctx_url_read("https://news.site/feed.xml")

# шукає все, що ви завантажили

$ lean-ctx grep "quarterly revenue"

# відновлює повний оригінал за потреби

$ ctx_retrieve(id)

Поглибити знання

Один гайд. Два шляхи. Повний референс.

гайд Гайд із джерел даних Кожен формат вводу та як він нормалізується. шлях Поза кодуванням: вебдослідження Від URL до цитованої відповіді, від початку до кінця. шлях Пам'ять та знання Як завантажений контент зберігається та ранжується. референс Довідник режимів читання факти, цитати, ентропія та друзі.

FAQ

Питання, які команди ставлять перед впровадженням.

Чи замінює LeanCTX мій парсер?

Ні. Він працює після вашого парсера. Зберігайте Playwright, Scrapy або curl; передавайте вивід через LeanCTX, і ваші моделі отримають дедуплікований, стиснений, пошуковий контекст замість сирого HTML.

Які формати вводу підтримуються?

HTML-сторінки, PDF, CSV, RSS/Atom стрічки, звичайний текст, електронна пошта та транскрипції YouTube. Кожен формат має власну стратегію нормалізації перед стисненням.

Чи можу я отримати оригінальну сторінку назад?

Завжди. Кожен оригінал архівується локально та може бути відновлений через ctx_retrieve. Стиснення в LeanCTX є зворотним за задумом.

Поверніть контроль над вашим контекстом.

Безкоштовно для локального використання, назавжди. CI це забезпечує. Одна бінарна збірка, десять хвилин до першого виміряного результату.

Використовуйте після вашого скрейпера Переглянути плани

Збирайте сирі дані.Живи годуванням lean.