╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok ╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok

ユースケース · スクレイパーとクローラー

生データをスクレイピング。
LeanCTXにフィードする。

LeanCTXは、スクレイピングしたページをモデルが利用可能なコンテキストに変換します：ctx_url_readはHTML、PDF、RSS、YouTubeのトランスクリプトを取り込み、定型文を除去し、ページ間で重複排除を行い、事実と引用を抽出します。クローラーはシンプルさを保てます。このコンテキストレイヤーにより、モデルがそれを見る前に出力が60〜90%削減されます。

スクレイパーの後に使用する取り込み形式を見る

問題点

それがあなたに費やさせるコスト今日。

Webのノイズがトークン予算を食いつぶす

ナビゲーション、クッキーバナー、フッター、広告：スクレイピングされたページのほとんどは定型文であり、埋め込むためにお金を払い、プロンプトするためにもう一度お金がかかります。

重複が静かに増殖する

同じ記事が5つのURLに存在する場合。コンテンツを考慮した重複排除がないと、それを5回分保存し、処理することになります。

生データは検索不可能

スクレイピングされたHTMLのフォルダはナレッジベースではありません。エージェントに必要なのは10,000個のファイルではなく、ランキング付きのリトリーバルです。

本日実装済み

その能力が作業をこなす。

以下すべてが、オープンソースのバイナリとして本日出荷されます。ロードマップ項目も、ウェイティングリストもありません。

あなたのツール LeanCTX モデル

ユニバーサルな取り込み ctx_url_readはHTML、PDFフィード、RSSフィード、YouTubeトランスクリプトを処理します

ファクトと引用モードページが帰属可能なファクトと逐語的な引用に集約されます

重複排除ページ、セッション、クローリングを横断したコンテンツハッシュによる重複排除

BM25 + グラフ検索取り込まれたすべてのものがローカルで検索可能かつランキング可能になります

ローカルアーカイブオリジナルは取得可能に保たれます。圧縮が行き止まりになることはありません。

クイックスタート

ゼロから始める最初の成果を。

# ページをアトリビューション可能なファクトとして取り込む

$ ctx_url_read("https://example.com/article", mode="facts")

# フィードを取り込みます。アイテムは日付付きで重複排除されます。

$ ctx_url_read("https://news.site/feed.xml")

# 取り込んだすべてのものを検索します

$ lean-ctx grep "quarterly revenue"

# 必要なときに完全なオリジナルを取得できます

$ ctx_retrieve(id)

より深く掘り下げる

一つのガイドに、二つの旅路を。完全なリファレンス。

ガイドデータソースガイドすべてのインテーク形式と、その正規化方法。ジャーニーコーディングを超えて：Webリサーチ URLから引用された回答まで、エンドツーエンドで。ジャーニーメモリと知識取り込まれたコンテンツがどのように永続し、ランク付けされるか。リファレンスリードアモード参照ファクト、引用、エントロピーなど。

FAQ

導入前にチームが抱く疑問点。

LeanCTXは私のスクレイパーを置き換えますか？

いいえ。これはスクレイパーの後に配置されます。Playwright、Scrapy、またはcurlを維持してください。出力をLeanCTXにパイプし、モデルは生のHTMLではなく、重複排除され、圧縮され、検索可能なコンテキストを受け取ります。

サポートされている入力形式は何ですか？

HTMLページ、PDF、CSV、RSS/Atomフィード、プレーンテキスト、メール、およびYouTubeトランスクリプト。各形式は圧縮前に独自の正規化戦略を持ちます。

元のページに戻れますか？

常に可能です。すべてのオリジナルはローカルにアーカイブされ、ctx_retrieve経由で取得できます。LeanCTXの圧縮は設計上可逆的です。

コンテキストの制御を取り戻す。

ローカル利用は無料、永久に。CIが強制する。単一バイナリで、最初の測定可能な成果まで10分。

スクレイパーの後に使用するプランを見る

生データをスクレイピング。LeanCTXにフィードする。

それがあなたに費やさせるコスト 今日。