╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok ╭──────────────────────────────────────────╮ ╭──────────────────────────────────────────╮ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> ctx_read >>>>>>>>>>>> │ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ ┌─────────────┐ │ >>>>>>>>>>>>>>> compress >>>>>>>>>>>> │ ┌──────────┐ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ │ 100K tokens │ =========>│ >>> AST >>> cache >>> signal >>> │ =========> │ ~5K tok │ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ └─────────────┘ │ >>>>>>>>>>>>>>> filter >>>>>>>>>>>> │ └──────────┘ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ │ >>>>>>>>>>>>>>> dedupe >>>>>>>>>>>> │ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ╔══════════════╗ ╰──────────────────────────────────────────╯ ╔══════════╗ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ║ raw input ║ ─ ─ ─ ─ ─ ─ ─ ─ LeanCTX ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ║ output ║ ╚══════════════╝ ╚══════════╝ ╚══════════════╝ ╚══════════╝ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄┄ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ ┌──┐ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │▓▓│ │▓▓│ │▓▓│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ ───> │▓▓│ │▓▓│ │▓▓│ ───> │░░│ │░░│ │░░│ │░░│ │░░│ │░░│ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ └──┘ file file file file read cache send tok tok tok tok tok tok file file file file read cache send tok tok tok tok tok tok

Trường hợp sử dụng · Trình thu thập & crawler

Thu thập thô dữ liệu.
Cung cấp cho lean.

LeanCTX biến các trang được scrape thành ngữ cảnh sẵn sàng cho mô hình: ctx_url_read xử lý HTML, PDF, RSS và bản ghi YouTube, loại bỏ phần boilerplate, khử trùng lặp giữa các trang và trích xuất sự kiện cùng trích dẫn. Crawler của bạn vẫn đơn giản. Lớp context layer giúp giảm kích thước đầu ra từ 60–90% trước khi bất kỳ mô hình nào thấy nó.

Sử dụng sau trình thu thập dữ liệu của bạn Xem các định dạng đầu vào

Vấn đề

Nó khiến bạn mất bao nhiêu hôm nay.

Dữ liệu web rác làm tiêu hao ngân sách token của bạn

Điều hướng, banner cookie, chân trang, quảng cáo: hầu hết một trang được scrape là boilerplate mà bạn phải trả tiền nhúng và lại phải trả tiền để prompt.

Trùng lặp nhân lên thầm lặng

Cùng một bài viết xuất hiện trên năm URL. Nếu không có khử trùng lặp nhận biết nội dung, bạn sẽ lưu trữ và xử lý nó năm lần.

Dữ liệu thô không thể tìm kiếm

Một thư mục HTML được scrape không phải là một cơ sở kiến thức. Agent của bạn cần truy xuất xếp hạng, chứ không phải 10.000 tệp tin.

Đã triển khai hôm nay

Các khả năng mà thực hiện công việc đó.

Mọi thứ bên dưới đều được tích hợp trong binary mã nguồn mở ngay hôm nay. Không mục roadmap, không danh sách chờ.

Các công cụ của bạn LeanCTX Mô hình

Tiếp nhận phổ quát ctx_url_read xử lý HTML, nguồn cấp RSS và bản ghi YouTube

Chế độ Sự kiện & trích dẫn các trang được nén thành các sự kiện có thể quy cho tác giả và các trích dẫn nguyên văn

Khử trùng lặp khử trùng lặp bằng content-hash trên nhiều trang, phiên và lần crawl

BM25 + tìm kiếm đồ thị mọi thứ được nạp vào đều có thể tìm kiếm cục bộ và xếp hạng được

Lưu trữ cục bộ nguồn gốc vẫn có thể truy xuất; nén không bao giờ là điểm mù

Bắt đầu nhanh

Từ con số không đến lợi ích đầu tiên.

# nhập một trang dưới dạng các sự kiện có nguồn gốc

$ ctx_url_read("https://example.com/article", mode="facts")

# nhập một feed; các mục đến kèm ngày và đã khử trùng lặp

$ ctx_url_read("https://news.site/feed.xml")

# tìm kiếm mọi thứ bạn đã nhập

$ lean-ctx grep "quarterly revenue"

# truy xuất nguồn gốc đầy đủ khi cần

$ ctx_retrieve(id)

Đi sâu hơn

Một hướng dẫn. Hai hành trình. Tài liệu tham khảo đầy đủ.

hướng dẫn Hướng dẫn nguồn dữ liệu Mọi định dạng đầu vào và cách chúng được chuẩn hóa. hành trình Vượt qua mã hóa: nghiên cứu web Từ URL đến câu trả lời trích dẫn, toàn bộ quy trình. hành trình Bộ nhớ & kiến thức Cách nội dung đã nhập được lưu trữ và xếp hạng. tài liệu tham khảo Tham khảo chế độ đọc các sự kiện, trích dẫn, entropy và bạn bè.

FAQ

Các câu hỏi nhóm thường hỏi trước khi áp dụng.

LeanCTX có thay thế scraper của tôi không?

Không. Nó nằm sau scraper của bạn. Hãy giữ Playwright, Scrapy hoặc curl; truyền đầu ra qua LeanCTX và các mô hình của bạn sẽ nhận được ngữ cảnh đã khử trùng lặp, nén và có thể tìm kiếm thay vì HTML thô.

Các định dạng đầu vào nào được hỗ trợ?

Trang HTML, PDF, CSV, feed RSS/Atom, văn bản thuần túy, email và bản ghi YouTube. Mỗi định dạng có chiến lược chuẩn hóa riêng trước khi nén.

Tôi có thể lấy lại trang gốc không?

Luôn luôn. Mọi nguồn gốc đều được lưu trữ cục bộ và có thể truy xuất qua ctx_retrieve. Việc nén trong LeanCTX là khả nghịch theo thiết kế.

Giành lại quyền kiểm soát ngữ cảnh của bạn.

Miễn phí sử dụng cục bộ, mãi mãi. CI thực thi nó. Một binary, mười phút để đạt được lợi ích đo lường đầu tiên.

Sử dụng sau trình thu thập dữ liệu của bạn Xem các gói dịch vụ

Thu thập thô dữ liệu.Cung cấp cho lean.