Dữ liệu web rác làm tiêu hao ngân sách token của bạn
Điều hướng, banner cookie, chân trang, quảng cáo: hầu hết một trang được scrape là boilerplate mà bạn phải trả tiền nhúng và lại phải trả tiền để prompt.
Trường hợp sử dụng · Trình thu thập & crawler
Thu thập thô dữ liệu. Cung cấp cho lean.
LeanCTX biến các trang được scrape thành ngữ cảnh sẵn sàng cho mô hình: ctx_url_read xử lý HTML, PDF, RSS và bản ghi YouTube, loại bỏ phần boilerplate, khử trùng lặp giữa các trang và trích xuất sự kiện cùng trích dẫn. Crawler của bạn vẫn đơn giản. Lớp context layer giúp giảm kích thước đầu ra từ 60–90% trước khi bất kỳ mô hình nào thấy nó.
Same engine. Different workflow. Always the right context.
Nó khiến bạn mất bao nhiêu hôm nay.
Trùng lặp nhân lên thầm lặng
Cùng một bài viết xuất hiện trên năm URL. Nếu không có khử trùng lặp nhận biết nội dung, bạn sẽ lưu trữ và xử lý nó năm lần.
Dữ liệu thô không thể tìm kiếm
Một thư mục HTML được scrape không phải là một cơ sở kiến thức. Agent của bạn cần truy xuất xếp hạng, chứ không phải 10.000 tệp tin.
Các khả năng mà thực hiện công việc đó.
Mọi thứ bên dưới đều được tích hợp trong binary mã nguồn mở ngay hôm nay. Không mục roadmap, không danh sách chờ.
Các công cụ của bạn→LeanCTX→Mô hình
Tiếp nhận phổ quát
ctx_url_read xử lý HTML, nguồn cấp RSS và bản ghi YouTube
Chế độ Sự kiện & trích dẫn
các trang được nén thành các sự kiện có thể quy cho tác giả và các trích dẫn nguyên văn
Khử trùng lặp
khử trùng lặp bằng content-hash trên nhiều trang, phiên và lần crawl
BM25 + tìm kiếm đồ thị
mọi thứ được nạp vào đều có thể tìm kiếm cục bộ và xếp hạng được
Lưu trữ cục bộ
nguồn gốc vẫn có thể truy xuất; nén không bao giờ là điểm mù
Từ con số không đến lợi ích đầu tiên.
terminal
# nhập một trang dưới dạng các sự kiện có nguồn gốc
$ ctx_url_read("https://example.com/article", mode="facts")# nhập một feed; các mục đến kèm ngày và đã khử trùng lặp
$ ctx_url_read("https://news.site/feed.xml")# tìm kiếm mọi thứ bạn đã nhập
$ lean-ctx grep "quarterly revenue"# truy xuất nguồn gốc đầy đủ khi cần
$ ctx_retrieve(id)Một hướng dẫn. Hai hành trình. Tài liệu tham khảo đầy đủ.
01
hướng dẫn · Hướng dẫn nguồn dữ liệu
Mọi định dạng đầu vào và cách chúng được chuẩn hóa.
Tìm hiểu thêm02
hành trình · Vượt qua mã hóa: nghiên cứu web
Từ URL đến câu trả lời trích dẫn, toàn bộ quy trình.
Tìm hiểu thêm03
hành trình · Bộ nhớ & kiến thức
Cách nội dung đã nhập được lưu trữ và xếp hạng.
Tìm hiểu thêm04
tài liệu tham khảo · Tham khảo chế độ đọc
các sự kiện, trích dẫn, entropy và bạn bè.
Tìm hiểu thêmCác câu hỏi nhóm thường hỏi trước khi áp dụng.
Không. Nó nằm sau scraper của bạn. Hãy giữ Playwright, Scrapy hoặc curl; truyền đầu ra qua LeanCTX và các mô hình của bạn sẽ nhận được ngữ cảnh đã khử trùng lặp, nén và có thể tìm kiếm thay vì HTML thô.
Trang HTML, PDF, CSV, feed RSS/Atom, văn bản thuần túy, email và bản ghi YouTube. Mỗi định dạng có chiến lược chuẩn hóa riêng trước khi nén.
Luôn luôn. Mọi nguồn gốc đều được lưu trữ cục bộ và có thể truy xuất qua ctx_retrieve. Việc nén trong LeanCTX là khả nghịch theo thiết kế.
Giành lại quyền kiểm soát ngữ cảnh của bạn.
Miễn phí sử dụng cục bộ, mãi mãi. CI thực thi nó. Một binary, mười phút để đạt được lợi ích đo lường đầu tiên.