वेब कचरा आपके टोकन बजट को खा जाता है
नेविगेशन, कुकी बैनर, फुटर, विज्ञापन: एक स्क्रैप किए गए पेज का अधिकांश हिस्सा बॉयलरप्लेट होता है जिसके लिए आप एम्बेड करने और प्रॉम्प्ट देने दोनों के लिए भुगतान करते हैं।
उपयोग का मामला · स्क्रैपर्स और क्रॉलर
कच्चा डेटा निकालें। lean-ctx को खिलाएं।
LeanCTX स्क्रैप किए गए पेजों को मॉडल के लिए तैयार संदर्भ में बदल देता है: ctx_url_read HTML, PDF, RSS और YouTube ट्रांसक्रिप्ट्स को निगल जाता है, बॉयलरप्लेट हटाता है, पेजों पर डीडुप्लीकेट करता है और तथ्यों तथा उद्धरणों को निकालता है। आपका क्रॉलर सरल रहता है। संदर्भ परत (context layer) किसी भी मॉडल के देखने से पहले इसके आउटपुट को 60–90% छोटा कर देती है।
Same engine. Different workflow. Always the right context.
आपसे क्या लागत है आज।
डुप्लीकेट चुपचाप गुणा होते हैं
एक ही लेख पाँच URLs पर दिखाई देता है। सामग्री-जागरूक डीडुप्लीकेशन के बिना आप इसे पाँच बार स्टोर और प्रोसेस करते हैं।
कच्चे डंप खोजे नहीं जा सकते
स्क्रैप किए गए HTML का एक फ़ोल्डर कोई ज्ञानकोश नहीं है। आपके एजेंट को 10,000 फ़ाइलों की बजाय रैंकड रिट्रीवल की ज़रूरत होती है।
वे क्षमताएं जो काम करती हैं।
नीचे सब कुछ आज ही ओपन-सोर्स बाइनरी में शिप होता है। कोई रोडमैप आइटम नहीं, कोई प्रतीक्षा सूची नहीं।
आपके उपकरण→LeanCTX→मॉडल
सार्वभौमिक इनटेक
ctx_url_read HTML, PDF, RSS फीड और YouTube ट्रांसक्रिप्ट्स को संभालता है
तथ्य और उद्धरण मोड
पेज एट्रीब्यूटेबल तथ्यों और शाब्दिक उद्धरणों में सिमट जाते हैं
डीडुप्लीकेशन
पेजों, सत्रों और क्रॉल्स पर content-hash डीडुप
BM25 + ग्राफ सर्च
हर कुछ भी निगला जाता है वह स्थानीय रूप से खोज योग्य और रैंक करने योग्य हो जाता है
स्थानीय संग्रह
मूल सामग्री पुनर्प्राप्त करने योग्य रहती है; संपीड़न कभी भी एक मृत अंत नहीं होता
शून्य से पहला लाभ।
terminal
# एक पेज को एट्रीब्यूटेबल फैक्ट्स के रूप में इनजेस्ट करें
$ ctx_url_read("https://example.com/article", mode="facts")# एक फ़ीड इनजेस्ट करें; आइटम दिनांकित और डीडुप्लिकेट किए जाते हैं
$ ctx_url_read("https://news.site/feed.xml")# आपके द्वारा इनजेस्ट की गई हर चीज़ को खोजें
$ lean-ctx grep "quarterly revenue"# ज़रूरत पड़ने पर एक पूर्ण मूल सामग्री पुनर्प्राप्त करें
$ ctx_retrieve(id)एक गाइड। दो यात्राएँ। पूर्ण संदर्भ।
01
गाइड · डेटा स्रोत गाइड
हर इनटेक फॉर्मेट और उसका सामान्यीकरण कैसे होता है।
और जानें02
यात्रा · कोडिंग से परे: वेब रिसर्च
URL से उद्धृत उत्तर तक, एंड टू एंड।
और जानें03
यात्रा · मेमोरी और ज्ञान
कैसे इनजेस्ट की गई सामग्री बनी रहती है और रैंक करती है।
और जानें04
संदर्भ · रीड मोड्स संदर्भ
फैक्ट्स, कोट्स, एन्ट्रॉपी और दोस्त।
और जानेंअपनाते समय टीमों द्वारा पूछे गए प्रश्न।
नहीं। यह आपके स्क्रैपर के बाद काम करता है। Playwright, Scrapy या curl को बनाए रखें; आउटपुट को LeanCTX के माध्यम से पाइप करें और आपके मॉडल कच्चे HTML के बजाय डीडुप्लिकेट, संपीड़ित, खोज योग्य संदर्भ प्राप्त करते हैं।
HTML पेज, PDFs, CSV, RSS/Atom फ़ीड, सादा टेक्स्ट, ईमेल और YouTube ट्रांसक्रिप्ट। प्रत्येक फॉर्मेट के पास संपीड़न से पहले अपनी सामान्यीकरण रणनीति होती है।
हमेशा। हर मूल सामग्री को स्थानीय रूप से संग्रहीत किया जाता है और ctx_retrieve के माध्यम से पुनर्प्राप्त किया जा सकता है। LeanCTX में संपीड़न डिज़ाइन द्वारा प्रतिवर्ती होता है।
अपने context पर नियंत्रण वापस लें।
स्थानीय उपयोग के लिए मुफ़्त, हमेशा के लिए। CI इसे लागू करता है। एक बाइनरी, पहले मापे गए लाभ तक दस मिनट।