कच्चा डेटा निकालें।
lean-ctx को खिलाएं।
LeanCTX स्क्रैप किए गए पेजों को मॉडल के लिए तैयार संदर्भ में बदल देता है: ctx_url_read HTML, PDF, RSS और YouTube ट्रांसक्रिप्ट्स को निगल जाता है, बॉयलरप्लेट हटाता है, पेजों पर डीडुप्लीकेट करता है और तथ्यों तथा उद्धरणों को निकालता है। आपका क्रॉलर सरल रहता है। संदर्भ परत (context layer) किसी भी मॉडल के देखने से पहले इसके आउटपुट को 60–90% छोटा कर देती है।
आपसे क्या लागत है आज।
वेब कचरा आपके टोकन बजट को खा जाता है
नेविगेशन, कुकी बैनर, फुटर, विज्ञापन: एक स्क्रैप किए गए पेज का अधिकांश हिस्सा बॉयलरप्लेट होता है जिसके लिए आप एम्बेड करने और प्रॉम्प्ट देने दोनों के लिए भुगतान करते हैं।
डुप्लीकेट चुपचाप गुणा होते हैं
एक ही लेख पाँच URLs पर दिखाई देता है। सामग्री-जागरूक डीडुप्लीकेशन के बिना आप इसे पाँच बार स्टोर और प्रोसेस करते हैं।
कच्चे डंप खोजे नहीं जा सकते
स्क्रैप किए गए HTML का एक फ़ोल्डर कोई ज्ञानकोश नहीं है। आपके एजेंट को 10,000 फ़ाइलों की बजाय रैंकड रिट्रीवल की ज़रूरत होती है।
वे क्षमताएं जो काम करती हैं।
नीचे सब कुछ आज ही ओपन-सोर्स बाइनरी में शिप होता है। कोई रोडमैप आइटम नहीं, कोई प्रतीक्षा सूची नहीं।
शून्य से पहला लाभ।
एक गाइड। दो यात्राएँ। पूर्ण संदर्भ।
अपनाते समय टीमों द्वारा पूछे गए प्रश्न।
क्या LeanCTX मेरे स्क्रैपर की जगह लेता है?
नहीं। यह आपके स्क्रैपर के बाद काम करता है। Playwright, Scrapy या curl को बनाए रखें; आउटपुट को LeanCTX के माध्यम से पाइप करें और आपके मॉडल कच्चे HTML के बजाय डीडुप्लिकेट, संपीड़ित, खोज योग्य संदर्भ प्राप्त करते हैं।
कौन से इनपुट फॉर्मेट समर्थित हैं?
HTML पेज, PDFs, CSV, RSS/Atom फ़ीड, सादा टेक्स्ट, ईमेल और YouTube ट्रांसक्रिप्ट। प्रत्येक फॉर्मेट के पास संपीड़न से पहले अपनी सामान्यीकरण रणनीति होती है।
क्या मुझे मूल पेज वापस मिल सकता है?
हमेशा। हर मूल सामग्री को स्थानीय रूप से संग्रहीत किया जाता है और ctx_retrieve के माध्यम से पुनर्प्राप्त किया जा सकता है। LeanCTX में संपीड़न डिज़ाइन द्वारा प्रतिवर्ती होता है।
अपने context पर नियंत्रण वापस लें।
स्थानीय उपयोग के लिए मुफ़्त, हमेशा के लिए। CI इसे लागू करता है। एक बाइनरी, पहले मापे गए लाभ तक दस मिनट।