प्रतिनिधित्व
एक टोकनाइज़र के साथ स्रोत और आउटपुट की तुलना करें। इनपुट में कमी को मापने के लिए पढ़ने का मोड, चूक और पुनर्प्राप्ति रिकॉर्ड करें।
मानदंड और कार्यप्रणाली
इनपुट को मापें।परिणाम सत्यापित करें।
इनपुट, रनटाइम प्रयास और कार्य गुणवत्ता की तुलना करें। LeanCTX का अपने स्वयं के काम पर मूल्यांकन करने के लिए एक पुनरुत्पादित आधार रेखा का उपयोग करें।
तीन अलग-अलग प्रश्न
इनपुट, प्रयास और परिणाम को मापें।
संदर्भ प्रतिनिधित्व, इसे तैयार करने की लागत और पूर्ण किए गए कार्य को अलग-अलग आंकें।
संचालन
तैयारी समय, टूल ओवरहेड, मॉडल इनपुट और आउटपुट, पुनः प्रयास और कैश प्रभावों की गणना करें। देखे गए लागत से अनुमानों और अज्ञातों को अलग करें।
कार्य परिणाम
उसी कार्य और स्वीकृति मानदंडों का उपयोग करें। परीक्षण और समीक्षा दिखाएं कि प्रदान किया गया संदर्भ पर्याप्त था या नहीं।
आपका रिपॉजिटरी
अपने रिपॉजिटरी का बेंचमार्क करें।
अपनी फ़ाइलों पर संदर्भ निरूपणों की तुलना करें। परिणाम को रनटाइम संस्करण और रिपॉजिटरी संशोधन के साथ सहेजें।
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .ये कमांड आपके प्रोजेक्ट की जाँच करते हैं। वे एक नियंत्रित एंड-टू-एंड एजेंट प्रयोग नहीं चलाते हैं या उत्तर की गुणवत्ता स्थापित नहीं करते हैं।
निदान से निर्णय तक
इसे पुनरुत्पादित करें।
- आधार रेखा को फ्रीज करें
- रिपॉजिटरी संशोधन, कार्य, मॉडल, टूल सेटअप और मूल्यांकन मानदंडों को पिन करें। दस्तावेज़ करें कि LeanCTX किन कॉल्स को कवर करता है।
- पूरे प्रयास को शामिल करें
- रिकवरी रीड्स, पुनः प्रयास, समीक्षा समय और विफलताओं की गणना करें। संदर्भ बचत को प्रदाता बिलिंग और कैश किए गए-इनपुट छूट से अलग करें।
- दायरा प्रकाशित करें
- कार्यभार, नमूना आकार, संस्करण और माप विधि बताएं। मुख्य शीर्षक के साथ भिन्नता और असफल रन की रिपोर्ट करें।
सबूत पढ़ें
स्रोत के विरुद्ध गुणवत्ता का परीक्षण करें।
संरक्षित कोड संरचना उपयोगी सबूत है, लेकिन यह एक सही उत्तर या एक सुरक्षित परिवर्तन स्थापित नहीं करता है। परिणाम की मूल सामग्री के विरुद्ध सत्यापित करें।
LeanCTX से शुरू करें
संदर्भ का उपयोग करें।
अपने टूल के लिए LeanCTX स्थापित करें और एक वास्तविक कार्य पर अंतर का मूल्यांकन करें।
स्थानीय-पहले। मॉडल-अज्ञेय। आपका संदर्भ।