বেঞ্চমার্ক এবং পদ্ধতি

ইনপুট পরিমাপ করুন।ফলাফল যাচাই করুন।

ইনপুট, রানটাইম প্রচেষ্টা এবং কাজের গুণমান তুলনা করুন। আপনার নিজের কাজের উপর LeanCTX মূল্যায়ন করতে একটি পুনরুৎপাদনযোগ্য বেসলাইন ব্যবহার করুন।

একটি স্থির বেসলাইনএকটি প্রস্তুত ইনপুটএকটি গৃহীত ফলাফল

তিনটি ভিন্ন প্রশ্ন

ইনপুট, প্রচেষ্টা এবং ফলাফল পরিমাপ করুন।

প্রতিনিধিত্ব, এটি প্রস্তুত করার খরচ এবং সম্পূর্ণ কাজ আলাদাভাবে বিচার করুন।

একটি টোকেনাইজার দিয়ে উৎস এবং আউটপুট তুলনা করুন। ইনপুট হ্রাস পরিমাপ করতে রিড মোড, বাদ এবং পুনরুদ্ধার রেকর্ড করুন।

প্রস্তুতি সময়, টুল ওভারহেড, মডেল ইনপুট এবং আউটপুট, রিট্রাই এবং ক্যাশের প্রভাব গণনা করুন। পর্যবেক্ষণ করা খরচ অনুমান এবং অজানা থেকে আলাদা করুন।

একই টাস্ক এবং গ্রহণযোগ্য মানদণ্ড ব্যবহার করুন। পরীক্ষা এবং পর্যালোচনা দেখায় যে সরবরাহ করা প্রসঙ্গ যথেষ্ট ছিল কিনা।

আপনার রিপোজিটরি

আপনার ফাইলগুলিতে প্রসঙ্গ উপস্থাপনগুলির তুলনা করুন। রানটাইম সংস্করণ এবং রিপোজিটরি রিভিশন সহ ফলাফল সংরক্ষণ করুন।

স্থানীয় পরিমাপ

lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .

এই কমান্ডগুলি আপনার প্রকল্পগুলি পরিদর্শন করে। তারা কোনো নিয়ন্ত্রিত এন্ড-টু-এন্ড এজেন্ট পরীক্ষা করে না বা উত্তর গুণমান প্রতিষ্ঠা করে না।

ডায়াগনস্টিকস থেকে একটি সিদ্ধান্ত

বেসলাইন স্থির করুন: রিপোজিটরি রিভিশন, টাস্ক, মডেল, টুল সেটআপ এবং মূল্যায়ন মানদণ্ড নির্দিষ্ট করুন। নথিভুক্ত করুন যে কোন কলগুলি LeanCTX কভার করে।
পুরো প্রচেষ্টা অন্তর্ভুক্ত করুন: রিকভারি রিড, রিট্রাই, পর্যালোচনা সময় এবং ব্যর্থতা গণনা করুন। প্রদানকারীর বিলিং এবং ক্যাশড-ইনপুট ছাড় থেকে প্রসঙ্গ সাশ্রয় আলাদা করুন।
পরিধি প্রকাশ করুন: ওয়ার্কলোড, নমুনা আকার, সংস্করণ এবং পরিমাপ পদ্ধতি উল্লেখ করুন। শিরোনামের পাশাপাশি ভিন্নতা এবং ব্যর্থ রানগুলি রিপোর্ট করুন।

প্রমাণ পড়ুন

সংরক্ষিত কোড কাঠামো দরকারী প্রমাণ, কিন্তু এটি সঠিক উত্তর বা নিরাপদ পরিবর্তন প্রতিষ্ঠা করে না। আসল উপাদানের বিপরীতে ফলাফল যাচাই করুন।

LeanCTX দিয়ে শুরু করুন

আপনার টুলটির জন্য LeanCTX সেট আপ করুন এবং একটি বাস্তব টাস্কে পার্থক্য মূল্যায়ন করুন।

স্থানীয়-প্রথম। মডেল-অজ্ঞেয়বাদী। আপনার প্রসঙ্গ।