Biểu diễn
So sánh nguồn và đầu ra với một tokenizer. Ghi lại chế độ đọc, bỏ sót và khôi phục để đo lường việc giảm đầu vào.
Bảng xếp hạng & phương pháp luận
Đo lường đầu vào.Xác minh kết quả.
So sánh đầu vào, nỗ lực chạy và chất lượng nhiệm vụ. Sử dụng một đường cơ sở có thể tái tạo để đánh giá LeanCTX trên công việc của riêng bạn.
Ba ba câu hỏi khác nhau
Đo lường đầu vào, nỗ lực và kết quả.
Đánh giá riêng biểu diễn ngữ cảnh, chi phí chuẩn bị nó và nhiệm vụ hoàn thành.
Thao tác
Đếm thời gian chuẩn bị, chi phí công cụ, đầu vào và đầu ra của mô hình, các lần thử lại và ảnh hưởng của bộ nhớ đệm. Tách chi phí quan sát được khỏi các ước tính và những điều không chắc chắn.
Kết quả nhiệm vụ
Sử dụng cùng một nhiệm vụ và tiêu chí chấp nhận. Các bài kiểm tra và đánh giá cho thấy liệu ngữ cảnh được cung cấp có đủ hay không.
Kho lưu trữ của bạn
Đánh giá kho lưu trữ của bạn.
So sánh các biểu diễn ngữ cảnh trên các tệp của bạn. Lưu kết quả với phiên bản thời gian chạy và phiên bản kho lưu trữ.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .Các lệnh này kiểm tra dự án của bạn. Chúng không chạy một thí nghiệm tác nhân đầu cuối có kiểm soát hoặc thiết lập chất lượng câu trả lời.
Từ chẩn đoán đến quyết định
Làm cho nó có thể tái tạo được.
- Đóng băng đường cơ sở
- Cố định phiên bản kho lưu trữ, nhiệm vụ, mô hình, thiết lập công cụ và tiêu chí đánh giá. Tài liệu hóa những lời gọi nào LeanCTX bao gồm.
- Bao gồm toàn bộ nỗ lực
- Đếm các lần đọc khôi phục, các lần thử lại, thời gian đánh giá và lỗi. Tách tiết kiệm ngữ cảnh khỏi hóa đơn nhà cung cấp và chiết khấu đầu vào được lưu vào bộ nhớ đệm.
- Xuất phạm vi
- Nêu khối lượng công việc, kích thước mẫu, phiên bản và phương pháp đo lường. Báo cáo sự biến đổi và các lần chạy không thành công cùng với tiêu đề.
Đọc bằng chứng
Kiểm tra chất lượng so với nguồn.
Cấu trúc mã được bảo toàn là bằng chứng hữu ích, nhưng nó không thiết lập câu trả lời chính xác hoặc một thay đổi an toàn. Xác minh kết quả so với tài liệu gốc.
Bắt đầu với LeanCTX
Đặt ngữ cảnh vào làm việc.
Thiết lập LeanCTX cho công cụ của bạn và đánh giá sự khác biệt trên một nhiệm vụ thực tế.
Ưu tiên cục bộ. Độc lập với mô hình. Ngữ cảnh của bạn.