Bảng điều khiển cục bộ
Mở bảng điều khiển lean-ctx để kiểm tra hoạt động cục bộ và số liệu thống kê có sẵn của thời gian chạy. Khả năng hiển thị của nó theo dõi các hoạt động mà bản tích hợp của bạn ghi lại.
Khám phá khả năng nàyBằng chứng & Kết quả
Trước hết là bản ghi.Sau đó là kết quả.
LeanCTX là Context Gateway dành cho các hệ thống AI. Xem LeanCTX đã chuyển giao những gì cho mô hình, quy tắc nào đã được áp dụng và những gì đã bị giữ lại. Mức sử dụng và chi phí ước tính cũng đến từ cùng một bản ghi.
Cách tiếp cận
Một bản ghi. Chuyển giao, quy tắc và mức sử dụng.
LeanCTX ghi lại những gì tích hợp được hỗ trợ đã chuyển giao, các kiểm tra được cấu hình đã ảnh hưởng đến việc chuyển giao và mức sử dụng tương ứng. Hãy dùng bản ghi đó cùng với kiểm thử hoặc rà soát để đánh giá liệu một quy trình làm việc có hoạt động tốt hơn hay không.
Kiểm tra
Kiểm tra đầu vào được cung cấp.
Sử dụng các tham chiếu nguồn, kế hoạch và phép đo token đã ghi lại để kiểm tra các hoạt động được hỗ trợ. Các trường có sẵn phụ thuộc vào hoạt động và thời gian chạy.
- Nguồn
- Xác định tệp, tham chiếu hoặc kế hoạch đằng sau hoạt động.
- Phân phối
- Kiểm tra đầu ra được ghi lại và bằng chứng token có sẵn.
- Phạm vi
- Các trường nhận phụ thuộc vào bề mặt hoạt động và thời gian chạy.
Truy vết & Phát lại
Theo dõi bằng chứng trở lại.
Truy vết một bản nhận đến nguồn hoặc kế hoạch của nó và xem lại trạng thái vẫn còn khả dụng. Việc tái tạo câu trả lời của mô hình cũng phụ thuộc vào host, mô hình và cài đặt yêu cầu.
- Liên kết
- Kết nối một thao tác với các tham chiếu nguồn và kế hoạch đã ghi lại.
- Tính khả dụng
- Thiếu nguồn hoặc trạng thái hết hạn sẽ giới hạn những gì có thể xem xét lại.
- Tái tạo
- Chỉ lưu lại ngữ cảnh không đảm bảo mô hình sẽ trả lời giống hệt.
Sử dụng & kinh tế
Mức sử dụng là một phần của bản ghi. Không phải toàn bộ hóa đơn.
Bắt đầu với việc sử dụng được đo lường. Giữ chi phí mô hình ước tính riêng biệt với các khoản phí quan sát được và so sánh các tác vụ tương đương. Ví dụ được ghi lại cho thấy việc giảm đầu vào cho một lần đọc, không phải là lời hứa về tổng chi phí.
- Đầu vào
- Các token trước và sau quá trình chuẩn bị đã chọn.
- Cơ sở chi phí
- Xác định rõ ràng các ước tính, chi phí quan sát được và các giá trị không có sẵn.
- Chất lượng
- Một kết quả riêng được thiết lập bởi các kiểm tra tác vụ.
src/lib/roi.tschữ ký · o200k_base
82.9%
ít đầu vào hơn cho lần đọc này
2,127 token đã xóa
Chế độ xem signature lược bỏ chi tiết triển khai. Đây là số đo đầu vào, không phải kết quả về chi phí hay chất lượng.
Kết quả & phản hồi
Một cuộc gọi hoàn thành không phải là một tác vụ hoàn thành.
Đánh giá so với một cơ sở được lập thành văn bản và các tiêu chí chấp nhận rõ ràng. Phản hồi của nhà cung cấp, thành công do người gọi báo cáo và kết quả đã được xác minh là những bằng chứng khác nhau. Sử dụng các kết quả được chấp nhận để định hướng cho quyết định ngữ cảnh và định tuyến tiếp theo.
- Đường cơ sở
- Cùng một tác vụ và cấu hình đầu vào đã được ghi lại.
- Kết quả
- Các tiêu chí kiểm tra hoặc xem xét quan trọng đối với tác vụ thực tế.
- So sánh
- Bao gồm các lần thử thất bại và thử lại khi so sánh chi phí cho mỗi tác vụ được chấp nhận.
Trong quy trình làm việc của bạn
Từ một thao tác đến quy trình làm việc của bạn.
Sử dụng bề mặt kiểm tra phù hợp cho mỗi câu hỏi. Một bảng điều khiển, một biên nhận nguồn và một báo cáo đánh giá tiết lộ các phần công việc khác nhau.
Phân bổ chi phí
Phân biệt việc sử dụng mô hình, đầu vào được lưu vào bộ nhớ đệm, đầu ra và các lần thử lặp lại. Bảo toàn cơ sở của chi phí ước tính hoặc quan sát được; một khoản phí không xác định không phải là chi phí bằng không.
Khám phá khả năng nàyVòng lặp phản hồi dựa trên bằng chứng
So sánh các tác vụ tương đương với một cơ sở được lập thành văn bản, bao gồm cả các thất bại và lần thử lại. Truyền các kết quả đã được xác minh trở lại các quyết định sau này mà không biến nhãn thành công của người gọi thành bằng chứng.
Khám phá khả năng nàyCâu hỏi & trả lời
Các câu hỏi đo lường.
Ít hơn các token đầu vào có nghĩa là giảm bao nhiêu phần trăm hóa đơn của tôi?
Không có giá mô hình, tỷ lệ đầu vào được lưu vào bộ nhớ đệm, token đầu ra và số lần gọi cũng ảnh hưởng đến chi phí. Bản demo được ghi lại đo lường sự giảm đầu vào cho việc đọc một tệp.
Một biên lai có chứng minh chất lượng câu trả lời không?
Một biên lai ghi lại một thao tác. Chất lượng cần bằng chứng riêng: các bài kiểm tra, kiểm tra nguồn hoặc đánh giá của con người được xác định. Sử dụng cả hai khi quyết định xem một quy trình làm việc có hiệu quả hay không.
Bắt đầu với LeanCTX
Đo lường quy trình làm việc của bạn.
Chọn một nhiệm vụ đại diện và một đường cơ sở. So sánh đầu vào, sau đó kiểm tra kết quả so với các tiêu chí của riêng bạn.
Ưu tiên cục bộ. Độc lập với mô hình. Ngữ cảnh của bạn.