표현
하나의 토크나이저로 소스와 출력을 비교합니다. 입력 감소를 측정하기 위해 읽기 모드, 생략 및 복구를 기록합니다.
벤치마크 및 방법론
입력을 측정하고,결과를 검증하세요.
입력, 런타임 노력 및 작업 품질을 비교합니다. 자체 작업에 대해 LeanCTX를 평가하기 위한 재현 가능한 기준선을 사용합니다.
세 가지 다른 질문
입력, 노력 및 결과를 측정합니다.
컨텍스트 표현, 준비 비용 및 완료된 작업을 별도로 평가합니다.
작업
준비 시간, 도구 오버헤드, 모델 입력 및 출력, 재시도 및 캐시 효과를 계산하십시오. 관찰된 비용과 추정치 및 알려지지 않은 것을 분리하십시오.
작업 결과
동일한 작업 및 수용 기준을 사용합니다. 테스트 및 검토를 통해 제공된 컨텍스트가 충분했는지 확인합니다.
귀하의 저장소
저장소 벤치마크
파일에 대한 컨텍스트 표현을 비교합니다. 런타임 버전 및 저장소 개정판으로 결과를 저장합니다.
lean-ctx --version
lean-ctx benchmark run . --json
lean-ctx benchmark report .이 명령어들은 귀하의 프로젝트를 검사합니다. 통제된 종단 간 에이전트 실험을 실행하거나 답변 품질을 설정하지 않습니다.
진단에서 결정까지
재현 가능하게 만드세요.
- 기준선 고정
- 저장소 개정판, 작업, 모델, 도구 설정 및 평가 기준을 고정합니다. LeanCTX가 다루는 호출을 문서화합니다.
- 전체 시도 포함
- 복구 읽기, 재시도, 검토 시간 및 실패를 셉니다. 컨텍스트 절감량과 제공업체 청구 및 캐시 입력 할인을 분리합니다.
- 범위 게시
- 작업량, 샘플 크기, 버전 및 측정 방법을 명시합니다. 헤드라인과 함께 변동 및 실패한 실행을 보고합니다.
증거 읽기
소스에 대해 품질 테스트
보존된 코드 구조는 유용한 증거이지만 올바른 답변이나 안전한 변경 사항을 확립하지는 않습니다. 결과를 원본 자료와 비교하여 확인하십시오.
LeanCTX로 시작하세요
컨텍스트를 활용하십시오.
도구에 LeanCTX를 설정하고 실제 작업에서 차이점을 평가하십시오.
로컬 우선. 모델에 구애받지 않음. 당신의 컨텍스트.