La dashboard locale
Apri la dashboard lean-ctx per ispezionare l'attività locale e le metriche disponibili in tempo di esecuzione. La sua visibilità segue le operazioni registrate dalla tua integrazione.
Esplora questa capacitàProve e risultati
Prima il registro.Poi il risultato.
LeanCTX è il Context Gateway per i sistemi di IA. Vedi cosa LeanCTX ha consegnato al modello, quale regola è stata applicata e cosa è stato escluso. L’utilizzo e il costo stimato provengono dallo stesso registro.
L'approccio
Un solo registro. Consegna, regole e utilizzo.
LeanCTX registra ciò che l’integrazione supportata ha consegnato, i controlli configurati che hanno influito sulla consegna e l’utilizzo corrispondente. Usa questo registro insieme a test o revisioni per giudicare se un flusso di lavoro funziona meglio.
Ispeziona
Ispeziona l'input consegnato.
Usa le referenze di sorgente, i piani e le misure dei token registrati per ispezionare le operazioni supportate. I campi disponibili dipendono dall'operazione e dal runtime.
- Sorgente
- Identifica il file, il riferimento o il piano dietro l'operazione.
- Consegna
- Ispeziona l'output registrato e le evidenze dei token disponibili.
- Ambito
- I campi di ricevuta dipendono dalla superficie dell'operazione e del runtime.
Traccia e riproduci
Segui le evidenze indietro.
Traccia una ricevuta alla sua sorgente o piano e rivedi lo stato ancora disponibile. La riproduzione di una risposta del modello dipende anche dall'host, dal modello e dalle impostazioni della richiesta.
- Collegamento
- Collega un'operazione ai suoi riferimenti di sorgente e piano registrati.
- Disponibilità
- La sorgente mancante o lo stato scaduto limita ciò che può essere rivisto.
- Riproduzione
- Una sola registrazione di contesto non garantisce la stessa risposta del modello.
Utilizzo ed economia
L’utilizzo fa parte del registro. Non è l’intera fattura.
Inizia con un utilizzo misurato. Mantieni separato il costo stimato del modello dai costi osservati e confronta compiti equivalenti. L'esempio catturato mostra la riduzione dell'input per una lettura, non una promessa sulla spesa totale.
- Input
- Token prima e dopo la preparazione selezionata.
- Base del costo
- Identifica esplicitamente stime, costi osservati e valori non disponibili.
- Qualità
- Un risultato separato stabilito dai controlli del compito.
src/lib/roi.tssignature · o200k_base
82.9%
meno input per questa lettura
rimossi 2,127 token
Una vista firma omette i dettagli di implementazione. Questa è una misura dell'input, non un risultato di costo o qualità.
Risultato e feedback
Una chiamata completata non è un compito completato.
Valuta rispetto a una base documentata e criteri di accettazione espliciti. Una risposta del provider, un successo segnalato dal chiamante e un risultato verificato sono prove diverse. Usa i risultati accettati per informare la prossima decisione di contesto e routing.
- Baseline
- Lo stesso compito e una configurazione di input documentata.
- Risultato
- Criteri di test o revisione che contano per il compito effettivo.
- Confronto
- Includi tentativi falliti e riprovi quando si confronta il costo per compito accettato.
Nel tuo flusso di lavoro
Da un'operazione al tuo flusso di lavoro.
Usa la superficie di ispezione giusta per ogni domanda. Una dashboard, una ricevuta della fonte e un rapporto di valutazione rivelano parti diverse del lavoro.
Attribuzione del costo
Distinguere l'utilizzo del modello, l'input in cache, l'output e i tentativi ripetuti. Conserva la base del costo stimato o osservato; un costo sconosciuto non è costo zero.
Esplora questa capacitàCiclo di feedback basato sull'evidenza
Confronta compiti equivalenti rispetto a una base documentata, inclusi fallimenti e riprovi. Invia i risultati verificati nelle decisioni successive senza trasformare l'etichetta di successo del chiamante in prova.
Esplora questa capacitàDomande e risposte
Domande sulla misurazione.
Meno token di input significano la stessa percentuale di sconto sulla mia bolletta?
No. I prezzi del modello, i tassi di input in cache, i token di output e il numero di chiamate influenzano anche il costo. La demo registrata misura la riduzione dell'input per una lettura di un file.
Una ricevuta dimostra la qualità della risposta?
Una ricevuta registra un'operazione. La qualità ha bisogno delle proprie prove: test, controlli delle fonti o una revisione umana definita. Usare entrambi quando si decide se un flusso di lavoro è efficace.
Inizia con LeanCTX
Misura il tuo flusso di lavoro.
Scegli un compito rappresentativo e una linea di base. Confronta l'input, quindi controlla il risultato rispetto ai tuoi criteri.
Local-first. Agnostico al modello. Il tuo contesto.