Le tableau de bord local
Ouvrez le tableau de bord lean-ctx pour inspecter l'activité locale et les métriques disponibles de l'exécution. Sa visibilité suit les opérations enregistrées par votre intégration.
Explorez cette capacitéPreuves et résultats
D’abord le registre.Ensuite le résultat.
LeanCTX est le Context Gateway pour les systèmes d’IA. Consultez ce que LeanCTX a livré au modèle, quelle règle a été appliquée et ce qui a été exclu. L’utilisation et le coût estimé proviennent du même registre.
L'approche
Un seul registre. Livraison, règles et utilisation.
LeanCTX enregistre ce que l’intégration prise en charge a livré, les vérifications configurées qui ont influé sur la livraison et l’utilisation correspondante. Utilisez ce registre avec des tests ou des revues pour juger si un flux de travail fonctionne mieux.
Inspecter
Inspectez l'entrée livrée.
Utilisez les références de source enregistrées, les plans et les mesures de jetons pour inspecter les opérations prises en charge. Les champs disponibles dépendent de l'opération et de l'exécution.
- Source
- Identifiez le fichier, la référence ou le plan derrière l'opération.
- Livraison
- Inspectez le résultat enregistré et les preuves de jetons disponibles.
- Portée
- Les champs de réception dépendent de la surface de l'opération et de l'exécution.
Tracer et rejouer
Suivez les preuves en arrière.
Tracez un reçu vers sa source ou son plan et réexaminez l'état encore disponible. La reproduction d'une réponse de modèle dépend également de l'hôte, du modèle et des paramètres de la requête.
- Liaison
- Connectez une opération avec ses références de source et de plan enregistrées.
- Disponibilité
- Une source manquante ou un état expiré limite ce qui peut être réexaminé.
- Reproduction
- Un enregistrement de contexte seul ne garantit pas la même réponse du modèle.
Utilisation et économie
L’utilisation fait partie du registre. Pas toute la facture.
Commencez par une utilisation mesurée. Gardez le coût estimé du modèle séparé des frais observés et comparez les tâches équivalentes. L'exemple capturé montre la réduction de l'entrée pour une lecture, pas une promesse sur les dépenses totales.
- Entrée
- Jetons avant et après la préparation sélectionnée.
- Base de coût
- Identifier explicitement les estimations, les frais observés et les valeurs indisponibles.
- Qualité
- Un résultat séparé établi par des vérifications de tâche.
src/lib/roi.tssignatures · o200k_base
82.9%
moins d'entrée pour cette lecture
2 127 jetons supprimés
Une vue de signature omet les détails d'implémentation. Il s'agit d'une mesure d'entrée, pas d'un résultat de coût ou de qualité.
Résultat et rétroaction
Un appel terminé n'est pas une tâche terminée.
Évaluer par rapport à une référence documentée et des critères d'acceptation explicites. Une réponse du fournisseur, un succès signalé par l'appelant et un résultat vérifié sont des preuves différentes. Utilisez les résultats acceptés pour informer la prochaine décision de contexte et de routage.
- Référence de base
- La même tâche et une configuration d'entrée documentée.
- Résultat
- Critères de test ou de revue qui comptent pour la tâche réelle.
- Comparaison
- Inclure les tentatives échouées et les nouvelles tentatives lors de la comparaison du coût par tâche acceptée.
Dans votre flux de travail
D'une opération à votre flux de travail.
Utilisez la surface d'inspection appropriée pour chaque question. Un tableau de bord, un reçu source et un rapport d'évaluation révèlent différentes parties du travail.
Attribution des coûts
Distinguez l'utilisation du modèle, l'entrée mise en cache, la sortie et les tentatives répétées. Conservez la base du coût estimé ou observé ; un frais inconnu n'est pas zéro coût.
Explorez cette capacitéUne boucle de rétroaction basée sur les preuves
Comparez les tâches équivalentes par rapport à une référence documentée, y compris les échecs et les nouvelles tentatives. Renvoyez les résultats vérifiés dans les décisions ultérieures sans transformer l'étiquette de succès de l'appelant en preuve.
Explorez cette capacitéQuestions et réponses
Questions de mesure.
Moins de jetons d'entrée signifient-ils le même pourcentage de réduction sur ma facture ?
Non. Les prix des modèles, les taux d'entrée mise en cache, les jetons de sortie et le nombre d'appels affectent également le coût. La démo enregistrée mesure la réduction de l'entrée pour la lecture d'un fichier.
Un reçu prouve-t-il la qualité de la réponse ?
Un reçu enregistre une opération. La qualité nécessite ses propres preuves : des tests, des vérifications de source ou une révision humaine définie. Utilisez les deux pour décider si un flux de travail est efficace.
Commencez avec LeanCTX
Mesurez votre propre flux de travail.
Choisissez une tâche représentative et une référence. Comparez l'entrée, puis vérifiez le résultat par rapport à vos propres critères.
Priorité au local. Agnostique au modèle. Votre contexte.