Une facture de modèle plus basse ne signifie pas forcément une tâche terminée moins chère. Il faut comparer des résultats soumis aux mêmes critères d’acceptation.
Ce qui a été annoncé
Le lancement du 4 août par la Linux Foundation prévoit des méthodes de coût et de valeur IA, dont une télémétrie des tokens pour FOCUS 1.5 et au-delà. Cette feuille de route ne prouve pas que tous les fournisseurs exportent déjà ces champs. Le site FOCUS présente actuellement 1.4 et des exports fournisseurs de versions différentes.
Normaliser les factures aide à comparer les charges. Cela ne décide pas automatiquement si une réponse, une classification ou un traitement était utile. L’application doit définir sa réussite.
Exemple : la requête moins chère perd
Supposons deux systèmes traitant les mêmes 1 000 demandes. Les chiffres ci-dessous sont fictifs et le test d’acceptation identique. Modèle, infrastructure et revue sont imputés au lot.
| Lot | Modèle | Infrastructure | Revue | Total | Résultats acceptés | Coût par résultat accepté |
|---|---|---|---|---|---|---|
| A | 10 € | 20 € | 70 € | 100 € | 800 | 0,125 € |
| B | 20 € | 20 € | 20 € | 60 € | 900 | environ 0,067 € |
A paie moins le modèle mais davantage par résultat accepté : 100 / 800, contre 60 / 900. Ce n’est ni un benchmark de fournisseur, ni un calcul de retour sur investissement : recettes, bénéfices et coûts évités ne figurent pas dans cet exemple.
Un dénominateur vérifiable
Définissez l’acceptation avant de comparer les modèles. Gardez au numérateur le coût des échecs et des nouvelles tentatives. Comptez une seule fois la tâche finalement acceptée, même si plusieurs appels ont contribué à son résultat. Si des corrections humaines sont nécessaires, imputez ce travail de la même manière aux deux candidats.
Conservez pour chaque lot révision du modèle, période tarifaire, catégorie de demande, coûts annexes et méthode d’acceptation. Une évolution des prix doit rester distinguable d’un progrès de qualité ou d’un changement dans les demandes traitées.
Lors de l’adoption d’un schéma de facturation, vérifiez sa version réellement exportée et les champs lus par votre outil. Savoir analyser un jeu de données FOCUS ne garantit pas la compréhension de toutes les futures extensions propres à l’IA. Standard de facture et mesure du résultat répondent à deux parties différentes du problème.
Revue du 8 septembre : feuille de route distinguée des schémas livrés, FOCUS 1.4 vérifié et calcul original du coût par résultat accepté ajouté.