Audits et banc d'essai

Banc d'essai (benchmark)

Le banc d'essai mesure les agents de maintenance sur un projet témoin synthétique, mini-boutique, avant de les utiliser sur des dépôts clients. Il sert à comparer des modèles sur les mêmes cas, avec un budget maîtrisé.

Qui peut le faire : tout membre du projet consulte les évaluations. Le Responsable et l'Administrateur lancent et arrêtent une évaluation. Le banc d'essai n'est pas disponible par l'API.

Accéder au banc d'essai#

Le banc d'essai n'a pas de lien dans la barre Espace projet. Saisissez directement son adresse :

text
https://maintain.example/projects/<projectId>/benchmarks

Remplacez <projectId> par l'identifiant du projet, visible dans l'adresse de sa page.

Ce qui est mesuré#

Le témoin comporte dix cas figés : quatre faciles, quatre moyens et deux ambigus. Chaque cas a des tests visibles, un test caché et une solution de référence. Un essai fait passer un cas dans la même chaîne de cinq agents que la maintenance. Le correctif obtenu est appliqué sur une copie du témoin, puis noté par les tests.

Aucun accès à GitHub n'a lieu : ni branche, ni PR. Le premier lancement crée un dépôt témoin dans le projet, qui ne peut jamais être lié à GitHub.

Lancer une évaluation, pas à pas#

  1. Ouvrez la page du banc d'essai. La carte Limites de la mesure rappelle ce que le banc prouve et ne prouve pas.
  2. Dans Nouvelle évaluation, choisissez le Mode :
    • Simulation : le simulateur rejoue les solutions de référence, sans fournisseur ni coût. Il vérifie la chaîne d'agents et la notation, mais ne mesure aucun modèle.
    • Mesure réelle : les appels au fournisseur sont comptabilisés dans la catégorie Banc d'essai de la consommation.
  3. En mesure réelle, saisissez les Modèles comparés (séparés par des virgules) : de 1 à 4 modèles.
  4. Dans Cas figés, gardez ou décochez les cas.
  5. Réglez Répétitions par cas et par modèle (de 1 à 10 répétitions, 3 par défaut).
  6. Réglez le Plafond de jetons par exécution (de 1 000 à 400 000 jetons, 80 000 par défaut).
  7. Réglez le Budget total de la session (jetons) (de 1 à 50 000 000 jetons, 600 000 par défaut).
  8. Lisez le nombre d'essais et le plafond théorique affichés sous le formulaire.
  9. Cliquez sur Lancer l'évaluation.

Une seule évaluation peut être active par projet : un second envoi renvoie l'évaluation en cours. Les modes proposés dépendent de l'activation choisie par l'exploitant ; sans activation, le formulaire n'apparaît pas.

Lire les résultats#

La page du banc présente Comparaison des modèles — mesures réelles, Simulations (section séparée, sans coût) et Évaluations. Le détail d'une évaluation affiche :

  • l'état (En attente, En cours, Terminée, Arrêtée, Annulée, Échec), avec la raison d'arrêt éventuelle ;
  • Usage comptabilisé — Banc d'essai : appels, jetons connus, usage inconnu, appels à consommation nulle confirmée, reprises réutilisées, plafond théorique ;
  • Résultats par modèle et le tableau Essais : cas, modèle, résultat, tests cachés et visibles, question posée, jetons, coût, durée.
Résultat d'un essaiSignification
RéussiLe correctif passe les tests du cas.
Non réussiRevue refusée, réponse invalide ou tests échoués.
BloquéBudget atteint ou question restée sans réponse.
Échec techniqueFournisseur, contexte, interruption ou notation impossible.

Chaque taux de réussite indique la taille de l'échantillon et un intervalle de confiance. En dessous de cinq essais, il est marqué « non concluant ». Les modèles sont triés par nom, jamais par classement. Le coût d'un modèle reste inconnu, jamais nul, si un seul de ses appels n'a pas de tarif.

Arrêter une évaluation#

Le bouton Arrêter l'évaluation arrête les essais suivants : « Évaluation arrêtée ; l'essai en cours se termine. ». Une évaluation s'arrête aussi d'elle-même quand le budget total est atteint ou qu'un usage inconnu empêche de garantir le budget restant.

Exemple : comparer deux modèles#

Objectif : choisir entre modele-a et modele-b avant de configurer la maintenance.

  1. Lancez une évaluation Simulation sur les dix cas pour vérifier que la chaîne fonctionne.
  2. Lancez une Mesure réelle avec modele-a, modele-b, 3 répétitions, plafond de 80 000 jetons et budget de 600 000 jetons.
  3. Le formulaire annonce 60 essais. Si le plafond théorique dépasse votre budget, l'évaluation s'arrêtera au budget : réduisez les cas ou les répétitions.
  4. À la fin, comparez les taux sur les cas ambigus (colonne des questions posées) et le coût par PR réussie.
  5. Vérifiez le coût dans Consommation, catégorie Banc d'essai.

Refus courants#

MessageCause
« Demande d'évaluation invalide ou mode non autorisé. »Champ hors bornes, aucun cas coché, ou mode non activé
« Banc d'essai indisponible ou accès refusé. »Rôle insuffisant pour lancer, ou projet hors périmètre
« Arrêt global de l'organisation actif : cette action n'est pas acceptée avant la levée. Les demandes d'exécution et d'audit sont mises en file. »Arrêt global en cours : une évaluation en Mesure réelle ne peut pas démarrer ; relancez après la levée

Pour continuer#

Chapitre suivant : Rapports PDF