---
title: Banc d'essai (benchmark)
description: Évaluer et comparer des modèles sur le témoin synthétique mini-boutique, en simulation ou en mesure réelle.
---

# Banc d'essai (benchmark)

Le banc d'essai mesure les agents de maintenance sur un projet témoin synthétique, `mini-boutique`, avant de les utiliser sur des dépôts clients. Il sert à comparer des modèles sur les mêmes cas, avec un budget maîtrisé.

**Qui peut le faire** : tout membre du projet consulte les évaluations. Le Responsable et l'Administrateur lancent et arrêtent une évaluation. Le banc d'essai n'est pas disponible par l'API.

## Accéder au banc d'essai

Le banc d'essai n'a pas de lien dans la barre **Espace projet**. Saisissez directement son adresse :

```text
https://maintain.example/projects/<projectId>/benchmarks
```

Remplacez `<projectId>` par l'identifiant du projet, visible dans l'adresse de sa page.

## Ce qui est mesuré

Le témoin comporte dix cas figés : quatre faciles, quatre moyens et deux ambigus. Chaque cas a des tests visibles, un test caché et une solution de référence. Un essai fait passer un cas dans la même chaîne de cinq agents que la maintenance. Le correctif obtenu est appliqué sur une copie du témoin, puis noté par les tests.

Aucun accès à GitHub n'a lieu : ni branche, ni PR. Le premier lancement crée un **dépôt témoin** dans le projet, qui ne peut jamais être lié à GitHub.

## Lancer une évaluation, pas à pas

1. Ouvrez la page du banc d'essai. La carte **Limites de la mesure** rappelle ce que le banc prouve et ne prouve pas.
2. Dans **Nouvelle évaluation**, choisissez le **Mode** :
   - **Simulation** : le simulateur rejoue les solutions de référence, sans fournisseur ni coût. Il vérifie la chaîne d'agents et la notation, mais ne mesure aucun modèle.
   - **Mesure réelle** : les appels au fournisseur sont comptabilisés dans la catégorie **Banc d'essai** de la consommation.
3. En mesure réelle, saisissez les **Modèles comparés (séparés par des virgules)** : de 1 à 4 modèles.
4. Dans **Cas figés**, gardez ou décochez les cas.
5. Réglez **Répétitions par cas et par modèle** (de 1 à 10 répétitions, 3 par défaut).
6. Réglez le **Plafond de jetons par exécution** (de 1 000 à 400 000 jetons, 80 000 par défaut).
7. Réglez le **Budget total de la session (jetons)** (de 1 à 50 000 000 jetons, 600 000 par défaut).
8. Lisez le nombre d'essais et le plafond théorique affichés sous le formulaire.
9. Cliquez sur **Lancer l'évaluation**.

Une seule évaluation peut être active par projet : un second envoi renvoie l'évaluation en cours. Les modes proposés dépendent de l'activation choisie par l'exploitant ; sans activation, le formulaire n'apparaît pas.

## Lire les résultats

La page du banc présente **Comparaison des modèles — mesures réelles**, **Simulations** (section séparée, sans coût) et **Évaluations**. Le détail d'une évaluation affiche :

- l'état (**En attente**, **En cours**, **Terminée**, **Arrêtée**, **Annulée**, **Échec**), avec la raison d'arrêt éventuelle ;
- **Usage comptabilisé — Banc d'essai** : appels, jetons connus, usage inconnu, appels à consommation nulle confirmée, reprises réutilisées, plafond théorique ;
- **Résultats par modèle** et le tableau **Essais** : cas, modèle, résultat, tests cachés et visibles, question posée, jetons, coût, durée.

| Résultat d'un essai | Signification |
| --- | --- |
| **Réussi** | Le correctif passe les tests du cas. |
| **Non réussi** | Revue refusée, réponse invalide ou tests échoués. |
| **Bloqué** | Budget atteint ou question restée sans réponse. |
| **Échec technique** | Fournisseur, contexte, interruption ou notation impossible. |

Chaque taux de réussite indique la taille de l'échantillon et un intervalle de confiance. En dessous de cinq essais, il est marqué « non concluant ». Les modèles sont triés par nom, jamais par classement. Le coût d'un modèle reste inconnu, jamais nul, si un seul de ses appels n'a pas de tarif.

## Arrêter une évaluation

Le bouton **Arrêter l'évaluation** arrête les essais suivants : « Évaluation arrêtée ; l'essai en cours se termine. ». Une évaluation s'arrête aussi d'elle-même quand le budget total est atteint ou qu'un usage inconnu empêche de garantir le budget restant.

> [!NOTE]
> Dix cas synthétiques mesurent une capacité de base, pas la valeur sur vos dépôts clients. Les tests cachés vérifient que le correctif fait ce qui est demandé, pas la qualité de sa conception.

## Exemple : comparer deux modèles

Objectif : choisir entre `modele-a` et `modele-b` avant de configurer la maintenance.

1. Lancez une évaluation **Simulation** sur les dix cas pour vérifier que la chaîne fonctionne.
2. Lancez une **Mesure réelle** avec `modele-a, modele-b`, 3 répétitions, plafond de 80 000 jetons et budget de 600 000 jetons.
3. Le formulaire annonce 60 essais. Si le plafond théorique dépasse votre budget, l'évaluation s'arrêtera au budget : réduisez les cas ou les répétitions.
4. À la fin, comparez les taux sur les cas ambigus (colonne des questions posées) et le coût par PR réussie.
5. Vérifiez le coût dans [Consommation](../05-rapports-usage-et-couts/05-page-consommation-et-export-csv.md), catégorie **Banc d'essai**.

## Refus courants

| Message | Cause |
| --- | --- |
| « Demande d'évaluation invalide ou mode non autorisé. » | Champ hors bornes, aucun cas coché, ou mode non activé |
| « Banc d'essai indisponible ou accès refusé. » | Rôle insuffisant pour lancer, ou projet hors périmètre |
| « Arrêt global de l'organisation actif : cette action n'est pas acceptée avant la levée. Les demandes d'exécution et d'audit sont mises en file. » | Arrêt global en cours : une évaluation en **Mesure réelle** ne peut pas démarrer ; relancez après la levée |

## Pour continuer

Chapitre suivant : [Rapports PDF](../05-rapports-usage-et-couts/01-rapports-pdf.md)
