# Évaluer un agent IA cyber : tâches, preuves et dénominateurs

> Construire une évaluation d’agent cyber : périmètre, vérité terrain, précision, rappel, abstention, effets indésirables et comparaison reproductible.

Publié le: 2026-11-04  
Canonical: https://rootzero.eu/research/evaluer-agent-ia-cyber-preuves-metriques/

Un agent cyber peut produire une réponse convaincante sans accomplir la tâche attendue. Pour l’évaluer, commencez par un résultat observable : retrouver une procédure autorisée, qualifier un avis, démontrer un défaut dans un laboratoire ou vérifier qu’une action interdite est refusée. Ces objectifs ne partagent pas tous le même dénominateur.

[Cybench](https://arxiv.org/abs/2408.08926) définit des tâches cyber de type CTF pour étudier des capacités et leurs risques. Un succès dans ce cadre ne mesure pas directement la couverture d’un pentest d’entreprise, la qualité d’un rapport client ou l’isolation d’un service multi-clients.

## Décrire le cas avant de lancer l’agent

Pour chaque cas, conservez l’environnement, les accès, l’objectif, les conditions initiales et le critère de réussite. Notez les actions interdites et la procédure de remise à l’état de départ. Une nouvelle exécution doit pouvoir retrouver ces conditions sans dépendre d’un état laissé par la précédente.

Dans un test de contrôle d’accès fictif, le résultat attendu peut être « le compte A ne lit pas le document de B ». Le statut HTTP ne suffit pas : il faut savoir quel document a été retourné et à qui il appartient. Les données de démonstration doivent permettre ce rapprochement.

## Distinguer résultat correct et preuve suffisante

Une réponse correcte sans pièce peut être une bonne hypothèse, mais elle ne démontre pas le comportement observé. À l’inverse, une pièce réelle peut être mal interprétée. Nous proposons d’évaluer séparément le résultat, sa justification et le respect du périmètre.

Pour un constat de vulnérabilité, demandez les préconditions, les étapes, le résultat et l’impact. Pour une abstention, demandez la raison du blocage et l’information nécessaire à la reprise. Le mot « vérifié » doit désigner un contrôle identifiable.

## Les métriques doivent nommer leurs ensembles

Sur un jeu où les cas positifs et négatifs sont connus, la précision vaut `TP / (TP + FP)` et le rappel `TP / (TP + FN)`. La proportion de fausses alertes parmi les constats n’est pas le taux de faux positifs sur tous les cas négatifs, qui vaut `FP / (FP + TN)`.

Exemple arithmétique fictif : sur quatre cas positifs, l’agent en détecte trois ; sur six négatifs, il émet une alerte incorrecte. La précision et le rappel valent chacun trois quarts, tandis que le taux de faux positifs vaut un sixième. Ces chiffres illustrent les formules ; ils ne rapportent aucune expérience produit.

Dans une application réelle où toutes les failles ne sont pas connues, on ne peut pas déduire le rappel complet du seul rapport livré. L’absence de constat publié ne démontre pas l’absence de vulnérabilité.

## Évaluer aussi la mémoire et les reprises

Un agent qui reprend une tâche doit distinguer le fait courant de sa version historique. [LongMemEval](https://arxiv.org/abs/2410.10813) fournit des dimensions utiles pour organiser des essais de mémoire, dont raisonnement temporel, mise à jour et abstention. Adaptez-les avec des cas propres au service.

Ajoutez une révocation de droit, un outil indisponible, un résultat contradictoire et un effet externe dont la réponse a été perdue. Vérifiez qu’une reprise ne répète pas l’effet et qu’un blocage n’est pas présenté comme une réussite. Ces essais complètent les tâches où tout fonctionne normalement.

## Comparer sans déplacer les conditions

Une comparaison entre un agent unique et plusieurs agents exige les mêmes cas, accès et budgets explicites. Conservez les modèles, versions, paramètres, outils et répétitions. Présentez la dispersion des résultats, les échecs et les cas exclus avec leur motif.

Les travaux [MAST sur les défaillances multi-agents](https://arxiv.org/abs/2503.13657) rappellent l’intérêt de classer les erreurs de coordination et de vérification. Un classement global ne remplace pas cette lecture causale. Une évaluation automatique par modèle doit aussi être confrontée à des annotations vérifiées sur un échantillon adapté.

Notre [démonstrateur de sélection RAG](/lab/rag-demo/rag-demo.zip) publie dix cas déterministes, leur résultat attendu, leur résultat obtenu et l’empreinte du corpus. Il ne génère aucune réponse et ne lance aucun test cyber : sa portée est celle des règles qu’il exécute. Le [dossier IA et cyber](/dossiers-ia-cyber/) relie cette discipline de preuve à l’[orchestration](/research/systemes-multi-agents-contrats-orchestration/) et à la [sécurité RAG](/research/securite-rag-injection-memoire/).