Agents IA et tâches IT : aucun modèle ne dépasse 50 % au benchmark ITBench-AA

TL;DR.

IBM Software Innovation Lab et Artificial Analysis ont publié ITBench-AA, le premier benchmark dédié à l'évaluation des agents IA sur des tâches IT d'entreprise. Aucun modèle frontière, propriétaire ou open-weights, ne dépasse 50 % de réussite, un signal fort pour les directions IT qui envisagent de confier le diagnostic d'incidents en production à des agents autonomes.

Le benchmark comprend 59 tâches SRE (40 publiques, 19 privées) construites à partir d'incidents Kubernetes réels avec alertes, logs, traces et topologie applicative. Claude Opus 4.7 arrive en tête avec 47 % de réussite, devant GPT-5.5 (46 %) et Qwen 3.7 Max (42 %). Côté open-weights, GLM-5.1 et Gemini 3.5 Flash partagent la première place à 40 %. Deux modules supplémentaires sont annoncés : FinOps et CISO.

IBM Software Innovation Lab et Artificial Analysis ont publié ITBench-AA, un benchmark conçu pour évaluer les agents IA sur des tâches IT d'entreprise réelles. Les résultats sont sans appel : aucun modèle frontière, propriétaire ou open-weights, ne dépasse 50 % de réussite. Un signal à intégrer pour les directions IT qui projettent de confier à des agents autonomes le diagnostic d'incidents en production.

Un benchmark calibré sur les opérations IT réelles

Publié le 27 mai 2026 sur le blog Hugging Face, ITBench-AA reprend le travail initié par IBM avec ITBench et le couple à la méthodologie de mesure d'Artificial Analysis. La première brique évalue des tâches de SRE (Site Reliability Engineering, la discipline qui maintient la fiabilité des systèmes en production). Deux autres modules sont annoncés : FinOps (gestion financière du cloud) et CISO (sécurité des systèmes d'information).

Le jeu d'évaluation comprend 59 tâches SRE, dont 40 publiques et 19 conservées en privé pour limiter le risque de fuite dans les données d'entraînement des modèles. Chaque tâche est un instantané d'incident Kubernetes contenant alertes, événements, logs, traces distribuées et topologie applicative. L'agent doit identifier la ou les causes racines, par exemple repérer qu'une NetworkPolicy bloque le trafic vers un service frontend.

Aucun modèle frontière ne dépasse 50 %

Les chiffres publiés par Artificial Analysis placent Claude Opus 4.7 en tête avec 47 % de réussite, suivi de GPT-5.5 (46 %) et Qwen 3.7 Max (42 %). Côté open-weights, GLM-5.1 et Gemini 3.5 Flash partagent la première marche à 40 %. Le scoring retenu, baptisé Average Precision at Full Recall, est sévère : si l'agent rate une seule cause racine, il obtient 0 pour la tâche. S'il les identifie toutes, on calcule sa précision en pénalisant les faux positifs.

Selon IBM et Artificial Analysis, ITBench-AA est aujourd'hui l'un des benchmarks agentiques les moins saturés. À titre de comparaison, les mêmes modèles obtiennent des scores nettement supérieurs sur Terminal-Bench, un test davantage axé sur la manipulation de terminal que sur le diagnostic structuré.

Le piège de la sur-investigation

L'enseignement le plus intéressant ne tient pas au classement, mais à la corrélation entre verbosité et performance. Gemini 3.1 Pro Preview utilise en moyenne 83 tours d'investigation par tâche pour obtenir 30 %. Gemma 4 31B se contente de 58 tours et termine à 37 %.

L'explication est documentée par les auteurs : les modèles les plus bavards identifient souvent la bonne cause racine, mais ajoutent à leur réponse des mécanismes connexes ou des symptômes co-occurrents. Sous une métrique qui pénalise les faux positifs, cette tendance fait chuter le score. Autrement dit, savoir s'arrêter compte autant que savoir chercher.

Coût et performance ne vont pas de pair

Le coût par tâche éclaire un autre angle, particulièrement pertinent pour les DSI. Claude Opus 4.7 atteint 47 % pour 5,38 $ par tâche. Gemma 4 31B livre 37 % pour 0,14 $. À volume, ces écarts pèsent. GLM-5.1 propose un compromis intéressant : 40 % pour 1,23 $ par tâche, là où Gemini 3.5 Flash facture 1,70 $ pour un score identique.

Aucune corrélation claire ne se dessine entre la taille d'un modèle, son coût d'exécution et sa performance sur ce benchmark. Pour les équipes IT qui envisagent un déploiement, c'est un argument supplémentaire pour évaluer les modèles sur leurs propres cas plutôt que de se fier à la réputation ou au prix.

Ce que ça change pour vos équipes IT

Trois implications concrètes ressortent du benchmark :

• Ne pas confier l'autonomie complète d'un incident en production à un agent IA aujourd'hui. Un taux d'erreur supérieur à 50 % sur le diagnostic des causes racines impose un humain en boucle pour valider toute action corrective.
• Calibrer l'usage par type de tâche. Un agent peut être utile pour préparer un rapport d'incident, suggérer des hypothèses ou trier des alertes, mais pas pour décider seul d'une remédiation.
• Tester avant d'industrialiser. Les écarts entre modèles ne sont pas prévisibles. ITBench-AA est ouvert : le dataset public et le harness Stirrup permettent à toute équipe de faire ses propres mesures sur ses cas réels.

Un signal sur la maturité réelle des agents

ITBench-AA documente ce que beaucoup de praticiens constatent sans pouvoir le chiffrer : les agents IA actuels gèrent bien les tâches courtes et bien cadrées, mais peinent sur les diagnostics structurés où il faut distinguer la cause des symptômes. Le benchmark a vocation à évoluer avec l'arrivée des modules FinOps et CISO, qui mesureront la capacité des agents sur d'autres terrains tout aussi exigeants.

Reste une question ouverte pour les prochains mois : les progrès des modèles frontière permettront-ils de franchir la barre des 50 %, ou faudra-t-il repenser l'architecture des agents pour intégrer une discipline diagnostique que les grands modèles de langage, seuls, n'ont pas encore acquise.

Questions fréquentes

Qu'est-ce que le benchmark ITBench-AA ?

ITBench-AA est un benchmark publié par IBM Software Innovation Lab et Artificial Analysis pour évaluer les agents IA sur des tâches IT d'entreprise réelles. Il reprend le travail initié par IBM avec ITBench et le couple à la méthodologie de mesure d'Artificial Analysis. Sa première brique évalue des tâches de Site Reliability Engineering, avec des modules FinOps et CISO annoncés.

Quel modèle IA obtient le meilleur score sur ITBench-AA ?

Claude Opus 4.7 arrive en tête avec 47 % de réussite, suivi de GPT-5.5 à 46 % et Qwen 3.7 Max à 42 %. Du côté des modèles open-weights, GLM-5.1 et Gemini 3.5 Flash partagent la première place avec 40 %. Aucun modèle frontière ne franchit la barre des 50 %.

Comment sont construites les tâches du benchmark ?

Le jeu d'évaluation comprend 59 tâches SRE, dont 40 publiques et 19 conservées en privé pour limiter le risque de fuite dans les données d'entraînement. Chaque tâche est un instantané d'incident Kubernetes contenant alertes, événements, logs, traces distribuées et topologie applicative. L'agent doit identifier la ou les causes racines de l'incident.

Comment fonctionne le scoring du benchmark ?

Le scoring retenu s'appelle Average Precision at Full Recall. Si l'agent rate une seule cause racine, il obtient 0 pour la tâche. S'il identifie toutes les causes, sa précision est calculée en pénalisant les faux positifs.

Pourquoi ITBench-AA est-il important pour les directions IT ?

Les résultats montrent qu'aucun modèle frontière ne dépasse 50 % de réussite sur des tâches IT réelles. C'est un signal à intégrer pour les directions IT qui projettent de confier à des agents autonomes le diagnostic d'incidents en production. Selon IBM et Artificial Analysis, ITBench-AA est aujourd'hui l'un des benchmarks agentiques les moins saturés.