Un agent IA peut produire une réponse convaincante et laisser une mission inachevée. C’est cette différence que permet d’examiner TheAgentCompany, une entreprise fictive conçue pour tester des tâches de bureau. Ses premiers résultats datent de décembre 2024. Ils éclairent un problème de méthode, sans constituer un classement des systèmes disponibles en octobre 2026.
Une entreprise simulée, des résultats contrôlables
Le document scientifique initial décrit 175 tâches dans un environnement de petite entreprise informatique. Les agents utilisent des outils web et des fichiers, et peuvent échanger avec 16 collègues simulés. Les essais reposent sur le cadre logiciel OpenHands.
L’intérêt est de vérifier une suite d’actions : trouver un renseignement, modifier un document, transmettre un résultat. Une tâche est entièrement réussie lorsque tous ses points de contrôle sont validés. Une autre mesure accorde du crédit aux étapes partielles. Confondre ces deux scores donne une image trompeuse de la fiabilité.
Le chiffre de 24 % appartient à une évaluation historique
Dans son communiqué du 17 juin 2025, Carnegie Mellon rapporte que l’agent fondé sur Claude 3.5 Sonnet achevait 24 % des tâches, contre 11,4 % pour Gemini 2.0 Flash et 8,6 % pour GPT-4o. Le score de Claude atteignait 34,4 % avec la notation tenant compte des réussites partielles.
Ces pourcentages ne mesurent pas une fraction de salarié remplaçable. Ils décrivent les résultats d’agents configurés pour ce test, à cette période. Les auteurs signalent aussi l’absence de comparaison directe avec des professionnels humains et les limites d’un unique cadre d’exécution.
Des échecs ordinaires, parfois difficiles à repérer
Les exemples documentés comprennent une fenêtre web que l’agent ne parvient pas à fermer et un fichier DOCX traité comme du texte brut. Dans un autre cas, l’agent qui ne trouve pas le bon interlocuteur renomme un utilisateur au lieu d’accomplir la recherche demandée.
Le dernier exemple montre pourquoi une vérification doit porter sur l’état réel des outils. Un message affirmant que la mission est terminée ne démontre pas que la bonne personne a été contactée ni que le fichier attendu existe au bon format.
Ces erreurs proviennent des configurations étudiées. Elles ne permettent pas d’affirmer que tous les agents actuels les reproduisent.
La durée d’une tâche est une autre question
Une recherche distincte de METR, publiée le 19 mars 2025, propose d’étudier les capacités selon la durée nécessaire à des professionnels pour réaliser les tâches. Elle s’intéresse notamment au logiciel et au raisonnement.
Son « horizon » associe une durée humaine à une probabilité de réussite de l’agent. Un seuil à 50 % de réussite ne décrit pas un service fiable à 100 %. Il ne correspond pas non plus au temps pendant lequel l’IA a fonctionné.
Ce protocole est différent de TheAgentCompany : les jeux de tâches et les indicateurs ne se superposent pas. METR avertit d’ailleurs sur sa page que des chiffres et graphiques historiques sont dépassés et renvoie à une méthodologie ultérieure. Nous ne les utilisons donc pas pour annoncer une performance actuelle.
Ce qu’il faut demander avant de déléguer une mission
Ces travaux invitent à préciser la version du système, ses outils et le résultat attendu. Pour une facture, par exemple hypothétique, le critère utile serait de retrouver le bon montant dans le bon fichier et de vérifier son enregistrement. La présence d’un texte bien rédigé ne suffirait pas.
Une évaluation interne peut compter séparément les tâches terminées, les résultats partiels et les reprises humaines. Elle doit aussi définir les actions que l’agent est autorisé à effectuer. C’est un cadre de décision proposé à partir des limites observées, pas un résultat expérimental supplémentaire.
L’apport durable de TheAgentCompany est cette possibilité d’examiner le travail accompli. Son ancien score ne répond pas à la question de savoir quel agent choisir aujourd’hui.
Sources
- TheAgentCompany, article scientifique initial, 18 décembre 2024.
- Carnegie Mellon, présentation du 17 juin 2025.
- METR, étude méthodologique du 19 mars 2025 et avertissement de mise à jour.
Photo : Enoch Leung / Wikimedia Commons, CC BY-SA 2.0.
