IA et code : ce que mesure l’étude sur l’apprentissage

Une expérience menée auprès de 52 développeurs distingue code produit et compréhension retenue. Les écarts au questionnaire dépendent aussi des usages observés de l’assistant.

Un programme peut fonctionner sans que la personne qui l’a produit sache vraiment l’expliquer. Avec les assistants de développement, cette distinction devient un enjeu de formation autant que de productivité. Une étude publiée par Anthropic sur l’apprentissage d’une bibliothèque Python illustre le problème : dans l’expérience, le groupe disposant d’une IA a obtenu des résultats plus faibles au questionnaire de compréhension.

Le résultat ne signifie pas que toute utilisation d’IA fait perdre des compétences. Il invite à poser une question plus précise : lorsque l’on apprend un outil nouveau, l’assistant aide-t-il à comprendre, ou permet-il surtout de terminer sans maîtriser les étapes ? Les usages observés dans l’étude n’aboutissent pas tous au même résultat.

Une expérience sur un apprentissage nouveau

Les chercheurs ont recruté 52 développeurs, pour la plupart juniors. Tous utilisaient Python au moins une fois par semaine depuis plus d’un an et connaissaient au moins un peu l’assistance au code par IA. En revanche, ils ne connaissaient pas Trio, la bibliothèque de programmation asynchrone retenue pour les exercices.

Les participants devaient réaliser deux fonctionnalités à partir d’un problème, d’un code de départ et d’une courte présentation des concepts nécessaires. Une partie disposait d’un assistant dans l’interface de travail ; l’autre devait programmer sans cette aide. Un questionnaire annoncé à l’avance suivait l’exercice.

Les questions portaient sur plusieurs dimensions : repérer et expliquer une erreur, lire le code, choisir une manière de l’écrire et comprendre les principes de la bibliothèque. Cette conception donne au test une portée particulière. Il ne mesurait pas seulement si le programme remis pouvait produire le résultat attendu, mais ce que le développeur en avait retenu.

Dix-sept points d’écart au questionnaire

Le groupe avec IA a obtenu en moyenne 50 % au questionnaire, contre 67 % pour le groupe sans IA. L’écart est de dix-sept points de pourcentage. La publication le présente comme statistiquement significatif ; il était particulièrement marqué pour les questions de débogage.

Les participants assistés ont terminé l’exercice environ deux minutes plus vite en moyenne. Mais, dans cette expérience, la différence de temps n’atteignait pas le seuil de significativité statistique. On ne peut donc pas résumer ces résultats par un gain de productivité démontré qui aurait simplement été échangé contre une moins bonne compréhension.

Le cadre reste limité : il s’agit d’un nouvel outil appris pendant un exercice, puis d’une évaluation immédiate. L’étude ne démontre pas ce que ces mêmes développeurs auraient retenu plusieurs semaines plus tard, ni leur manière de travailler sur une technologie déjà familière. Elle ne mesure pas non plus l’ensemble des usages possibles de Claude Code ou des autres agents de programmation.

Les questions posées à l’assistant comptent

L’analyse des interactions apporte une nuance utile. Certains participants confiaient directement l’écriture ou la correction à l’assistant. D’autres demandaient une génération de code accompagnée d’explications, revenaient sur une proposition pour la comprendre, ou posaient surtout des questions de principe avant d’écrire eux-mêmes.

Les groupes montrant une compréhension plus élevée combinaient davantage l’aide de l’IA avec un effort d’explication. À l’inverse, les profils les moins performants déléguaient largement la résolution. Mais les sous-groupes étaient très petits : l’analyse décrit des associations entre des usages et des résultats, sans établir que chaque méthode de questionnement cause à elle seule un niveau de maîtrise.

Autre observation : certains développeurs ont consacré jusqu’à onze minutes à rédiger leurs demandes à l’assistant. L’aide ne supprime donc pas tout travail ; elle peut en déplacer une partie vers la formulation des consignes, la lecture et les échanges. Cela aide à comprendre pourquoi l’avance moyenne du groupe IA était modeste ; elle n’était pas statistiquement significative.

Superviser demande des compétences que l’on continue à exercer

Le sujet rejoint l’alerte relayée par Clubic à propos d’Addy Osmani, de l’équipe Claude Code : accepter une réponse bien présentée ne revient pas à l’avoir vérifiée. L’article distingue la délégation d’une tâche de l’abandon du jugement sur le résultat. Il s’agit d’une réflexion de praticien, complémentaire de l’expérience sur Trio, et non d’une seconde confirmation indépendante des chiffres de l’étude.

Le lien avec le débogage est concret. Pour contrôler un programme, il faut pouvoir dire ce qu’une fonction attend, ce qu’elle renvoie et dans quelles conditions elle peut échouer. Des tests réussis apportent des informations sur les situations testées ; ils n’expliquent pas automatiquement toute la logique du système.

Dans un parcours de formation, cette différence peut se traduire par des vérifications simples : demander au développeur d’expliquer une portion de code, de proposer un cas où elle échouerait ou de modifier une contrainte sans laisser l’assistant résoudre immédiatement le problème. Ce sont des pistes de travail pour rendre la compréhension visible, pas des protocoles dont l’efficacité aurait été démontrée par cette seule étude.

Un résultat à lire avec sa méthode et son auteur

Anthropic est à la fois le fournisseur d’outils d’IA et l’auteur de cette publication de recherche. Ses résultats constituent une pièce du débat, à lire avec le protocole, la taille de l’échantillon et les limites qu’elle reconnaît. Une réplication sur d’autres tâches et sur une durée plus longue apporterait d’autres éléments.

La question utile n’est pas de choisir entre tout faire seul et tout déléguer. Elle consiste à distinguer le but du travail : produire rapidement avec des compétences déjà acquises, ou construire ces compétences en découvrant un outil. Dans le second cas, un résultat correct peut masquer un apprentissage insuffisant. Garder des moments d’explication, d’essai et de correction autonome permet au moins de vérifier ce que l’assistant n’a pas appris à la place de l’utilisateur.